邮箱变更,退订!
根据你的需求描述,用Flink Table API和SQL是可以解决的!
发件人: Weixubin
发送时间: 2020-06-24 12:09
收件人: user-zh
主题: Re:Re: FlinkSQL 是否支持类似临时中间表的概念
感谢你提供了子查询的思路,不过经过试验后有点可惜,这似乎还是满足不了我们的需求。
我们的场景是从阿里云SLS读取消息。每条消息有一个字段是request_uri。
第一个数据处理过程就是将 request_uri 解析为多个属性(多列),存成一行,作为一条记录。
第二个数据处理过程就是将每条记录里的 声明heart_ti
多个值组合在一起,当一个复合值使用!
发件人: 魏旭斌
发送时间: 2020-06-19 15:01
收件人: user-zh
主题: 关于拓展 Tuple元组的问题
目前Flink 提供了Tuple1 ~ Tuple25,在实际开发中不能满足我们的需求,我们希望能有更大的元组,比如构建一个Tuple50。
请问有什么解决的方案? 谢谢
可以通过异步的方式(RichAsyncFunction)进行维表关联操作,异步多线程方式进行维表读取!
发件人: Jim Chen
发送时间: 2020-06-19 10:34
收件人: user-zh
主题: Re: 对于维表频繁更新,状态越来越大的场景如何保证数据的准确性
请问下,在flink sql1.10中, localcache+异步IO,这个方案,是直接写sql关联维表就行了吗?flink
sql会自动在底层做优化工作吗?如果要自己手动实现的话,有没有什么demo呢?谢谢
Jark Wu 于2020年6月17日周三 上午12:11写道:
> 如果更新非常
Caused by: java.sql.SQLException: Access denied for user ''@'localhost' (using
password: NO)
得指定下有操作mysql这个表的权限账号了!
发件人: Zhou Zach
发送时间: 2020-06-10 16:32
收件人: Flink user-zh mailing list
主题: sink mysql 失败
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in
[jar:file:
flink/flink-docs-release-1.10/zh/dev/table/connect.html#jdbc-connector
<https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/table/connect.html#jdbc-connector>;
> ?? 2020??6??1010:43 <932460...@qq.com> ??
>
> hi, ?? ??joinmysql
sourcemysql
>
>
>
>
> -- --
>
??: "wangweigu...@stevegame.cn"
1.10 useBlinkPlanneruseOldPlanner
??
Exception in thread "main" org.apache.flink.table.api.TableException: Cannot
generate a valid execution plan for the given query:
LogicalProject(num=[$0])
LogicalJoin(condition=[AND(>($0, $1), <($0, $2
觉得对于下线产生的历史数据,用批处理应该更好一点,可以避免数据量过大造成的问题!
发件人: wangxiangyan
发送时间: 2020-06-09 17:26
收件人: user-zh
主题: Re:延迟事件处理
这是一个需要实时展示统计指标的系统,数据来源于检测器,检测器安装在客户那边,可能有下线的状态,或者数据延迟到达,不确定下线的时间,某个检测器下线之后在第二天上线会有一批昨天的数据,会发生延迟的数据处理
-- Original --
From: "1048262223"<1048262...@qq
tils.connect(NetUtils.java:494)
> at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:609)
> at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:707)
> at org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:370)
hdfs-site.xml ??
core-site.xml??IDEA??resourcesconfnamespace
kcz
?? 2020-06-02 19:20
user-zh
?? flink-1.10 hdfs
??
String path = "hdfs://HACluster/user/flink/test-1/20
这个邮件好像图片都看不到啊,你们能看到不?
发件人: 程龙
发送时间: 2020-05-30 19:20
收件人: user-zh
主题: Re:re:提交flink代码 无法创建taskmanager flink web界面一致停留在created状态 ,日志报错如下
是用代码提交的jobmanager 是可以加载的 就是启动taskmanager 这个目录就没有创建, 界面如下 ,错误日志就是我下面贴出来的那个
在 2020-05-30 19:16:57,"462329521" <462329...@qq.com> 写道:
>你的提交命令是什么呢 看样子是加载不到配
cdh??hdfs8020??
hdfs://TestHACluster/user/flink/test
hdfs://TestHACluster:8020/user/flink/test
flinkTestHAClusterNamespace??hdfsHA??hive-site.xml??hdfs-site.xml
???
你的代码:w_ts as TO_TIMESTAMP(FROM_UNIXTIME(rowtime/1000),'-MM-dd HH:mm:ss')
这里里面的 FROM_UNIXTIME 函数就是接受BIGINT参数,返回 VARCHAR类型的日期值,默认日期格式:-MM-dd
HH:mm:ss
然后通过TO_TIMESTAMP函数转换成TIMESTAMP类型,是timestamp(3)类型,这个只能用blink planner
参考阿里云网址:https://help.aliyun.com/knowledge_list_page/6271
这个报错:>>> Caused by: org.apache.flink.runtime.JobException: Recovery is
suppressed
>>> by NoRestartBackoffTimeStrategy
应该是没有读取到flink conf下面的flink-conf.yaml配置文件,里面有个task失败重启配置参数!
发件人: air23
发送时间: 2020-05-29 14:34
收件人: user-zh
主题: Re:Re: flink1.10 on yarn 问题
代码就是flink自带的例子。
public class Word
确实,你只要配置好CDH的HADOOP_CONF环境变量,同时下载开源的Hadoop版本(和CDH版本相同)放到flink lib下,就可以访问CDH
yarn,提交作业!
目前我这边是CDH 5.16.1,Flink 1.10,提交Flink on yarn是没问题,任务运行也没问题,还可以使用Flink on hive!
flink-shaded-hadoop-2-uber-2.6.5-10.0.jar
发件人: 111
发送时间: 2020-05-28 09:13
收件人: user-zh@flink.apache.org
主题
参考下这篇文章,里面有好多维度关联场景案例讲解!
https://ververica.cn/developers/flink-datastream-associated-dimension-table-practice/
发件人: tingli ke
发送时间: 2020-04-15 11:22
收件人: user-zh
主题: Re: JDBCLookupFunction被缓存导致数据的不及时性
是否有其他的方式来对mysql维表数据进行实时join
13122260...@163.com <13122260...@163.com> 于2020年4月15日周三 上
/streaming/connectors/kafka/FlinkKafkaConsumerBase问题,求救大神帮忙解答,谢谢!
应该加了 flink-connector-kafka_2.11-1.10.0.jar 这个就行
wangweigu...@stevegame.cn 于2020年4月13日周一
下午3:09写道:
>
> 感谢flink道友解答,谢谢!
>
>
> 目前是通过maven来开发flink程序,只是编译打包到集群运行的时候缺少kafka依赖包,flink-connector-kafka_2.11-1.10.0.jar,flink-
应该是你设置的 -ytm 和 -yjm内存大小比yarn container最小容器内存都小吧!
yarn最小容器内存的参数: yarn.scheduler.minimum-allocation-mb
容器内存增量: yarn.scheduler.increment-allocation-mb
发件人: guanyq
发送时间: 2020-04-14 14:05
收件人: user-zh
主题: Re:Re: 关于flink 提交job参数不生效的问题
./bin/flink run -m yarn-cluster \-ynm TestDataProcess \-ytm 666
:
org.apache.flink
flink-connector-kafka_${scala.binary.version}
${flink.version}
From: "wangweigu...@stevegame.cn"
Reply-To: "user-zh@flink.apache.org"
Date: Monday, April 13, 2020 at 2:32 PM
To: user-zh
Subject: Flink
1.10读取kafka数据,
到java.lang.NoClassDefFoundError:
org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题,求救大神帮忙解答,谢谢!
你应该还缺少flink-connector-elasticsearch-base_2.11-1.10.0.jar
-- 原始邮件 --
发件人: "wangweigu...@stevegame.cn"http://www.stevengame.com/
!
史蒂夫软件(深圳)有限公司
技术部 王卫光
wangweigu...@stevegame.cn
地址/Add:深圳南山科区科技园高新南十二道康佳研发大厦A座
手机/Mob:13128970998
http://www.stevengame.com/
21 matches
Mail list logo