Re:Flink Jdbc sink写入多表如何实现

2020-10-30 Thread Shubin Ruan
Hi,张健: 感觉可以根据数据里的字段定义不同的侧输出,然后将各个侧输出通过 jdbc sink 到对应表中。 Best, Shubin Ruan 在 2020-10-30 16:10:33,"张健" 写道: >hi, > > >我现在有个需求是一个source进来,然后根据数据里的字段 分发写入 >clickhouse多张表中(比如用户行为事件,上报进来有多种,不同的事件写入不同的表中),我想用Flink的Jdbc >sink来做,但看接口貌似不能直接实现这样的功能。 > &

Re:通过算子的构造方法传递变量失效

2020-10-28 Thread Shubin Ruan
hi,可以把部分代码贴出来看一下吗? 在 2020-10-28 17:29:58,"freeza1...@outlook.com" 写道: >hi all: >我定义了1个flatMap,通过构造方法传递了1个int类型的变量, 我在最外层定义了2条流,流定义的时候.flatMap(int)传入了这个变量, > 目前有2个不同的flatmap,构造方法传入的这个int变量为2个不同的值, >当有数据流过这2个算子的时候,发现该int变量并没有发生变化,请如何给算子传递变量。 > > > >freeza1...@outlook.com

Re:关于并行下watermark不生成

2020-10-28 Thread Shubin Ruan
可以考虑在数据源处进行处理: 设置个时间阈值,若检测到某个 key 下的数据超过时间阈值还未更新,则根据系统的 processing time 按照某种逻辑生成1条水印发送到下游。 在 2020-10-28 18:54:22,"BenChen" 写道: >Hi >all,在Flink1.11里面新增了WatermarkStetagy来处理某个并行度下没有数据导致watermark不触发的问题,在1.10里面Flink有什么机制解决这个问题吗?谢谢 > > >| | >BenChen >| >| >haibin...@163.com >| >签名由网易邮箱大师定制 >

Re:退订

2020-10-28 Thread Shubin Ruan
发送邮件到 user-zh-unsubscr...@flink.apache.org 即可完成退订。 在 2020-10-28 19:20:27,"李国鹏" 写道: >退订

Re:Flink作业运行失败

2020-10-15 Thread Shubin Ruan
尝试在集群的各个节点上执行下述命令: export HADOOP_CLASSPATH= 然后执行任务提交。 在 2020-10-15 22:05:43,"gangzi" <1139872...@qq.com> 写道: >请教一下,flink-1.11.1 yarn per job提交作业后,抛出了如下异常: >java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf >at java.lang.Class.getDeclaredMethods0(Native