关于Flink程序既有流又有SQL，提交任务到yarn之后没有水印生成

目前我在本地执行Flink程序是可以将kafka中的数据消费到，而且可以成功写入到hive中，但是，当我提交任务到yarn之后，从Flink Web UI看所有的sink都是 no watermark的状态，但是去查看hdfs的文件，是成功写入数据的，但是没有提交分区到metastore和提交success文件，所以也就是水印没有作用，但是在本地可以的，怎么在yarn反而不行了！

flink sql 处理自定义watermark

我在使用Flink消费kafka中的消息，并对kafka中的每条消息增加水印，然后将kafka转换成Row,写入Hive,但是在提交PartitionTimeCommit的时候水印一直是长整形的最大负数，导致一直没办法提交分区，在hive中无法查询到数据。但是在hdfs上是有文件的，目前不太清楚是什么情况导致！ FlinkKafkaConsumerBase waterMessages = messages.assignTimestampsAndWatermarks(

Re: flink1.12 on yarn per-job 运行问题

贴一下提交程序的参数，以及你机器的配置，从上面看，是资源分配不够！ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink作业版本管理实现方案探讨

你们这个专门提交作业的gateway程序自己开发的吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink sql任务提交，sql一直只执行一个

目前我所了解的Flink SQL 触发任务提交的是execcuteSql()中的insert into 以及StatementSet.execute()。我之前将两个insert into 分为两个executeSql进行提交，结果结果出现上述效果，修改成StatementSet.execute()之后得到了想要的效果，不太清楚这两种有什么区别？暂记录一下，待以后分析。小白学Flink真是好多坑 package com.zallsteel.flink.app.log; import com.google.gson.Gson; import

flink sql任务提交，sql一直只执行一个

现在我使用flink cdc 读取mysql的binlog，然后发送至kafak,使用flink读取kafka消息,最后写入hive中，但是现在我在向yarn提交代码的时候，发现提交了两个job,但是，两个job执行的都是insert into kafka.order_info;一直不执行insert into ods.order_info;程序目前也没有任何报错！代码如下，是我提交job的姿势不对吗，还是什么其他的问题？提交命令：flink run -m yarn-client -ynm mysql-cdc-2-hive -ys 3 -yjm 4g -ytm 8g -c

Re: flink sql 消费kafka 消息 写入Hive不提交分区

多谢各位的耐心回答，我已经找到问题了，目前是水印使用有点问题，是我自己的问题，不好意思各位 修改之后，发现还是无法提交分区数据，经调试发现，watermark值目前是ok,但是其次是，由于Flink的toMills方法使用的UTC时间，导致我们从分区提取值时，比原始值大了8个小时，因此，导致水印一直小于 partition_time+commitDelay。接下来进行相应处理即可。

Re: 回复： flink sql 消费kafka 消息 写入Hive不提交分区

代码已经附上，我现在是数据已经写入hdfs,有文件生产，但是目前添加的水印无效，所以一直没有更新metastore信息，导致metastore中一直没有分区信息，必须在hive shell中执行命令：hive (ods)> msck repair table order_info。之后才可以查询到数据，经过debug发现，在分区提交的时候，需要判断水印的值比从分区提取的值+延迟时间大，才会提交分区，但是现在，水印的值一直是Long.MIN_VALUE，导致一直无法提交水印，我在代码中已经设置了水印，是不是我的水印设置姿势不对，还请指教！ package

Re: 回复： flink sql 消费kafka 消息 写入Hive不提交分区

package com.zallsteel.flink.app.log; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import com.google.gson.Gson; import com.google.gson.JsonArray; import com.google.gson.JsonElement; import com.google.gson.JsonParser; import com.zallsteel.flink.entity.ChangelogVO;

flink sql 消费kafka 消息 写入Hive不提交分区

我这边从kafka消费信息，然后写入到Hive中，目前发现不提交分区，不提交分区的原因是watemark是负数的，不清楚这个负数的watermark是怎么出现的？ 我代码也指定了watermark,但是debug的时候好像没有起作用 -- Sent from: http://apache-flink.147419.n8.nabble.com/