Re: flink sql 消费kafka 消息 写入Hive不提交分区

多谢各位的耐心回答，我已经找到问题了，目前是水印使用有点问题，是我自己的问题，不好意思各位 修改之后，发现还是无法提交分区数据，经调试发现，watermark值目前是ok,但是其次是，由于Flink的toMills方法使用的UTC时间，导致我们从分区提取值时，比原始值大了8个小时，因此，导致水印一直小于 partition_time+commitDelay。接下来进行相应处理即可。

Re: 回复： flink sql 消费kafka 消息 写入Hive不提交分区

这种情况一般是kafka的某个分区，不存在数据，导致总体的watermark不前进。遇到这种情况一般是需要手动设置idle source[1]。但是社区的watemark push down存在一些问题[2]，已经在修复了。 [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/config.html#table-exec-source-idle-timeout [2] https://issues.apache.org/jira/browse/FLINK-20947?page=com.atlassian.

Re: 回复： flink sql 消费kafka 消息 写入Hive不提交分区

代码已经附上，我现在是数据已经写入hdfs,有文件生产，但是目前添加的水印无效，所以一直没有更新metastore信息，导致metastore中一直没有分区信息，必须在hive shell中执行命令：hive (ods)> msck repair table order_info。之后才可以查询到数据，经过debug发现，在分区提交的时候，需要判断水印的值比从分区提取的值+延迟时间大，才会提交分区，但是现在，水印的值一直是Long.MIN_VALUE，导致一直无法提交水印，我在代码中已经设置了水印，是不是我的水印设置姿势不对，还请指教！ package com.zallsteel.flink

Re: 回复： flink sql 消费kafka 消息 写入Hive不提交分区

package com.zallsteel.flink.app.log; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import com.google.gson.Gson; import com.google.gson.JsonArray; import com.google.gson.JsonElement; import com.google.gson.JsonParser; import com.zallsteel.flink.entity.ChangelogVO; import

回复： flink sql 消费kafka 消息 写入Hive不提交分区

贴下代码，看下你是怎么使用的 | | 刘小红 | | 18500348...@163.com | 签名由网易邮箱大师定制 在2021年1月15日 17:40，xufengfeng<503814...@qq.com> 写道： 2021年1月15日 下午3:19，花乞丐 写道： 我这边从kafka消费信息，然后写入到Hive中，目前发现不提交分区，不提交分区的原因是watemark是负数的，不清楚这个负数的watermark是怎么出现的？

Re: flink sql 消费kafka 消息 写入Hive不提交分区

> 2021年1月15日 下午3:19，花乞丐 写道： > > 我这边从kafka消费信息，然后写入到Hive中，目前发现不提交分区，不提交分区的原因是watemark是负数的，不清楚这个负数的watermark是怎么出现的？ > > > 我代码也指定了watermark,但是debug的时候好像没有起作用 > > > > -- > Sent from: http://apache-fl

flink sql 消费kafka 消息 写入Hive不提交分区

我这边从kafka消费信息，然后写入到Hive中，目前发现不提交分区，不提交分区的原因是watemark是负数的，不清楚这个负数的watermark是怎么出现的？ 我代码也指定了watermark,但是debug的时候好像没有起作用 -- Sent from: http://apache-flink.147419.n8.nabble.com/