Re: flink-kafka 消费组问题

2019-04-30 文章 Becket Qin
Flink 的Kafka source没有使用 Kafka 本身的Consumer Group管理机制。所以不同Flink job 即使使用同样的 group id 也会消费到同样的消息。 On Mon, Apr 22, 2019 at 1:24 PM 13341000780 <13341000...@163.com> wrote: > hi, 各位大牛好! > kafka作为数据源时,在 Properties > 中设置了group.id,信息,但是同一个group下的consumer中能消费到同一个主题下想同一条消息。 > 另外我单独使用 kafka

Re: 使用hdfs保存checkpoint一段时间后报错

2019-04-30 文章 Yun Tang
Hi 志鹏 核心原因是HDFS的问题 Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /flink/checkpoints/PaycoreContextHopJob/cbb3a580d0323fbace80e71a25c966d0/chk-11352/fc4b8b08-2c32-467c-a1f4-f384eba246ff could only be replicated to 0 nodes instead of minReplication (=1). There are