Flink 的Kafka source没有使用 Kafka 本身的Consumer Group管理机制。所以不同Flink job 即使使用同样的
group id 也会消费到同样的消息。
On Mon, Apr 22, 2019 at 1:24 PM 13341000780 <13341000...@163.com> wrote:
> hi, 各位大牛好!
> kafka作为数据源时,在 Properties
> 中设置了group.id,信息,但是同一个group下的consumer中能消费到同一个主题下想同一条消息。
> 另外我单独使用 kafka
Hi 志鹏
核心原因是HDFS的问题
Caused by: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File
/flink/checkpoints/PaycoreContextHopJob/cbb3a580d0323fbace80e71a25c966d0/chk-11352/fc4b8b08-2c32-467c-a1f4-f384eba246ff
could only be replicated to 0 nodes instead of minReplication (=1). There are