退订
hi, all
flink 生产数据到 kafka 报错, 导致 job 一直重试
跟踪情况: 每个 job 启动后, 大约正常跑 20 天左右就开始出现这个问题了, 导致任务一直重试, 一直未找到问题的真实原因
报错信息:
org.apache.kafka.common.KafkaException: Unhandled error in EndTxnResponse: The
producer attempted to use a producer id which is not currently assigned to its
hi, dear all :
为什么我通过 flatmap 写 liststate, extends RichFlatMapFunction, 一直报
java.lang.NoClassDefFoundError ??
stream.map(x => (x._4._1, x._4._2))
.keyBy(_._2)
.flatMap(new ReceptionListStateFunction2)
class ReceptionListStateFunction2 extends RichFlatMapFunction[(String, Int),
调试 kafka(连到一个堡垒机xxx-b-1,转发 9797 到 xxx-a-1)
>
>建议看看是不是这个转发有问题，只转发了一个节点
>
>Best
>zhisheng
>
>Lynn Chen 于2020年10月23日周五 上午11:01写道：
>
>>
>>
>>
>> hi, zhisheng:
>>
>>
>> 我解析 json 后:
>> (xxx, xxx, xxx, topic, partition, offset)
>
xt());
>
>System.out.println(jsonNodes.get("metadata").get("offset").asText());
>
>System.out.println(jsonNodes.get("metadata").get("partition").asText());
> collector.collect(jsonNodes);
>}}).print();
>
>Bes
hi, Qijun Feng:
我也遇到了类似的问题, 请问您后来是怎么解决的哈?
在 2020-04-03 09:27:52，"LakeShen" 写道：
>Hi Qijun,
>
>看下 kafka 是不是所有分区都有数据呢，或者在这个时间截后：158567040L，后面是不是只有分区3写入数据，个人的想法。
>
>Best,
>LakeShen
>
>Qijun Feng 于2020年4月2日周四 下午5:44写道：
>
>> Dear All，
>>
>> 我的 Kafka cluster 有三个机器，topic
-public
*
aliyun public
https://maven.aliyun.com/repository/public
Lynn Chen
在 2020-08-21 19:44:20，"魏烽" 写道：
>各位好：
>
>我在flink源码基于1.10编译时有好多jar包都下载不下来，比如flink-test-utils、
