回复:请教大佬一个在flink调用kafka数据源时'scan.startup.mode'参数的使用问题

2020-08-13 文章 魏子涵
建议先不使用flink的Kafka来消费,先自己编码写一个kafka消费看是否还是有这个问题,作个对比,看是否是flink提供的kafka接口的问题。


| |
魏子涵
|
|
邮箱:wzh1007181...@163.com
|

签名由 网易邮箱大师 定制

在2020年08月14日 13:27,yulu yang 写道:
 我这个flink作业和和分组都是新创建的,没有抽取历史
group是新的

魏子涵  于2020年8月14日周五 下午1:20写道:

> Kafka客户端的group. id参数有改吗?
>
>
> | |
> 魏子涵
> |
> |
> 邮箱:wzh1007181...@163.com
> |
>
> 签名由 网易邮箱大师 定制
>
> 在2020年08月14日 12:44,yulu yang 写道:
> 在flink作业中从kafka数据源获取数据,将 参数设置为'scan.startup.mode' = 'earliest-offset',
> 检测flink运行结果时,发现只抽取了kafka中的newest数据,没有获取到oldest数据。
> 不知道是不是我这里'scan.startup.mode' 参数用的不对。
> Flink 版本1.11.1 kafka版本 2.6.0
>


回复:请教大佬一个在flink调用kafka数据源时'scan.startup.mode'参数的使用问题

2020-08-13 文章 魏子涵
Kafka客户端的group. id参数有改吗?


| |
魏子涵
|
|
邮箱:wzh1007181...@163.com
|

签名由 网易邮箱大师 定制

在2020年08月14日 12:44,yulu yang 写道:
在flink作业中从kafka数据源获取数据,将 参数设置为'scan.startup.mode' = 'earliest-offset',
检测flink运行结果时,发现只抽取了kafka中的newest数据,没有获取到oldest数据。
不知道是不是我这里'scan.startup.mode' 参数用的不对。
Flink 版本1.11.1 kafka版本 2.6.0