Re: Flink job消费kafka 失败,无法拿到offset值
一个查Flink与集群B的网络连通性,一个是查集群B本身服务状态,比如是所有topic都连不上还是某个topic连不上,是不是有节点挂掉了,另外一个再看看kafka的_offset_consumer是不是单节点正好挂了,如果是单个topic看分区问题。 > 2021年4月23日 18:45,wysstar...@163.com 写道: > > 应该是flink 连接不上kafka ,建议往docker 的网络设置上找找看问题 > > 发自我的iPhone > >> 在 2021年4月23日,下午12:56,Qingsheng Ren 写道: >> >> 你好 Jacob, >> >> 从错误上来看是 Kafka Consumer 没有连上 Kafka Brokers。这些方法可能帮助排查问题: >> >> 1. 确认 Flink TaskManager 和 Kafka Broker 之间的网络连通性。 >> 2. Flink TaskManager 与 Kafka Broker 之间网络连通并不意味着能够消费数据,可能需要修改 Kafka Broker >> 的配置。这篇文章[1] 或许会有帮助,绝大多数 Kafka 的连接问题是由于文章中描述的配置问题导致的。 >> 3. 配置 Log4j 将 org.apache.kafka.clients.consumer 的 Log level 配置为 DEBUG 或 >> TRACE,在日志中获取到更多的信息以帮助排查。 >> >> 希望有所帮助! >> >> [1] >> https://www.confluent.io/blog/kafka-client-cannot-connect-to-broker-on-aws-on-docker-etc/ >> >> — >> Best Regards, >> >> Qingsheng Ren >> 在 2021年4月14日 +0800 PM12:13,Jacob <17691150...@163.com>,写道: >>> 有一个flink job在消费kafka topic消息,该topic存在于kafka两个集群cluster A 和Cluster B,Flink >>> Job消费A集群的topic一切正常,但切换到消费B集群就启动失败。 >>> >>> Flink 集群采用Docker部署,Standalone模式。集群资源充足,Slot充足。报错日志如下: >>> >>> java.lang.Exception: org.apache.kafka.common.errors.TimeoutException: >>> Timeout of 6ms expired before the position for partition Test-topic-27 >>> could be determined >>> at >>> org.apache.flink.streaming.runtime.tasks.SourceStreamTask$LegacySourceFunctionThread.checkThrowSourceExecutionException(SourceStreamTask.java:212) >>> at >>> org.apache.flink.streaming.runtime.tasks.SourceStreamTask.performDefaultAction(SourceStreamTask.java:132) >>> at >>> org.apache.flink.streaming.runtime.tasks.StreamTask.run(StreamTask.java:298) >>> at >>> org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:403) >>> at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:705) >>> at org.apache.flink.runtime.taskmanager.Task.run(Task.java:530) >>> at java.lang.Thread.run(Thread.java:748) >>> Caused by: org.apache.kafka.common.errors.TimeoutException: Timeout of >>> 6ms expired before the position for partition Test-topic-27 could be >>> determined >>> >>> 查询一圈发现基本都是说slot不够之类的原因,已经kafka broker负载等问题,这些问题已经排除。 >>> >>> 请指教 >>> >>> >>> >>> - >>> Thanks! >>> Jacob >>> -- >>> Sent from: http://apache-flink.147419.n8.nabble.com/ >> > >
Re: flink 1.10.2 Unknown operation 108
没有图,重新发下吧,用图床 > 2021年3月1日 14:46,xushanshan <1337220...@qq.com> 写道: > > flink 1.10.2 使用sql编写的任务,凌晨总是报如下所示的错误,但是任务没停数据正常,请问是什么原因? > > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/
Re: test
请不要发送这些无意义的邮件 > 2020年12月27日 23:19,蒋德祥 写道: > >
Re: flink clickhouse connector
我使用的是第三方的驱动,clickhouse-native-jdbc,通过JDBC的方式。 > 2020年12月17日 18:41,magichuang 写道: > > hi想问一下有小伙伴使用flink > 往clickhouse里面写数据嘛?我是使用的https://help.aliyun.com/document_detail/185696.html?spm=a2c4g.11186623.6.606.6222693bubxXzX > 这个flink-connector,但是运行报错了: > > Caused by: java.io.IOException: unable to establish connection to ClickHouse > > at > com.aliyun.flink.connector.clickhouse.table.internal.ClickHouseShardOutputFormat.open(ClickHouseShardOutputFormat.java:79) > > at > org.apache.flink.streaming.api.functions.sink.OutputFormatSinkFunction.open(OutputFormatSinkFunction.java:65) > > at > org.apache.flink.api.common.functions.util.FunctionUtils.openFunction(FunctionUtils.java:36) > > at > org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.open(AbstractUdfStreamOperator.java:102) > > at > org.apache.flink.table.runtime.operators.sink.SinkOperator.open(SinkOperator.java:73) > > at > org.apache.flink.streaming.runtime.tasks.OperatorChain.initializeStateAndOpenOperators(OperatorChain.java:291) > > at > org.apache.flink.streaming.runtime.tasks.StreamTask.lambda$beforeInvoke$0(StreamTask.java:479) > > at > org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$SynchronizedStreamTaskActionExecutor.runThrowing(StreamTaskActionExecutor.java:92) > > at > org.apache.flink.streaming.runtime.tasks.StreamTask.beforeInvoke(StreamTask.java:475) > > at > org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:528) > > at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:721) > > at org.apache.flink.runtime.taskmanager.Task.run(Task.java:546) > > at java.lang.Thread.run(Thread.java:748) > > Caused by: java.io.IOException: table `default`.`traffic` is not a > Distributed table > > at > com.aliyun.flink.connector.clickhouse.table.internal.ClickHouseShardOutputFormat.establishShardConnections(ClickHouseShardOutputFormat.java:96) > > at > com.aliyun.flink.connector.clickhouse.table.internal.ClickHouseShardOutputFormat.open(ClickHouseShardOutputFormat.java:76) > > ... 12 more > > > > > 但 traffic 这个表我在clickhouse里面创建了,flink版本是1.11 > > > > > 有小伙伴成功对接的嘛,可否分享一下connector呀 > > > > > > > > > > > > > > > > > > > > Best, > > MagicHuang > > > > >