Re: FlinkKafkaProducer 开启Excatly Once之后 初始化事务状态超时的问题

Hi on 2019/9/2 11:49, 陈赋赟 wrote: 2019-09-02 10:24:28,599 INFO org.apache.flink.runtime.taskmanager.Task - Interval Join -> Sink: Unnamed (1/4) (e8b85b6f144879efbb0b4209f226c69b) switched from RUNNING to FAILED. org.apache.kafka.common.errors.TimeoutException: Timeout expir

Re: 查看调度到 Task Manager 的 Job

十几个long running的streaming job跑在一个session里？ 163 于2019年9月2日周一 上午11:13写道： > Dear community > > Flink 是否提供了从 TaskManager 的角度查看有哪些任务运行在该 TaskManger 的方法？？？ > > > 背景： > Flink 1.7.0 版本，Flink on YARN > 集群中某一个节点突然负载变高，需要定位哪一个 Job 占用了大量的资源，当前的办法是在 UI 的 Running Jobs > 菜单，一个一个

Re:FlinkKafkaProducer 开启Excatly Once之后 初始化事务状态超时的问题

2019-09-02 10:24:28,599 INFO org.apache.flink.runtime.taskmanager.Task - Interval Join -> Sink: Unnamed (1/4) (e8b85b6f144879efbb0b4209f226c69b) switched from RUNNING to FAILED. org.apache.kafka.common.errors.TimeoutException: Timeout expired while initializing transacti

FlinkKafkaProducer 开启Excatly Once之后 初始化事务状态超时的问题

我在flink中使用了kafkaProducer 并开启了ExcatlyOnce语义，第一次部署在测试环境启动的时候一切正常，然后我再上新版本的时候kill掉了之前的任务，并重现发布了一下，就出现了如下的问题日志里显示在做checkpoint的时候出现了初始化事务状态 超时过期的异常。 具体异常如下： checkpoint interval设置了30s执行一次 producer事务超时（transaction.timeout.ms）时间设置了5分钟

FLINK WEEKLY 2019/35

FLINK WEEKLY 2019/35 FLINK 社区正在如火如荼的开发 1.10 的新特性中，许多对 FLINK 现有局限的讨论，包括功能上的、配置上的和文档上的问题都在热烈的讨论中。上周，user-zh 列表活跃度大大增加，社区的开发者和使用者对用户的问题的回复也非常迅速，FLINK 中文社区的壮大有目共睹。本周仍然分为用户列表的问答，FLINK 开发的进展和社区事件三个部分为大家推送上周的 FLINK 社区新闻。 USER flink 1.9 消费kafka报错

查看调度到 Task Manager 的 Job

Dear community Flink 是否提供了从 TaskManager 的角度查看有哪些任务运行在该 TaskManger 的方法？？？ 背景： Flink 1.7.0 版本，Flink on YARN 集群中某一个节点突然负载变高，需要定位哪一个 Job 占用了大量的资源，当前的办法是在 UI 的 Running Jobs 菜单，一个一个任务去找，然而我们有几十个 Job。快疯了……😖😖😖

Re: Re:使用flink 1.8.1 部署yarn集群 ， 始终有报错

Hi 向0.0.0.0:8030 尝试提交作业是因为提交作业时找不到正确的YARN配置，就会向默认的本地8030端口提交，检查一下HADOOP_CONF_DIR 或者 HADOOP_HOME 这些环境变量有没有设置正确。可以设置一下这些配置文件的目录地址就可以提交作业了。 BTW，这个不是一个Flink的问题，是所有使用YARN管理作业的大数据计算引擎都有可能遇到的问题。 祝好 唐云 From: 周��岗 Sent: Sunday, September 1, 2019 15:31 To: user-zh@flink.

Re:使用flink 1.8.1 部署yarn集群 ， 始终有报错

比较肯定yarn的配置基本是正确的，不知道为何flink始终在通过0.0.0.0 连接yarn scheduler 在 2019-09-01 13:55:50，"周虓岗" 写道： >Retrying connect to server: 0.0.0.0/0.0.0.0:8030. Already tried 0 time(s); >retry policy is RetryUpToMaximumCountWithFixedSleep > > > > >同样的一台电脑使用1.7.2部署就没有问题，有没有大神帮忙看看哪里有问题