回复:【问题分析】Fink任务无限反压
之前遇到过在sink到kudu的时候出现反压很严重,主要原因是测试数据不当的问题,根据我的经验,比较多的是下游io瓶颈,可以到sink组件的日志查看问题 -- 原始邮件 -- 发件人: yidan zhao http://apache-flink.147419.n8.nabble.com/
回复:flink1.12版本,yarn-application模式Flink web ui看不到日志
图里边可以看到,这个http://apache-flink.147419.n8.nabble.com/ >> > >> > >> > >> > -- >> > Best, >> > pp >> > > > -- > Best, > pp > -- Best, pp -- Best, pp -- Best, pp -- Best, pp -- Best, pp
回复:flink1.12版本,yarn-application模式Flink web ui看不到日志
这个配置读到了,可以在webui 里看到这个配置internal .yarn.log-configure-file -- 原始邮件 -- 发件人: r pp http://apache-flink.147419.n8.nabble.com/ >> > >> > >> > >> > -- >> > Best, >> > pp >> > > > -- > Best, > pp > -- Best, pp -- Best, pp -- Best, pp -- Best, pp
回复:flink1.12版本,yarn-application模式Flink web ui看不到日志
你好,正常情况下flink on yarn 的container 日志中应该有.err .out .log 这三个日志,你贴的这个-slog.file 应该就是jobmanager .log 的位置,但是我这个程序是没有.log日志这个文件的,只有err 和out ,我试着在程序containner 里查看日志,发现能正常显示日志的container 中有以上三种日志,不能正常显示日志的程序中,只有两个日志,没有.log日志文件。所以也看不到运行时的一些info信息。我觉得这个是yarn创建的日志文件,目前还没找到原因。我尝试过运行两个一模一样的程序,打成两个jar 包,但是其中一个正常,另一个不正常,这种情况不影响程序运行,只是缺一些日志。 -- 原始邮件 -- 发件人: r pp http://apache-flink.147419.n8.nabble.com/ >> > >> > >> > >> > -- >> > Best, >> > pp >> > > > -- > Best, > pp > -- Best, pp
回复:flink1.12版本,yarn-application模式Flink web ui看不到日志
非常感谢,我明天测试一下,解决之后,我会把这个问题描述下 -- 原始邮件 -- 发件人: r pp http://apache-flink.147419.n8.nabble.com/ >> > >> > >> > >> > -- >> > Best, >> > pp >> > > > -- > Best, > pp > -- Best, pp
回复:flink 1.12 on yarn WebUI不显示logs
加了一些配置,一些程序有日志,一些没有日志 -- 原始邮件 -- 发件人: JasonLee <17610775...@163.com> 发送时间: 2021年6月3日 12:44 收件人: user-zh http://apache-flink.147419.n8.nabble.com/
flink 1.12 on yarn WebUI不显示logs
大家好 目前在测试1.12.1版本时遇到个问题,提交程序之后在WebUI查看日志,jobmanager和taskmanager logs都不显示,按f12查看,logs 是404,并响应 errors :this file does not exist in Jobmanager log dir 这是在启动过程中没有创建日志吗,不清楚什么原因导致的。
回复:flink1.12版本,yarn-application模式Flink web ui看不到日志
请问你是怎么解决这个问题的 -- 原始邮件 -- 发件人: r pp http://apache-flink.147419.n8.nabble.com/ -- Best, pp
回复:flink1.12版本,yarn-application模式Flink web ui看不到日志
你的意思是在log4j.properties中的配置吗,我门在这个里边配置了生成日志文件的格式,是在安装节点里加的,不过这个应该不是在webui里显示的。奇怪的一点是我们组有别的程序是正常的,但是一部分在webUI不显示日志。我们目前是从1.10升级到1.12,这种情况在1.12出现的 -- 原始邮件 -- 发件人: r pp http://apache-flink.147419.n8.nabble.com/ -- Best, pp
回复:flink1.12版本,yarn-application模式Flink web ui看不到日志
你这个解决了吗,我也遇到了同样的问题 -- 原始邮件 -- 发件人: todd http://apache-flink.147419.n8.nabble.com/
flink -conf.yaml修改
大家好,这个配置文件修改之后需要什么操作才生效吗,比如重启集群,还是说直接启动作业自动就应用了呢
回复:1.12 yarn-per-job提交作业失败
感谢解答 -- 原始邮件 -- 发件人: Paul Lam https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#yarn-application-queue <https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#yarn-application-queue>; Best, Paul Lam > 2021年3月15日 10:22,smq <374060...@qq.com> 写道: > > 我在用这个命令提交的时候会报 > flink Application rejected by queue placement policy > 这个应该是没有指定queue > 但是我在命令中加了-yqu 这个参数,在web界面看quene 的时候,不是我指定的,而是default 。 > 另外,我用旧命令提交作业可以正常运行。请问有人碰到过这个问题吗。
回复:1.12 yarn-per-job提交作业失败
多谢回答 -- 原始邮件 -- 发件人: Paul Lam https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#yarn-application-queue <https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#yarn-application-queue>; Best, Paul Lam > 2021年3月15日 10:22,smq <374060...@qq.com> 写道: > > 我在用这个命令提交的时候会报 > flink Application rejected by queue placement policy > 这个应该是没有指定queue > 但是我在命令中加了-yqu 这个参数,在web界面看quene 的时候,不是我指定的,而是default 。 > 另外,我用旧命令提交作业可以正常运行。请问有人碰到过这个问题吗。
1.12 yarn-per-job提交作业失败
我在用这个命令提交的时候会报 flink Application rejected by queue placement policy 这个应该是没有指定queue 但是我在命令中加了-yqu 这个参数,在web界面看quene 的时候,不是我指定的,而是default 。 另外,我用旧命令提交作业可以正常运行。请问有人碰到过这个问题吗。
回复:MapState 无法更新问题
可以贴个完整的代码吗 -- 原始邮件 -- 发件人: chaos http://apache-flink.147419.n8.nabble.com/
回复:自定义窗口触发器 Trigger
补充一下,我是继承Trigger自己实现了一个定时器,然后只重写了三个抽象方法 -- 原始邮件 -- 发件人: smq <374060...@qq.com> 发送时间: 2021年3月8日 15:30 收件人: user-zh
自定义窗口触发器 Trigger
Trigger 抽象类其中有两个方法,onProcessingTime ()和OnEventTime (),在源码描述中,当trigger context设置的定时器触发时会调用上面两个方法。但是在实际测试中,发现,就算没有设置定时器,上面的方法也能在水印超过窗口最大时间之后触发。请问有人知道了解过这个吗。
回复:消息队列量级特别如何优化消费
被压严重一般是sink 效率低或者计算过程有瓶颈,被压跟数据源数据多少没什么关系。你可以在web 界面查看哪个算子导致的,然后优化就可以了 发自我的iPhone -- 原始邮件 -- 发件人: 刘建刚
回复:消息队列量级特别如何优化消费
被压严重一般是sink 效率低或者计算过程有瓶颈,被压跟数据源数据多少没什么关系。你可以在web 界面查看哪个算子导致的,然后优化就可以了 发自我的iPhone -- 原始邮件 -- 发件人: 刘建刚
Reply:消息队列量级特别如何优化消费
被压严重一般是sink 效率低或者计算过程有瓶颈,被压跟数据源数据多少没什么关系 发自我的iPhone -- 原始邮件 -- From: 刘建刚
Reply:回复:Flink checkpoint 速度慢问题请教
我之前遇到过ck 时间长,是因为反压比较高,你可以看看有没有反压的情况 发自我的iPhone -- 原始邮件 -- From: Jacob <17691150...@163.com> 发送时间: 03/02/2021, 18:02 To: user-zh http://apache-flink.147419.n8.nabble.com/
Reply:回复:Flink checkpoint 速度慢问题请教
我之前遇到过ck 时间长,是因为反压比较高,你可以看看有没有反压的情况 发自我的iPhone -- 原始邮件 -- From: Jacob <17691150...@163.com> 发送时间: 03/02/2021, 18:02 To: user-zh http://apache-flink.147419.n8.nabble.com/
Reply:回复:Flink checkpoint 速度慢问题请教
我之前遇到过ck 时间长,是因为反压比较高,你可以看看有没有反压的情况 发自我的iPhone -- 原始邮件 -- From: Jacob <17691150...@163.com> 发送时间: 03/02/2021, 18:02 To: user-zh http://apache-flink.147419.n8.nabble.com/
Reply:回复:Flink checkpoint 速度慢问题请教
我之前遇到过ck 时间长,是因为反压比较高,你可以看看有没有反压的情况 -- 原始邮件 -- From: Jacob <17691150...@163.com> 发送时间: 03/02/2021, 18:02 To: user-zh http://apache-flink.147419.n8.nabble.com/
Reply:回复:flink如何在无数据流的情况下也能实现state定时输出的功能
定时器触发不需要有数据,可以设置一个八点的定时器定时触发,具体操作可以百度 -- 原始邮件 -- From: Hongyuan Ma http://apache-flink.147419.n8.nabble.com/
回复:flink 设置broadcastStream 的MapStateDescriptor
多谢,刚开始理解有问题 发自我的iPhone -- 原始邮件 -- 发件人: 赵一旦
转发:flink 设置broadcastStream 的MapStateDescriptor
发自我的iPhone -- 原始邮件 -- 发件人: 明启 孙 <374060...@qq.com> 发送时间: 2021年1月18日 11:30 收件人: user-zh
回复:FLINK SQL 消费kafka消息乱序问题
可能是有退款呢,我也做过类似的统计 ---原始邮件--- 发件人: "user-zh-return-9443-374060171=qq.com"
回复:容忍checkpoint 失败次数和重启策略冲突吗
你好,Congxian 因为这个是在公司内网,所以没办法把日志拿出来,这个邮件好像收不了图片。我就简单描述下。 我又重新测试这个,第一种方式是setTolerableCheckpointFaliureNumber (0), 没有设置重启策略,结果是checkpoint失败多次,程序还正常运行,查看日志,后边只有触发checkpoint和checkpoint过时未完成的日志,没有报错或异常。 第二种方式是setFailOnCheckpointingErrors(true),结果和第一种方式一样。 不知道这个设置生效是有什么前提吗,还是有什么bug ---原始邮件--- 发件人: "Congxian Qiu"
容忍checkpoint 失败次数和重启策略冲突吗
各位大佬好: 我现在设置容忍checkpoint失败次数是0,重启策略为固定延时重启,重启100次。 经过测试发现,checkpoint连续失败多次,程序还在运行,不知道是什么原因导致容忍checkpoint失败次数这个设置没有生效。
keyedstate TTL 清理状态如何触发
大家好,现在有个疑问,TTL如果设成1min,那么是时间到了之后,该state自动清除吗
回复:消费kafka source反压
谢谢,多问一句,并行度为1的话,keyby算子加上keydstate对性能影响大吗 ---原始邮件--- 发件人: "Benchao Li"
消费kafka source反压
大家好,在测试flink消费速率时,发现数据处理比较慢,大概一个task每秒处理1000条左右,经过查看UI界面,发现读取kafka数据源这块source反压达到1,请问有这方面经验吗?
关于checkpointFunction接口
大佬好,现在有个疑问,因为要用到自定义的state 保存某个值,这个状态是在keydprocessFunction实现类中用到的,我在sink的时候,实现了CheckpointFunction接口,实现了snapshotState方法,在这个方法中,我只写了一个flush到kudu的方法。这样的话我之前自己定义的state能保存到状态后端吗。 换句话说,就是snapshotState这个方法是在做checkpoint的同时调用了这个方法中的动作,还是说其他的状态不做了,只做我实现的snapshotState这个方法呢?
checkpoint问题
如果我的程序逻辑修改,还能用之前的checkpoint吗
回复:消费kafka数据乱序问题
换句话说,写进kafka的数据是同一个用户的两条,余额分别是0和100,就是我之前那个计算过程,这个计算操作在Oracle完成,我只负责把余额,也就是0或者100更新到kudu对应的余额字段,因为消费数据可能会乱序,先更新100,再更新0,这样导致存在kudu的数据是0,正确的数据最终应该是100 ---原始邮件--- 发件人: "wwj"
消费kafka数据乱序问题
大家好 现在碰到一个关于处理乱序的问题,业务场景是银行余额的更新,数据源是kafka,有一个账户余额字段,sink到kudu,更新客户余额. 如果对于同一个账户的多笔操作出现乱序,可能会导致客户余额不对。比如一个客户账户有100块,先消费100,然后存100,按照正常的数据处理顺序,帐户余额应该还是100的,假如说先处理了存钱,存上之后余额是100-100+100=100,然后处理消费100的那条数据,由于消费在前,这时这条数据对应的余额是100-100=0。 这样的话就出现了统计余额错误,请问想要按照事件时间处理数据是不是可以先keyby,然后用watermark.
flink集成到cdh
大家好,在网上找了个制作parcel的工具,flink1.9版本打好之后可以正常通过cm安装运行,但是1.10和1.11安装之后都是启动不了,请问大家有这方面的经验可以传授下吗,感激不尽!
flink sink到kafka
大家好,我想通过avro格式sink到kafka,请问该怎么实现,官网上没找到相关方法。
回复:flink sql 窗口场景的问题
我觉得既然你想要事实输出数据,那就没必要用窗口,用了时间窗口,那就是按照窗口大小来统计了,不能同时两个都实现吧,把这两种场景分开分别实现,或者你要想得到每分钟的聚合结果,就缩小窗口大小。 ---原始邮件--- 发件人: "steven chen"
回复:flink集群启动显示正在运行instance多,StandaloneSessionClusterEntrypoint启动后被kill
还是不行,可能是别的原因,昨天还好好的,今天不知道搞了什么就这样了。看了日志说resourcemanager拒绝连接。 ---原始邮件--- 发件人: "Lijie Wang"
??????flink????????????????????instance??,StandaloneSessionClusterEntrypoint????????kill
start-cluster.sh?? [root@node01 bin]# stop-cluster.sh No taskexecutor daemon (pid: 11978) is running anymore on node01. No taskexecutor daemon (pid: 5885) is running anymore on node02. No taskexecutor daemon (pid: 4529) is running anymore on node03. No standalonesession daemon (pid: 11633) is running anymore on node01. No standalonesession daemon (pid: 5554) is running anymore on node02. start,stop?? -- -- ??: "Lijie Wang"
flink????????????????????instance??,StandaloneSessionClusterEntrypoint????????kill
hi ??.?? [root@node01 bin]# start-cluster.sh Starting HA cluster with 2 masters. [INFO] 5 instance(s) of standalonesession are already running on node01. Starting standalonesession daemon on host node01. [INFO] 1 instance(s) of standalonesession are already running on node02. Starting standalonesession daemon on host node02. [INFO] 1 instance(s) of taskexecutor are already running on node01. Starting taskexecutor daemon on host node01. [INFO] 3 instance(s) of taskexecutor are already running on node02. Starting taskexecutor daemon on host node02. [INFO] 6 instance(s) of taskexecutor are already running on node03. Starting taskexecutor daemon on host node03.
?????? flink 1.10webui??????print????
checkpoint,??,idea,webui,,webui?? -- -- ??: "tison"
?????? flink 1.10webui??????print????
FlinkKafkaConsumer011
回复:flink 1.10webui不显示print内容
TM和JM都检查了,没有看到输出,idea上运行是有输出结果的 ---原始邮件--- 发件人: "Benchao Li"
回复:flink 1.10webui不显示print内容
我这个在集群上提交或者webui提交都看不到输出内容,这应该不是client吧 ---原始邮件--- 发件人: "Lijie Wang"
flink 1.10webui不显示print内容
Hi 我的代码中打印的结果不能在webui上stdout看到,但是网上看的博客有人是可以显示打印内容的,只不过不是1.10版本。 请问是配置的问题还是这个版本不支持呢
回复:关于水位线Watermark的理解
恩恩,我是刚接触flink不久,所以很多地方没有很清楚,谢谢指点 ---原始邮件--- 发件人: "tison"https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html#allowed-lateness [2] https://github.com/apache/flink/blob/master/flink-streaming-java/src/main/java/org/apache/flink/streaming/runtime/operators/windowing/WindowOperator.java Benchao Li
回复:关于水位线Watermark的理解
感谢! ---原始邮件--- 发件人: "Benchao Li"
关于水位线Watermark的理解
使用时间时间窗口处理关于数据延迟,加入允许延迟时间为1min,窗口大小是10min,那么在12:00-12:10这个窗口中,如果事件时间是在12:09:50这个数据在12:10:50这个数据到达,并且此时水位线刚好在12:09:50,那么这个延迟数据可以被处理,这个可以理解。 但是,假如第一个数据的事件时间刚好为12:00的,那么此时水位线应该在11:59,这个数据能进入12:00-12:10这个窗口被处理吗。按道理来说应该被正确处理。那么这样的话,进入窗口是按照事件时间,触发是按照水印时间。不知道这么理解对不对,这个问题想了很久。