Re: flink1.9.1用采用-d（分离模式提交）作业报错，但是不加-d是可以正常跑的

您好： 我没有尝试过新版本，但是觉得好像不是版本的问题，因为我其他所有flink作业加上-d都能正常运行，就这个不行，并且如果我不用（-d）提交，这个也是可以运行的。我也很奇怪 - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: （无主题）

hi，感谢提供的方案 是的，day是订单的创建时间 想请教下，你们的离线任务是每次都将全量订单数据一起修正吗，就是不管历史的有没有变化 都去作修正， 要是这样那会不会出现绝大部分情况，离线跑的任务都是无效的，因为历史数据未发生变化 > 在 2020年8月17日，下午1:22，zhiyezou <1530130...@qq.com> 写道： > > HI  > > > 这个day应该是订单的创建时间吧 > > > 我觉得我们遇到的问题有些类似，看下我们的方案对你是否有所帮助。 > > > 首先，我们会把day这个条件控制在3天（select * where day >

????????????????

HI  day?? ?? ??day??3select * where day >now-3??TTL3??flink33?? ??

（无主题）

hi，社区的小伙伴，大家好！我有一个应用场景，想请教下大家有没有遇过，有什么好的方案。 场景就是：按照user和day的维度统计订单表里的有效订单数，同时存在历史的订单状态随时可能被更新，比如可能当前把2个月前的订单状态置未true，所以没法根据历史结果预统计，翻译称sql就是select user,day,count(*) from table where state = true group by user,day；目前我已经用flink-sql-cdc-connector实现了，但是有一个问题就是state，因为按user day组合 那么如果全部状态都保存后期回越来越大，但是如

Re: Flink参数配置设置不生效

Hi Yang Wang 感谢您的答复： 启动命令是 flink run -m yarn-cluster -ys 2 -p 4 -yjm 2G -ytm 2G -c com.nequal.bdh.cdp.IDTest etltest.jar --qu default Per-job-cluster模式 原始邮件 发件人: Yang Wang 收件人: user-zh 发送时间: 2020年8月17日(周一) 11:26 主题: Re: Flink参数配置设置不生效 如果你是on Yarn部署的话，execution.attached这个参数会在FlinkYarnSess

ScalarFunction 访问 state

Hi, 最近我有一个使用 Flink SQL 做简单的数据去重的需求，想使用 Flink 的 `ScalarFunction`，通过阅读 API 发现 FunctionContext context 并不支持访问 state。 我准备使用 Guava cache 做，不知道小伙伴有没有更好的建议哈！感谢。 Best,forideal

jobmanager异常

请教大家一个问题： flink1.8.0 on yarn 程序运行一段时间报如下错误，导致 The heartbeat of TaskManager with id container_1572430463280_50994_01_04 timed out. 最终程序重启。 各位有没有碰到类似的问题，有什么解决方式吗？ jobmanager.log 2020-08-17 02:53:21,593 ERROR akka.remote.Remoting - Association

Print SQL connector无法正常使用

Hi All: 目前使用flink sql的Print SQL connector，想要将查询的结果打印出来，结果报错： Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.factories.TableSinkFactory' in the classpath. 可以保证：HBase-connector是在lib包下存在的，是否我还需要在lib下添加什么依赖？

Re: flink interval join后按窗口聚组问题

大概看了下。这个问题我业务中涉及到过。我是DataStream API做的。 不过我是在任务设计阶段就考虑了所有case，然后提前考虑了这些问题的。 watermark是可以重设的。其次我还更改了interval join的算子实现，默认1.10只支持inner join。不支持left/right join。 并且inner join后采用最大的timestamp。这个比较复杂，实际如果做left join，业务上可能更希望使用left的时间，right join则使用right的时间。out join则只能使用留下的那个的时间，inner join情况需要看业务。 你这个问题主要就是

Re: Re: flink state ttl状态清理和重新计算的疑问

@Li Benchao （1） 如果不是每个key一个timer，但超时仍然应该是key级别的吧，只是说清理机制上不是每个key设置一个timer去清理。 比如有个全局的其他机制定期扫描清理，但超时时间应该还是key级别。 （2） 关于超时时间，对于一个key，他的value每次更新超时都会重新计算，还是永远按照这个key创建时时间开始计算呢。 Benchao Li 于2020年8月15日周六 下午7:27写道： > 是按照每个key来清理的。清理时机是跟它最后的更新时间有关系， > 也就是在最后一次更新加上state retention时间这么长的时间后会清理。 > > 最开始实现

Re: 在sink 执行notifyCheckpointComplete 方法时能否收到上游 snapshot collect 发送的数据？

谢谢 解答。也就是假如 A->B 这样一个 graph。在一次checkpoint 中 A 调用 snapshot 往下游发的数据，在B 执行 notifyCheckpointComplete 与 Asnapshot 下发的数据到达B 这2者没有必然的先后顺序。 另外就是 如果没有先后顺序，有没有什么办法 或者是在 B执行 某某操作前 能确保 这次 checkpoint 中 A snapshot 发出的数据 到达了B. 我的场景是 有3个核心算子 start->proccess->submit . 其中 start和 submit 并行度为1， proccess 并

Re: Flink任务写入kafka 开启了EOS，statebackend为rocksdb，任务反压source端日志量堆积从cp恢复失败

Hi JM/TM 日志如果是 OnYarn 模式，且开了了 log aggreagte 的话[1]，应该是能够获取到这个日志的。 据我所知，暂时没有已知问题会导致增量 checkpoint 不能恢复，如果你遇到的问题确定会导致 增量 checkpoint 恢复失败的话，可以考虑创建一个 Issue [1] https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html#log-files Best, Congxian Yang Peng 于2020年8月17日周一

flink1.11任务资源分批

hi、 请问如果想要flink任务自动扩缩容有什么办法吗，反压的时候自动加资源，然后在自动缩。

Re: flink1.9.1用采用-d（分离模式提交）作业报错，但是不加-d是可以正常跑的

Hi 如果我理解没错的话，是否添加 -d 会使用不同的模式启动作业（PerJob 和 Session 模式），从错误栈来看猜测是版本冲突了导致的，你有尝试过最新的 1.11 是否还有这个问题吗？ Best, Congxian bradyMk 于2020年8月14日周五 下午6:52写道： > 请问大家： > 我采用如下命令提交： > flink run \ > -m yarn-cluster \ > -yn 3 \ > -ys 3 \ > -yjm 2048m \ > -ytm 2048m \ > -ynm flink_test \ > -d \ > -c net.realti

Re: 请教关于Flink算子FINISHED状态时无法保存Checkpoint的问题

这个问题和下面这个问题[1] 重复了，在另外的邮件列表中已经有相关讨论 [1] http://apache-flink.147419.n8.nabble.com/Flink-FINISHED-Checkpoint-td6008.html Best, Congxian yulu yang 于2020年8月14日周五 下午1:05写道： > 对了，我这个flink作业和和分组都是新创建，不存在抽取历史。 > > 杨豫鲁 于2020年8月13日周四 下午3:33写道： > > > 请教大家一个我最近在配置Flink流的过程中遇到问题， > > > > > flink作业中关联使用了物理

Re: 请教关于Flink算子FINISHED状态时无法保存Checkpoint的问题

Hi 吴磊 请问你们有比较过使用 Redis 和 broadcast state 在你们场景下的区别吗？是什么原因让你们选择 Redis 而不是 BroadcastState 呢？ Best, Congxian 吴磊 于2020年8月14日周五 下午3:39写道： > 在我们的生产环境最常用的做法都是通过维表关联的方式进行赋值的； > 或者可以先将字典数据写进redis，然后再在第一次使用的时候去访问redis，并加载到State中。 > > > > > -- 原始邮件 -- > 发件人: >

Re: Flink参数配置设置不生效

如果你是on Yarn部署的话，execution.attached这个参数会在FlinkYarnSessionCli里面根据flink run的 cli option进行覆盖，所以你配置在flink conf里面是没有生效的。如果加了-d的话就为设置为false，反之 就是true Best, Yang 魏烽 于2020年8月15日周六 上午9:44写道： > 各位大佬好： > > 在flink-conf.yaml中设置参数execution.attached: false > >但是yarn logs查看此参数设置并没有生效， > >2020-08-15

Re: TableColumn为啥不包含comment

谢谢 我想提交这个patch Shengkai Fang 于2020年8月14日周五 下午4:33写道： > hi, 我已经建了一个issue[1]跟踪这个情况，有兴趣的话可以帮忙修复下这个bug。 > > [1] https://issues.apache.org/jira/browse/FLINK-18958 > > Harold.Miao 于2020年8月13日周四 上午11:08写道： > > > hi all > > 我发现TableColumn class不包含column comment ， 给开发带来了一点麻烦，请教大家一下，谢谢 > > > > > > --

Re: Flink任务写入kafka 开启了EOS，statebackend为rocksdb，任务反压source端日志量堆积从cp恢复失败

在我们自研的开发平台上提交任务用的detach模式，提交完之后就看不到其他日志了，这个问题当天出现了两次，是不是使用增量cp会存在这个恢复失败的情况 Congxian Qiu 于2020年8月17日周一 上午10:39写道： > Hi >你还有失败作业的 JM 和 TM > 日志吗？如果有的话可以看一下这两个日志来确定为什么没有恢复成功。因为你说代码未作任何改变，然后恢复失败，这个还是比较奇怪的。 > Best, > Congxian > > > Yang Peng 于2020年8月17日周一 上午10:25写道： > > > 好的 感谢 > > > > JasonLee <

Re: HBase Sink报错：UpsertStreamTableSink requires that Table has a full primary keys

我上面说的“新版 hbase connector”，指的是 Flink 仓库中实现的新版 sink 连接器，对于 HBase server 1.4和1.4.3都是能用的。 On Sat, 15 Aug 2020 at 00:05, xiao cai wrote: > Hi Jark: > 感谢回答，我发现是我join的时候，是想将hbase作为维表使用的，但是我遗漏了for system_time as > of语句，添加后就不会再报这个错了。 > 另外有个问题想请教：1.11中新版hbase > connector只是指with中指定version为1.4所创建的表吗

Re: 通过Flink web ui上传jar包时无响应

Hi 1 图挂了 2 相关日志有什么异常信息吗？ Best, Congxian Shiyuan L 于2020年8月15日周六 上午10:44写道： > 通过Flink web ui上传jar包时链接被重置，不清楚是什么原因，请问各位大佬遇到过么？ > [image: pic_2020-08-15_10-39-37.png] > [image: pic_2020-08-15_10-40-09.png] >

Re: 在sink 执行notifyCheckpointComplete 方法时能否收到上游 snapshot collect 发送的数据？

Hi 上游 snapshot 的逻辑和下游收到之前的 notifyCheckpointComplete 之间是没有必然联系的，所以这个从理论上是不保证先后顺序的。 Best, Congxian key lou 于2020年8月16日周日 下午9:27写道： > 各位大佬： >在如下代码中： FCombine 执行snapshot collect 发送数据之后如果不执行sleep 则 FSubmit > 在执行 notifyCheckpointComplete 方法时，list 集合 ls 为空。 > 如果在 FCombine 执行snapshot coll

Re: Flink参数配置设置不生效

Hi, 请问你的启动命令是什么？ 如果指定了 -d ，那会覆盖这个选项 Best, Yangze Guo On Sat, Aug 15, 2020 at 10:52 PM 魏烽 wrote: > > 各位大佬： > > 这个问题没有人遇到过嘛？ > > 原始邮件 > 发件人: weifeng > 收件人: user-zh > 发送时间: 2020年8月15日(周六) 09:44 > 主题: Flink参数配置设置不生效 > > > 各位大佬好： > > 在flink-conf.yaml中设置参数execution.attached: false > >但是yarn

Re: Flink任务写入kafka 开启了EOS，statebackend为rocksdb，任务反压source端日志量堆积从cp恢复失败

Hi 你还有失败作业的 JM 和 TM 日志吗？如果有的话可以看一下这两个日志来确定为什么没有恢复成功。因为你说代码未作任何改变，然后恢复失败，这个还是比较奇怪的。 Best, Congxian Yang Peng 于2020年8月17日周一 上午10:25写道： > 好的 感谢 > > JasonLee <17610775...@163.com> 于2020年8月14日周五 下午9:22写道： > > > hi > > > > 没有日志不太好定位失败的原因 但是没有设置uid的话 是有可能重启失败的 建议还是都设置uid最好 > > > > > > > > -- > > Se

Re: 退订

Hi, 退订请发邮件到 user-zh-unsubscr...@flink.apache.org 详细的可以参考 [1] [1] https://flink.apache.org/zh/community.html#section-1 Best, Xingbo simba_cheng 于2020年8月16日周日 下午9:33写道： > 退订 > > > > > 成钇辛 > TEL: 150-7783-5100 > > 我无法承诺帮你解决所有的问题，但我保证不会让你独自去面对。 > >

Re: Flink任务写入kafka 开启了EOS，statebackend为rocksdb，任务反压source端日志量堆积从cp恢复失败

好的 感谢 JasonLee <17610775...@163.com> 于2020年8月14日周五 下午9:22写道： > hi > > 没有日志不太好定位失败的原因 但是没有设置uid的话 是有可能重启失败的 建议还是都设置uid最好 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 如何在KeyedProcessFunction中获取processingTime

根据Context获取timerService，然后获取处理时间即可。 在 2020/8/16 下午7:57，“ゞ野蠻遊戲χ” 写入: 大家好         当我在KeyedProcessFunction的processElement方法中获取processingTime，就像这样ctx.timestamp()，返回为null，我改如何在processElement中获取processingTime？ 谢谢！ 嘉治

Re: 如何设置FlinkSQL并行度

我这边才研究FlinkSQL没几天。不过按照目前了解，是不支持算子级别并行度设置的。 此外你说的checkpoint无法正常触发，我估计是因为barrier的问题，部分并行示例没有分区数据，导致没数据就可能导致。这个问题类似，可能无解。 非要解决可以写代码，把souce部分不使用sql实现。 __ 在 2020/8/15 下午8:21，“forideal” 写入: Hi 赵一旦, 目前 Flink SQL 我这边使用也是无法指定各个算子的并行度。目前我这边遇到两个问题。 1.并行度超过 topic partition 的时候

回复：flink-1.10.1 想用 DDL 入 ES5.6

谢谢大佬 我先研究研究 -- 原始邮件 -- 发件人: Leonard Xu https://github.com/apache/flink/pull/12184/files#diff-c71784e07a5a5c214a2f4f9843e6ef3f>; 开始 比如你自己实现了Elasticsearch5DynamicSink ; 一套后，

退订

退订 成钇辛 TEL: 150-7783-5100 我无法承诺帮你解决所有的问题，但我保证不会让你独自去面对。

在sink 执行notifyCheckpointComplete 方法时能否收到上游 snapshot collect 发送的数据？

各位大佬： 在如下代码中： FCombine 执行snapshot collect 发送数据之后如果不执行sleep 则 FSubmit 在执行 notifyCheckpointComplete 方法时，list 集合 ls 为空。 如果在 FCombine 执行snapshot collect 发送数据之后如果执行sleep， 在执行 notifyCheckpointComplete 方法时 则就可以收到 snapshot collect 发送的数据。 我之前的理解是每个算子在执行完checkpoint 之后 才会把 barrier 广播到下游算子。 所以觉得下游无论

??????KeyedProcessFunction??????processingTime

??         ??KeyedProcessFunction??processElement??processingTime??ctx.timestamp()nullprocessElement??processingTime?? ??