flink固定延迟重启策略没有延迟

2021-12-20 文章 Song PinRu
查看日志发现固定延迟重启策略似乎没有生效,我设置的是30s延迟重启2次, 但是日志显示的是在06:26:50这1秒内重启了2次都失败了,并最终导致任务失败, 我设置的延迟时间似乎完全没有生效,Flink版本是1.12.2。 有没有人能告诉我这是为什么? 日志的截图: [cid:image001.png@01D7F67C.D00DC560] [cid:image002.png@01D7F67C.D00DC560] 设置重启策略的代码: val env = StreamExecutionEnvironment.getExecutionEnvironment val backend =

回复: flinksql自定义udaf函数

2021-12-20 文章 Chuang Li
Hi, 你说的这个问题我们也遇到过,是在flink 1.11以后在自定义UDF时需要添加注解进行类型推断,可以参考官方文档:https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/dev/table/functions/udfs/#type-inference 祝早日解决问题 | | Chuang Li | | jasonlee1...@163.com | 签名由网易邮箱大师定制 在2021年12月21日 09:41,Caizhi Weng 写道: Hi! 这个自定义类型是作为

Re:Flink1.14 redis connector

2021-12-20 文章 Yuepeng Pan
Hi, 可以参阅这个仓库 https://github.com/apache/bahir-flink.git Best, Roc. 在 2021-12-20 22:49:42,"guanyq" 写道: >请问下: >我记得之前的版本有redis connector,但是为什么现在版本的官网里面没有redis connector了 > > > > > > > > > > > > > > > > > >

Re: flinksql自定义udaf函数

2021-12-20 文章 Caizhi Weng
Hi! 这个自定义类型是作为 accumulator 还是被聚合的值?如果是 accumulator 则不应该报错,能否分享一下 udaf 的代码?如果是作为被聚合的值,目前自定义类型只支持 pojo,对 pojo 的要求详见 [1]。 [1] https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/datastream/fault-tolerance/serialization/types_serialization/#pojos 陈卓宇 <2572805...@qq.com.invalid>

Re: 订阅开发邮箱失败

2021-12-20 文章 Caizhi Weng
Hi! 邮件问题属于 apache infrastructure [1] 的问题,在他们的官网上有联系方式 [2],可以按这个联系方式把问题发过去看看。 [1] https://infra.apache.org/ [2] https://infra.apache.org/contact.html 陈卓宇 <2572805...@qq.com.invalid> 于2021年12月20日周一 21:17写道: > 社区您好: > 近日看到FLIP有个新的话题我非常感兴趣,一顿操作,发现需要订阅 > d...@flink.apache.org邮箱才可以进行讨论 >

Re:Re: 回撤流优化

2021-12-20 文章 casel.chen
mini-batch只是攒批后再执行,执行数据量并没有减少。而在我这个场景下是需要以攒批内再根据key聚合取最新的结果,执行数据量会大大减少。mini-batch应该还做不到吧? 在 2021-12-16 17:15:45,"Jingsong Li" 写道: >理论上mini-batch就可以优化回撤流。 > >目前是join没有支持mini-batch。 > >On Thu, Dec 16, 2021 at 5:12 PM casel.chen wrote: >> >>

Re:Re:flink on native k8s模式下CPU使用率不高问题

2021-12-20 文章 casel.chen
谢谢!我学习一下 在 2021-12-20 11:36:02,"Jeff" 写道: >升级版本没有用的,我用的是flink >1.13.2也遇到这个问题,原因是它request与limit相同,所以后来我改了它的源代码,你可以参考一下:https://github.com/jeff-zou/flink.git > ,我主要是改了KubernetesUtils.java这个类,利用external resource传入参数来替换request > > > > > > > > > > > > > > > > > >在 2021-12-18

Flink1.14 redis connector

2021-12-20 文章 guanyq
请问下: 我记得之前的版本有redis connector,但是为什么现在版本的官网里面没有redis connector了

????????????????

2021-12-20 文章 ??????
?? FLIPd...@flink.apache.org?? d...@flink.apache.org Hi. This is the qmail-send program at apache.org. I'm afraid I wasn't able to deliver your message

flinksql??????udaf????

2021-12-20 文章 ??????
udafflinksql ?? Exception in thread "main" org.apache.flink.table.api.ValidationException: SQL validation failed. An error occurred in the type inference logic of function 'Average'. at