[Blink]sql client kafka sink 失败

2019-02-21 文章 张洪涛
大家好! 我正在测试Blink sql client kafka sink connector ,但是发现写入失败,以下是我的步骤 环境配置 blink standalone 模式 1. 配置environment 启动sql client 2. 创建kafka sink table CREATETABLEkafka_sink( messageKeyVARBINARY, messageValueVARBINARY, PRIMARYKEY(messageKey)) with( type='KAFKA011', topic='sink-top

关于Flink 中 timeWindow 滚动窗口边界和数据延迟问题疑惑

2019-02-21 文章 hery168
今天看网上的一篇文章https://blog.csdn.net/xsdxs/article/details/82415450#commentsedit 很感谢作者的整理,感觉不错,对里面的一些内容不是很理解 文章的 3.1.3 输出 1 -> 10005 -> 2001-09-09 09:47:30.000 2 -> 100054000 -> 2001-09-09 09:47:34.000 3 -> 100079900 -> 2001-09-09

答复: 回复:数据量问题

2019-02-21 文章 cousin-gmail
好的,我去了解一下。谢谢 -邮件原件- 发件人: 浪人 [mailto:1543332...@qq.com] 发送时间: 2019年2月21日 16:35 收件人: user-zh 主题: 回复:数据量问题 像这种需求,推荐使用continuesTrigger或是使用更加底层API processfunction去处 理,不要使用常规的滑动窗口去操作,性能低,资源消耗大。 -- 原始邮件 -- 发件人: "cousin-gmail"; 发送时间: 2019年2月21日(星期四) 下午4:31 收件

????????????????

2019-02-21 文章 ????
-- -- ??: ""; : 2019??2??21??(??) 4:39 ??: "user-zh@flink.apa

????????????????

2019-02-21 文章 ????????
https://issues.apache.org/jira/browse/FLINK-7001 ??2019??2??21?? 16:34??<1543332...@qq.com> ?? continuesTriggerAPI processfunction???

????????????????

2019-02-21 文章 ????
continuesTriggerAPI processfunction?? -- -- ??: "cousin-gmail"; : 2019??2??21??(??) 4:31 ??: "user-zh"; : ?? ???

数据量问题

2019-02-21 文章 cousin-gmail
嘿,各位,我想问问,如果一天1.5亿数据量的记录,要查询最近一小时内的 聚集数量,那么,有什么比较好的方案?如果是用1小时窗口,10秒滑动一次,这样子 貌似需要维持360个窗口了,这样子的话,大概需要多少内存呢?