Does Application mode support multiple submissions in HA mode?
Thank you for your time and assistance.
Best regards,
Steven Chen
unsubscribe
大佬们,有个问题一直不理解
1.FlinkKafkaProducer 往 kafka 中写数据时 kafka 有10分区,现在使用 round-robin 的方式进行分区,每个 task
都会轮循的写下游的所有 partition
为什么10分区的产生的偏移量会出现偏差。
2.多流join 数据偏移,如何修复
3.flink sql 能否repartition
hi:
版本:flink 1.10 +kafka +hive catalog
现在我是使用flinkSql ddl 在hivecatalog 注册元数据表,现在启动了4个job ,kafka 4个分区,然后4job
分别根据自己需求去根据hivecatalog 元数据表进行统计,但是出现其中2个job 丢了1条数据,查看kafka
分区偏移量丢失数据分区的偏移量少1。相当于所有任务都共用一个元数据,但是各个统计的任务比如天统计和时统计最后的总数发生偏移,比如天统计为50,时统计则51
| Partition | Latest Offset | Leader |
hi:
这个flink 版本1.10 全是提交sql 运行,生产环境经常出现这种问题,然后节点就死了,任务又只能从checkpoits 恢复,该如何解决?sql
里mysql 如何释放mysql 这个,求大佬回答?这是生产环境
2020-07-22 11:46:40,085 INFO
org.apache.flink.runtime.checkpoint.CheckpointCoordinator - Discarding
checkpoint 43842 of job a3eae3f691bdea687b9979b9e0ac28e2.
hi:
这个flink 版本1.10 全是提交sql 运行,生产环境经常出现这种问题,然后节点就死了,任务又只能从checkpoits 恢复,该如何解决?sql
里mysql 如何释放mysql 这个,求大佬回答?这是生产环境
hi:
1.项目中我们会汇集不同来源的消息的,然和合并进行统计并输出结果。
2. 有topic a 是所有的用户pv日志, topic b
是所有用户uv日志,现在1个job同时消费a,b2个消息,并将pv,uv的结果同时输出到下一级的kafka topic c中,
问题:当a 消息 提前到达,b 消息晚20分钟到达,job 在工作时如何保证2个topic 数据对齐,或者说2边数据进行关联整合?
相当于2条消息处理后合并成1条往下游sink ,如何保证数据数据a和b对应的上?
hi :
我现在遇到有这样一个场景,我们需要实时去统计5分和30分的粒度,flink sql 窗口使用了处理时间滚动窗口方式
但是都是只有5分结束的时候才能把聚合结果输出,这个不满足我们需求,有没有方式可以直接实时输出结果,比如18:02 的统计+1+1
都能直接落在18:00-18:05的窗口上,并每次+1都能实时输出,而不是等到窗口结束才sink 到mysql .30分钟同5分种,这种flink sql
如何实现。
比如数据
{ts: 2019-12-10 16:24:00 id: 1}
{ts: 2019-12-10 16:22:00 id: 1}
{ts:
hi :
我现在遇到有这样一个场景,我们需要实时去统计5分和30分的粒度,flink sql 窗口使用了处理时间滑动窗口方式
但是都是只有5分结束的时候才能把聚合结果输出,这个不满足我们需求,有没有方式可以直接实时输出结果,比如18:02 的统计+1+1
都能直接落在18:00-18:05的窗口上,并每次+1都能实时输出,而不是等到窗口结束才sink 到mysql .30分钟我同样
数据没次都能进来,并且统计,但是为什么结果insert 不会保存到mysql 中?是sql的问题?还是?求大神解答
CREATE TABLE user_behavior (
itemCode VARCHAR,
ts BIGINT COMMENT '时间戳',
t as TO_TIMESTAMP(FROM_UNIXTIME(ts /1000,'-MM-dd HH:mm:ss')),
proctime as PROCTIME(),
WATERMARK FOR t as t - INTERVAL '5' SECOND
) WITH (
'connector.type' =
11 matches
Mail list logo