Does Application mode support multiple submissions in HA mode?
Thank you for your time and assistance.
Best regards,
Steven Chen
unsubscribe
大佬们，有个问题一直不理解
1.FlinkKafkaProducer 往 kafka 中写数据时 kafka 有10分区，现在使用 round-robin 的方式进行分区，每个 task
都会轮循的写下游的所有 partition
为什么10分区的产生的偏移量会出现偏差。
2.多流join 数据偏移，如何修复
3.flink sql 能否repartition
hi：
版本：flink 1.10 +kafka +hive catalog
现在我是使用flinkSql ddl 在hivecatalog 注册元数据表，现在启动了4个job ，kafka 4个分区，然后4job
分别根据自己需求去根据hivecatalog 元数据表进行统计，但是出现其中2个job 丢了1条数据，查看kafka
分区偏移量丢失数据分区的偏移量少1。相当于所有任务都共用一个元数据，但是各个统计的任务比如天统计和时统计最后的总数发生偏移，比如天统计为50，时统计则51
| Partition | Latest Offset | Leader |
hi:
这个flink 版本1.10 全是提交sql 运行，生产环境经常出现这种问题，然后节点就死了，任务又只能从checkpoits 恢复，该如何解决？sql
里mysql 如何释放mysql 这个，求大佬回答？这是生产环境
2020-07-22 11:46:40,085 INFO
org.apache.flink.runtime.checkpoint.CheckpointCoordinator - Discarding
checkpoint 43842 of job a3eae3f691bdea687b9979b9e0ac28e2.
hi:
这个flink 版本1.10 全是提交sql 运行，生产环境经常出现这种问题，然后节点就死了，任务又只能从checkpoits 恢复，该如何解决？sql
里mysql 如何释放mysql 这个，求大佬回答？这是生产环境
hi:
1.项目中我们会汇集不同来源的消息的，然和合并进行统计并输出结果。
2. 有topic a 是所有的用户pv日志， topic b
是所有用户uv日志，现在1个job同时消费a,b2个消息，并将pv,uv的结果同时输出到下一级的kafka topic c中，
问题：当a 消息 提前到达，b 消息晚20分钟到达，job 在工作时如何保证2个topic 数据对齐，或者说2边数据进行关联整合？
相当于2条消息处理后合并成1条往下游sink ,如何保证数据数据a和b对应的上？
hi ：
我现在遇到有这样一个场景，我们需要实时去统计5分和30分的粒度，flink sql 窗口使用了处理时间滚动窗口方式
但是都是只有5分结束的时候才能把聚合结果输出，这个不满足我们需求，有没有方式可以直接实时输出结果，比如18:02 的统计+1+1
都能直接落在18:00-18:05的窗口上，并每次+1都能实时输出，而不是等到窗口结束才sink 到mysql .30分钟同5分种，这种flink sql
如何实现。
比如数据
{ts: 2019-12-10 16:24:00 id: 1}
{ts: 2019-12-10 16:22:00 id: 1}
{ts:
hi ：
我现在遇到有这样一个场景，我们需要实时去统计5分和30分的粒度，flink sql 窗口使用了处理时间滑动窗口方式
但是都是只有5分结束的时候才能把聚合结果输出，这个不满足我们需求，有没有方式可以直接实时输出结果，比如18:02 的统计+1+1
都能直接落在18:00-18:05的窗口上，并每次+1都能实时输出，而不是等到窗口结束才sink 到mysql .30分钟我同样
数据没次都能进来，并且统计，但是为什么结果insert 不会保存到mysql 中？是sql的问题？还是？求大神解答
CREATE TABLE user_behavior (
itemCode VARCHAR,
ts BIGINT COMMENT '时间戳',
t as TO_TIMESTAMP(FROM_UNIXTIME(ts /1000,'-MM-dd HH:mm:ss')),
proctime as PROCTIME(),
WATERMARK FOR t as t - INTERVAL '5' SECOND
) WITH (
'connector.type' =
11 matches
Mail list logo
