大佬们好,我有个生产场景,不知道怎么用flink sql实现。想咨询下。
表说明:
1.订单主表:包含着订单的基本信息,有订单id主键,和其他基本信心,每次更新订单或者新增订单都会造成该表的更新或者新增
2.订单扩展信息表:包含着订单扩展信息,主键为订单id,订单的新增或者更新都会造成该表的新增或者更新
两张表的新增更新相差10s内
场景:
需要关联两张表,要求订单主表left join 订单扩展表,并且是订单扩展表的最新信息
想问下有什么好的实现方式吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
你好,想问下有什么案例或者资料吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
大佬们好,想问下怎么获取一个时间窗口内的数据进行排序的,获取序列号字段,需要是产生append流的
--
Sent from: http://apache-flink.147419.n8.nabble.com/
你好,谢谢哈,想问下有相关的资料或者案例能发下吗?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
temporary join
--
Sent from: http://apache-flink.147419.n8.nabble.com/
使用事件时间就可以延时
--
Sent from: http://apache-flink.147419.n8.nabble.com/
嗯嗯,我这边排查看到是我是用temporary left join
维度表,使用事件时间,但是我期望维度表只保留3小时。目前使用on加上时间范围,貌似不生效,导致join的状态不断增加。有什么方式能处理吗,保留维度表一段时间数据。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
大佬们好,想问下Temporal table join使用事件时间,右侧维度表有什么方式能只保留一段时间吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
大佬们好,
想问下主表left join cdc维度表数据,
当维度表数据很久没到导致水位跟不上主表的时候,有什么方式吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
版本:1.12.2
sql:
SELECT id, name, message,ts
SELECT
ROW_NUMBER() OVER (PARTITION BY name
ORDER BY ts DESC) AS rowNum
FROM persons_message_table_kafka
WHERE rowNum = 1
过期时间设置:tableEnv.getConfig().setIdleStateRetention(Duration.ofhour(3));
你好,我也遇到这个问题,flink 1.12.2 sql,想问下
1.有什么方式能本地物理上删除那些ttl过期的数据吗
2.有什么方式能checkpoint时候删除ttl过期的数据吗?让checkpoint数据不再继续增长?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
mysql cdc connectot可以实现
--
Sent from: http://apache-flink.147419.n8.nabble.com/
想问下state ttl能针对单表设置吗?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
恩恩,单表table 有什么方式能设置ttl吗?
--
Sent from: http://apache-flink.147419.n8.nabble.com/
恩恩,是可以的
,但是有些缺点
1.B表本身是维表属性,inter join B表如果有重复数据,会造成数据冗余
2.inter join 会有大量多余state数据
--
Sent from: http://apache-flink.147419.n8.nabble.com/
想问下cep sql批处理能使用吗?想流批一体的。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
好的,谢谢。
想问下如果使用普通sql有啥其他方式吗。如果定义版本维度表可以吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
17 matches
Mail list logo