场景实现咨询

2021-06-20 Thread chenchencc
大佬们好,我有个生产场景,不知道怎么用flink sql实现。想咨询下。 表说明: 1.订单主表:包含着订单的基本信息,有订单id主键,和其他基本信心,每次更新订单或者新增订单都会造成该表的更新或者新增 2.订单扩展信息表:包含着订单扩展信息,主键为订单id,订单的新增或者更新都会造成该表的新增或者更新 两张表的新增更新相差10s内 场景: 需要关联两张表,要求订单主表left join 订单扩展表,并且是订单扩展表的最新信息 想问下有什么好的实现方式吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 流与流 left join

2021-06-14 Thread chenchencc
你好,想问下有什么案例或者资料吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

时间窗口

2021-06-14 Thread chenchencc
大佬们好,想问下怎么获取一个时间窗口内的数据进行排序的,获取序列号字段,需要是产生append流的 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 流与流 left join

2021-06-14 Thread chenchencc
你好,谢谢哈,想问下有相关的资料或者案例能发下吗? -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Re:Re: flink sql维表延迟join如何实现?

2021-06-11 Thread chenchencc
temporary join -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink sql维表延迟join如何实现?

2021-06-10 Thread chenchencc
使用事件时间就可以延时 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复: flinksql ttl不生效

2021-06-10 Thread chenchencc
嗯嗯,我这边排查看到是我是用temporary left join 维度表,使用事件时间,但是我期望维度表只保留3小时。目前使用on加上时间范围,貌似不生效,导致join的状态不断增加。有什么方式能处理吗,保留维度表一段时间数据。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Temporal table join事件时间

2021-06-10 Thread chenchencc
大佬们好,想问下Temporal table join使用事件时间,右侧维度表有什么方式能只保留一段时间吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink维度表一直没有数据,主表left join不输出

2021-06-10 Thread chenchencc
大佬们好, 想问下主表left join cdc维度表数据, 当维度表数据很久没到导致水位跟不上主表的时候,有什么方式吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flinksql ttl不生效

2021-06-08 Thread chenchencc
版本:1.12.2 sql: SELECT id, name, message,ts SELECT ROW_NUMBER() OVER (PARTITION BY name ORDER BY ts DESC) AS rowNum FROM persons_message_table_kafka WHERE rowNum = 1 过期时间设置:tableEnv.getConfig().setIdleStateRetention(Duration.ofhour(3));

Re: Flink sql 状态过期后,checkpoint 大小没变化

2021-06-08 Thread chenchencc
你好,我也遇到这个问题,flink 1.12.2 sql,想问下 1.有什么方式能本地物理上删除那些ttl过期的数据吗 2.有什么方式能checkpoint时候删除ttl过期的数据吗?让checkpoint数据不再继续增长? -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 关于 flinksql 维表的问题

2021-05-30 Thread chenchencc
mysql cdc connectot可以实现 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复:Flink sql的state ttl设置

2021-05-28 Thread chenchencc
想问下state ttl能针对单表设置吗? -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 流与流 left join

2021-05-28 Thread chenchencc
恩恩,单表table 有什么方式能设置ttl吗? -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 流与流 left join

2021-05-28 Thread chenchencc
恩恩,是可以的 ,但是有些缺点 1.B表本身是维表属性,inter join B表如果有重复数据,会造成数据冗余 2.inter join 会有大量多余state数据 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 流与流 left join

2021-05-27 Thread chenchencc
想问下cep sql批处理能使用吗?想流批一体的。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 流与流 left join

2021-05-27 Thread chenchencc
好的,谢谢。 想问下如果使用普通sql有啥其他方式吗。如果定义版本维度表可以吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/