大家好:
方向:ETL
除了延迟上的区别,离线能实现的,flink 实时实现不了的应用场景有哪些或者有缺陷的点?
非常谢谢
> 在 2021年1月30日,下午9:18,JasonLee <17610775...@163.com> 写道:
>
> hi
>
> 社区以及提供了动态修改表属性的功能,具体使用可以参考 https://mp.weixin.qq.com/s/nWKVGmAtENlQ80mdETZzDw
>
>
>
> -
> Best Wishes
> JasonLee
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
Hi:
版本:1.12.0
DDL 语句持久化到hive metastore,
创建语句如下,
CREATE TABLE KafkaTable (
`user_id` BIGINT,
`item_id` BIGINT,
`behavior` STRING,
`ts` TIMESTAMP(3) METADATA FROM 'timestamp'
) WITH (
'connector' = 'kafka',
'topic' = 'user_behavior',
即使物理不删除,也因为过期而无法再读取到了,没必要过分关注UI上的checkpoint size。
>
>
> [1]
> https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/state/state.html#cleanup-in-full-snapshot
>
> 祝好
> 唐云
>
> From: 孙啸龙
> Sent: Thursday, January 14, 2021 16:11
你好:
使用的state backend是rocksdb,没有开启增量,后续没有再插入过数据。
> 在 2021年1月14日,下午4:07,Yun Tang 写道:
>
> 使用的state backend,以及对应的checkpoint 类型是什么(是否开启incremental checkpoint)?
>
> 在一开始插入数据后,直到state TTL超过,期间均没有再插入数据过么?还是说一直在以一定的数据量在插入数据?
>
>
> 祝好
> 唐云
> ______
大家好:
版本:1.12.0
方式:flink sql
测试sql:
select a.id,b.money,b.createTime from test_state_from a
full join test_state_from1 b on a.id=b.id;
问题:
test_state_from和test_state_from1 分别插入50万条数据,查看 checkpoint 大小为83m,state
ttl 设
tch 的 no-window agg 绕过?
>
>
> Best,
> Hailong
> 在 2020-12-30 17:41:50,"孙啸龙" 写道:
>> Hi,大家好:
>>
>> 版本:1.12.0
>> 方式:Flink sql
>> 问题:双流join后是回撤流,不能窗口计算,这种应用场景是怎么处理的?
Hi,大家好:
版本:1.12.0
方式:Flink sql
问题:双流join后是回撤流,不能窗口计算,这种应用场景是怎么处理的?