Re: FlinkSQL Source和Sink的Operator name为什么格式不同

2021-09-29 文章 yidan zhao
我猜哈,是因为source支持多张表。比如多个表union支持select的情况。

Ada Luna  于2021年9月29日周三 下午6:02写道:

> Source: TableSourceScan(table=[[default_catalog, default_database,
> ods_k]], fields=[id, name])
> Sink: Sink(table=[default_catalog.default_database.ads_k], fields=[id,
> name])
> Sink: Sink(table=[default_catalog.default_database.ads_k2], fields=[id,
> name]))
>
>
> TableSourceScan 和 Sink相比多了个 中括号,并且采用 ',' 分割名字功空间,这是为什么
>


Flink Forward Asia 2021 议题征集

2021-09-29 文章 王翔
各位开发者:



今年的 Flink Forward Asia 2021 已正式启动!将于 12 月 4-5 日在北京·国家会议中心举办,预计将有 3000+ 
开发者参与,探讨交流 Flink 最新动态。




现议题征集进行中!延续 FFA 
惯例,会议所有议题均为开放征集而来,不设行业以及公司规模的限制,并由专业的议题评选委员会评分筛选,内容完全去商业化,代表行业领先水平。




在 Flink Forward Asia 
2021,您可与全球开发者分享您的真知灼见,同各技术领域顶级专家面对面交流,探索数字化技术下的未来趋势。如果您在技术方向有积累与洞察,欢迎投递议题!




英雄不问出处,Flink Forward Aisa 2021 等你!




议题投递链接:https://survey.aliyun.com/apps/zhiliao/gWtaFxAXG




议题征集原文:https://mp.weixin.qq.com/s/pbMtJ2jOy_EFlYlCek34qQ




详情可添加小松鼠微信咨询:







Flink 中文学习网站:https://flink-learning.org.cn/




更多 Flink 相关技术问题,可扫码加入社区钉钉交流群
第一时间获取最新技术文章和社区动态,请关注公众号~




Re: Flink1.14资源精调相关了解

2021-09-29 文章 yidan zhao
参考Flink文档
https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/concepts/flink-architecture/#task-slots-and-resources
中,Task Slots and Resources部分。
这部分讲slot对cpu无隔离,mem也只是对managed mem限制。
所以新版提供的精调的slot,只是每个slot可以使用不同的cpu+mem的数字,实际还是没隔离。 只能说从调度层面作为一个新的分配方案。
也即是slot仍然只有调度层的意义,并没有资源层面的含义。



yidan zhao  于2021年9月30日周四 上午11:14写道:

> 如题,目前1.14支持精调,但按照我之前对slot的理解,实际flink没有做到mem和cpu的隔离? 难道是理解错了吗。
>
> 我之前只把slot理解为对单个TaskManager上线程数的限制,当然考虑到slot sharing
> 机制,以及单个subtask本身也不一定是单线程(比如存在background线程),这个限制不是绝对数字限制。
> 但可以认为单个TM有n个slot,就最多能跑n个subtask pipeline。 但实际上slot与slot之间的mem、cpu是没有区分的。
>
> 如上理解有问题吗。
>


Flink1.14资源精调相关了解

2021-09-29 文章 yidan zhao
如题,目前1.14支持精调,但按照我之前对slot的理解,实际flink没有做到mem和cpu的隔离? 难道是理解错了吗。

我之前只把slot理解为对单个TaskManager上线程数的限制,当然考虑到slot sharing
机制,以及单个subtask本身也不一定是单线程(比如存在background线程),这个限制不是绝对数字限制。
但可以认为单个TM有n个slot,就最多能跑n个subtask pipeline。 但实际上slot与slot之间的mem、cpu是没有区分的。

如上理解有问题吗。


????: flink 1.13.2 ????avg??????int????????????????????????int??????????????????

2021-09-29 文章 wukon...@foxmail.com
Hi Asahi :
    ??int ??cast( xx as Decimal)  



wukon...@foxmail.com
 
 Asahi Lee
?? 2021-09-27 14:29
 user-zh
?? flink 1.13.2 
avg??intint??
hi!   ??flink 1.13.2?? int 
??avg?? int  
double??decimal??bug 


FlinkSQL Source和Sink的Operator name为什么格式不同

2021-09-29 文章 Ada Luna
Source: TableSourceScan(table=[[default_catalog, default_database,
ods_k]], fields=[id, name])
Sink: Sink(table=[default_catalog.default_database.ads_k], fields=[id, name])
Sink: Sink(table=[default_catalog.default_database.ads_k2], fields=[id, name]))


TableSourceScan 和 Sink相比多了个 中括号,并且采用 ',' 分割名字功空间,这是为什么