Re: FlinkSQL Source和Sink的Operator name为什么格式不同
我猜哈,是因为source支持多张表。比如多个表union支持select的情况。 Ada Luna 于2021年9月29日周三 下午6:02写道: > Source: TableSourceScan(table=[[default_catalog, default_database, > ods_k]], fields=[id, name]) > Sink: Sink(table=[default_catalog.default_database.ads_k], fields=[id, > name]) > Sink: Sink(table=[default_catalog.default_database.ads_k2], fields=[id, > name])) > > > TableSourceScan 和 Sink相比多了个 中括号,并且采用 ',' 分割名字功空间,这是为什么 >
Flink Forward Asia 2021 议题征集
各位开发者: 今年的 Flink Forward Asia 2021 已正式启动!将于 12 月 4-5 日在北京·国家会议中心举办,预计将有 3000+ 开发者参与,探讨交流 Flink 最新动态。 现议题征集进行中!延续 FFA 惯例,会议所有议题均为开放征集而来,不设行业以及公司规模的限制,并由专业的议题评选委员会评分筛选,内容完全去商业化,代表行业领先水平。 在 Flink Forward Asia 2021,您可与全球开发者分享您的真知灼见,同各技术领域顶级专家面对面交流,探索数字化技术下的未来趋势。如果您在技术方向有积累与洞察,欢迎投递议题! 英雄不问出处,Flink Forward Aisa 2021 等你! 议题投递链接:https://survey.aliyun.com/apps/zhiliao/gWtaFxAXG 议题征集原文:https://mp.weixin.qq.com/s/pbMtJ2jOy_EFlYlCek34qQ 详情可添加小松鼠微信咨询: Flink 中文学习网站:https://flink-learning.org.cn/ 更多 Flink 相关技术问题,可扫码加入社区钉钉交流群 第一时间获取最新技术文章和社区动态,请关注公众号~
Re: Flink1.14资源精调相关了解
参考Flink文档 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/concepts/flink-architecture/#task-slots-and-resources 中,Task Slots and Resources部分。 这部分讲slot对cpu无隔离,mem也只是对managed mem限制。 所以新版提供的精调的slot,只是每个slot可以使用不同的cpu+mem的数字,实际还是没隔离。 只能说从调度层面作为一个新的分配方案。 也即是slot仍然只有调度层的意义,并没有资源层面的含义。 yidan zhao 于2021年9月30日周四 上午11:14写道: > 如题,目前1.14支持精调,但按照我之前对slot的理解,实际flink没有做到mem和cpu的隔离? 难道是理解错了吗。 > > 我之前只把slot理解为对单个TaskManager上线程数的限制,当然考虑到slot sharing > 机制,以及单个subtask本身也不一定是单线程(比如存在background线程),这个限制不是绝对数字限制。 > 但可以认为单个TM有n个slot,就最多能跑n个subtask pipeline。 但实际上slot与slot之间的mem、cpu是没有区分的。 > > 如上理解有问题吗。 >
Flink1.14资源精调相关了解
如题,目前1.14支持精调,但按照我之前对slot的理解,实际flink没有做到mem和cpu的隔离? 难道是理解错了吗。 我之前只把slot理解为对单个TaskManager上线程数的限制,当然考虑到slot sharing 机制,以及单个subtask本身也不一定是单线程(比如存在background线程),这个限制不是绝对数字限制。 但可以认为单个TM有n个slot,就最多能跑n个subtask pipeline。 但实际上slot与slot之间的mem、cpu是没有区分的。 如上理解有问题吗。
????: flink 1.13.2 ????avg??????int????????????????????????int??????????????????
Hi Asahi : ??int ??cast( xx as Decimal) wukon...@foxmail.com Asahi Lee ?? 2021-09-27 14:29 user-zh ?? flink 1.13.2 avg??intint?? hi! ??flink 1.13.2?? int ??avg?? int double??decimal??bug
FlinkSQL Source和Sink的Operator name为什么格式不同
Source: TableSourceScan(table=[[default_catalog, default_database, ods_k]], fields=[id, name]) Sink: Sink(table=[default_catalog.default_database.ads_k], fields=[id, name]) Sink: Sink(table=[default_catalog.default_database.ads_k2], fields=[id, name])) TableSourceScan 和 Sink相比多了个 中括号,并且采用 ',' 分割名字功空间,这是为什么