Re:??????????????downloads/setup-pyflink-virtual-env.sh????

2021-11-17 文章 zxyoung
Hi!??https://nightlies.apache.org/flink/flink-docs-release-1.12/downloads/setup-pyflink-virtual-env.sh ?? 2021-11-18 15:05:03??"Asahi Lee" <978466...@qq.com.INVALID> ?? >Hi! > >flink??setup-pyflink-virtual-env.sh

KeyBy如何映射到物理分区

2020-11-06 文章 zxyoung
Hi,请教下各位: 我的场景是现在有个Keyby操作,但是我需要指定某一个key落地在某一个具体物理分区中。 我注意到keyby中得KeySelector仅仅是逻辑的分区,其实还是通过hash的方式来物理分区,没有办法指定哪一个key到哪一个分区去做。 我尝试使用partitionCustom中带有partitioner和keySelector的参数函数,但是发现没有办法直接使用类似Sum一类的聚合函数,实际测试发现Sum会将同一物理分区、但是不同Key的值都累加起来。

Flink中是否可动态Task调度

2020-11-02 文章 zxyoung
我目前学习到的情况是,Flink在初次运行Job时,会先申请所有需要的Slot,确定每一个Task都在哪个TM的哪个Slot中,然后再执行整个任务。 那么在执行阶段,能否动态调节某一组Task/SubTask从一个slot转移到另一个空闲的slot(甚至从一个TM转移到另一个TM这种跨TM)? 例如算子并发度3、两个TM、每个TM有3个slot的情况下,资源预申请时可能3个subTask都被放置在TM 1的3个slot中。 那么在运行时,能否动态调节其中一个subTask到TM 2的1个slot中?