【Could we support distribute by For FlinkSql】

2022-05-08 文章 lpengdr...@163.com
Hello:
Now we cann't add a shuffle-operation in a sql-job.
Sometimes , for example, I have a kafka-source(three partitions) with 
parallelism three. And then I have a lookup-join function, I want process the 
data distribute by id so that the data can split into thre parallelism evenly 
(The source maybe slant seriously).
In DataStream API i can do it with keyby(), but it's so sad that i can do 
nothing when i use a sql;
Maybe we can do it like 'select id, f1,f2 from sourceTable distribute by id' 
like we do it in SparkSql.

Sot that we can make change on the picture  in sql-mode;





lpengdr...@163.com


【Log4j.properties使用AsyncAppender】

2021-12-16 文章 lpengdr...@163.com
Hi:

flink使用log4j.properties配置,.properties配置似乎没有办法配置AsyncAppender,所以在flink的日志没有办法使用AsyncAppender了吗?是否有其他的办法可以绕行



lpengdr...@163.com


Flink OperatorChain AsyncWaitOperator

2021-09-02 文章 lpengdr...@163.com
Hi:

请教下Flink的operator-chain的机制, 
我看AsyncWaitOperator的chainingStrategy是ALWAYS,但是实际使用发现在所有算子并行度都设置为1的情况下这个operator没有办法和上游算子chain串起来只能跟下游的算子slot共享,这里边是还有什么其他规则吗?





Re: flink1.12.2 sql session窗口间隔时间段内没有新数据窗口不关闭

2021-06-18 文章 lpengdr...@163.com
你用EventTimeSession窗口的超时也是按照你的事件时间来判断的,要有超过超时时间边界的数据输入了才能触发



lpengdr...@163.com
 
发件人: raofang
发送时间: 2021-06-18 12:20
收件人: user-zh
主题: flink1.12.2 sql session窗口间隔时间段内没有新数据窗口不关闭
hi,请教大家一个问题:
flink1.12.2 sql BlinkPlanner
使用基于routime的session窗口时,在设置的间隔时间10分钟内没有接收到新数据,窗口没有关闭输出计算结果;但是接收到10分钟之后的新数据时上一次的session窗口才关闭输出结果。不知道是什么原因导致超过间隔时间没有新数据窗口没有关闭的问题呢?
 谢谢~
 
 
 
--
Sent from: http://apache-flink.147419.n8.nabble.com/