Re: flink sql使用HepPlanner进行编译优化

flink sql的不确定性优化相比于批处理看起来是比较少的，另外我们使用的版本(flink-1.8)的实现并没有统计信息，因此我们在尝试使用 Hep Planner来提高编译速度。不知道是否会导致其它问题，比如语义变化等 Caizhi Weng 于2021年7月14日周三 上午10:08写道： > Hi！ > > Hep planner 是一个 rule based 的 planner，较多用于确定性的优化上。Volcano planner 是一个 cost > based 的 planner，多用于不确定性的优化（例如 join 方式的选择，build

Re: flink 触发保存点失败

Hi, 这个看上去是client触发savepoint失败，而不是savepoint本身end-to-end执行超时。建议对照一下JobManager的日志，观察在触发的时刻，JM日志里是否有触发savepoint的相关日志，也可以在flink web UI上观察相应的savepoint是否出现在checkpoint tab的历史里面。 祝好 唐云 From: 仙剑……情动人间 <1510603...@qq.com.INVALID> Sent: Tuesday, July 13, 2021 17:31 To:

Re: flink时态表：两个Hbase左关联有报错情况

Hi！ flink classpath 下是否有 hbase connector 相关的 jar 包呢？如果用户代码里没有用到 hbase 相关的类和方法，其实用户代码的 pom 文件里是不需要这些依赖的。 xie_guo...@163.com 于2021年7月14日周三 上午9:43写道： > 您好，有关flinkSQL时态表左关联时遇到了问题。 > 具体场景： > > 两个Hbase表做时态表关联，左表定义了处理时间，右表原本不变(rowkey,cf)，FLINK版本1.13.0，报错情况如下，麻烦问一下大家又遇到类似问题嘛，该怎么处理！ > > 2021-07-14

Re: flink sql使用HepPlanner进行编译优化

Hi！ Hep planner 是一个 rule based 的 planner，较多用于确定性的优化上。Volcano planner 是一个 cost based 的 planner，多用于不确定性的优化（例如 join 方式的选择，build 端的选择等），需要靠统计信息等进行决策。目前 Flink 两者均有应用。 terry Huang 于2021年7月13日周二 下午7:31写道： > 大佬们好，目前Flink sql使用calcite 的Volcano > >

flink时态表：两个Hbase左关联有报错情况

您好，有关flinkSQL时态表左关联时遇到了问题。 具体场景： 两个Hbase表做时态表关联，左表定义了处理时间，右表原本不变(rowkey,cf)，FLINK版本1.13.0，报错情况如下，麻烦问一下大家又遇到类似问题嘛，该怎么处理！ 2021-07-14 09:22:20.592 WARN org.apache.flink.runtime.taskmanager.Task --- 2021-07-14 09:22:20.596 WARN org.apache.flink.runtime.taskmanager.Task ---

flink sql使用HepPlanner进行编译优化

大佬们好，目前Flink sql使用calcite 的Volcano Planner进行逻辑计划优化，但是我们的实践下来觉得编译时间有点长，我们准备使用HepPlanner来做优化。请问，这么做是否会带来致命问题或者flink sql 使用Volcano planner的原因是什么呢

flink ??????????????

Hi All?? ??Flink checkpoint??2min?? ??2min?? ?? The program finished with

参与开发社区

大家好，请教下，用了flink hudi 写入数据报错，如下： Caused by: org.apache.flink.util.FlinkException: Error from OperatorCoordinator ... 41 more Caused by: java.lang.AbstractMethodError: Method

Re: Re:Re: flink on native k8s要如何动态改变日志配置？

运行在session内的任务日志无法独立配置 除非是你每个任务的用户代码package都不一样，在log4j中配置不同的package写入不同的文件。但Flink框架日志还是无法区分 Best, Yang 东东 于2021年7月13日周二 下午12:56写道： > 是的，日志配置是针对JM和TM的 > > > > > > 在 2021-07-13 12:37:20，"casel.chen" 写道： > >如果是 session > mode的话，日志配置文件是对整个session上运行的作业都生效么？每个运行在session上的作业可以独立配置日志吗？谢谢！ > > > > >

Re: Pyflink中使用ConnectedStream时，key_by后分区的问题

Hi, 我在u...@flink.apache.org列表中也发送了这个问题，已经得到回复说问题的原因如下： The root cause is the wrong mapping of the state key to the state. This > kind of wrong mapping occurs when the key is switched, but the state is not > used. As you wrote in the example, the `data` you declared is not used in >

flink 消费kafka 数据去重后聚合问题

create view distinct_view as select val,ptime from (select * ,ROW_NUMBER() OVER (PARTITION BY MN ORDER BY ptime ) as rowNum from test_udf) where rowNum = 1 select avg(val) as avg_var, STDDEV_POP(val) as spddev_pop_var from distinct_view GROUP BY HOP(ptime, INTERVAL '2' SECONDS, INTERVAL '1'