flinkSQL无法实现两个timestamp(3) 相减

2023-03-06 Thread 唐世伟
我们需要对两个时间相减,精度为毫秒。但是无论是TIMESTAMPDIFF函数,还是先转成UNIX_TIMESTAMP,都只支持秒的精度。请问还有其他方法吗?

flink on K8S(operator) 如何获取 Accumulator

2023-03-06 Thread wangwei
Hi,大佬们 如何在任务结束后获取Accumulator 数据? 参考代码:(但是无法获取) ableResult execute = statementSet.execute(); Optional jobClient = execute.getJobClient(); jobClient.get().getAccumulators().get() PS: 最初的需求是: 对任务同步的数据量做统计。希望在批任务结束后,准确的获取Accumulator 中值,但是在K8S 中无法获取? 大佬求助!!先磕为敬

flink cdc connector计划支持hudi change data capture吗?

2023-03-06 Thread casel.chen
flink cdc connector计划支持hudi change data capture吗?

Re: flinkSQL无法实现两个timestamp(3) 相减

2023-03-06 Thread Shammon FY
Hi 如果没有现成的系统函数,你可以写个自定义udf来实现 https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/functions/udfs/ Best, Shammon On Mon, Mar 6, 2023 at 7:46 PM 唐世伟 wrote: > > 我们需要对两个时间相减,精度为毫秒。但是无论是TIMESTAMPDIFF函数,还是先转成UNIX_TIMESTAMP,都只支持秒的精度。请问还有其他方法吗?

Re: Flink作业tm Connection timed out异常问题

2023-03-06 Thread Shammon FY
Hi 很多原因都可能会导致连接失败问题,包括机器故障、系统问题或者服务器负载,如果是怀疑负载问题你可以找几台服务器和这台有疑问的服务器组成个小集群,提交一些作业,让这台服务器负载不要太高,观察一下作业运行情况 Best, Shammon On Mon, Mar 6, 2023 at 8:49 PM crazy <2463829...@qq.com.invalid> wrote: > 报错日志下面这个一样,是同一个问题么 > https://issues.apache.org/jira/browse/FLINK-19925 > > > 其中描述到服务器 "high cpu usage

FlinkCEP GroupPattern 匹配结果异常问题

2023-03-06 Thread 傅宣登
各位好, 我发现 FlinkCEP 中涉及 GroupPattern 的一些查询的匹配结果和直觉不太符合。 以如下查询为例: Pattern.begin("pl").where( new SimpleCondition() { @Override public boolean filter(Event value) { return value.getName() == 2; } } ).times(1,3).optional().co

Re: flink on K8S(operator) 如何获取 Accumulator

2023-03-06 Thread Weihua Hu
Hi, 按照你的描述,我猜测你使用的是 Application 模式吧?这种模式下 user code 会在 JobManager 侧执行,Job 执行结束后会直接 shutdown cluster。 可以尝试使用 session mode[1] 部署 cluster [1] https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/resource-providers/native_kubernetes/#session-mode Best, Weihua On Mon, Mar 6, 2023 a