回复: Kafka 数据源无法实现基于事件时间的窗口聚合

2023-02-07 文章 drewfranklin
Hi ,应该是Kafka 可能存在空闲分区,如果只是partition 数量少于并发数的话,并不会影响水位推进,只是会浪费资源。默认程序不指定并行度,使用电脑cpu 核数。 如果是table api 的话,可以添加如下参数解决,table.exec.source.idle-timeout | | 飞雨 | | bigdata drewfrank...@126.com | 回复的原邮件 | 发件人 | Weihua Hu | | 发送日期 | 2023年02月7日 18:48 | | 收件人 | | | 主题 | Re: Kafka 数据源无法实现基于事件时

Flink web ui job overwrite 不显示算子接收数据条数

2021-11-29 文章 drewfranklin
Hello,想请教下为什么作业算子链 是 true 的时候,算子接收的记录数都不显示尼。 | | 稚远 | | drewfrank...@163.com 行远自逊,笃行不怠 | 签名由网易邮箱大师定制

Flink web ui job overwrite 不显示算子接收数据条数

2021-11-29 文章 drewfranklin
Hello,想请教下为什么作业算子链 是 true 的时候,算子接收的记录数都不显示尼。 | | 稚远 | | drewfrank...@163.com 行远自逊,笃行不怠 | 签名由网易邮箱大师定制

Re:退订

2021-11-26 文章 drewfranklin
退订发送到 user-zh-unsubscr...@flink.apache.org | | 稚远 | | drewfrank...@163.com 行远自逊,笃行不怠 | 签名由网易邮箱大师定制 On 11/26/2021 17:44,蔡玉胜 wrote: 退订

怎么样构建模拟一些数据倾斜,各类算子反压的场景

2021-11-25 文章 drewfranklin
Hello,all 请教下各位大佬,能不能提供一些思路,能够采用简单的方式去构建一些,数据倾斜,source、sink join 反压的现象。 | | 稚远 | | drewfrank...@163.com 行远自逊,笃行不怠 | 签名由网易邮箱大师定制

flink1.13.1 sql client connect hivecatalog 报错

2021-11-21 文章 drewfranklin
oader$3.hasNext(ServiceLoader.java:1385) at java.base/java.util.Iterator.forEachRemaining(Iterator.java:132) at org.apache.flink.table.factories.FactoryUtil.discoverFactories(FactoryUtil.java:503) ... 14 more | | drewfranklin | | drewfrank...@163.com | 签名由 网易邮箱大师 定制

退订

2021-11-18 文章 drewfranklin
退订 | | drewfranklin | | drewfrank...@163.com | 签名由网易邮箱大师定制

回复: flink1.13.1 sql client connect hivecatalog 报错

2021-11-18 文章 drewfranklin
图片如下,同时我也尝试直接使用ddl 的方式注册显示相同的错误,看报错是缺少包,但不知还需要补充哪些包: 在2021年11月18日 19:23,Shengkai Fang 写道: hi, 看不见图,建议用图床或者填一下代码。 我看到代码中有 yaml 文件,事实上 更建议使用 ddl 来创建相应的 catalog。 best, Shengkai drewfranklin 于2021年11月18日周四 下午6:01写道: Hello, friends ! 我按照官方文档使用 sql client 去连接hive catalog 时出错。 我的hive version

flink1.13.1 sql client connect hivecatalog 报错

2021-11-18 文章 drewfranklin
Hello, friends ! 我按照官方文档使用 sql client 去连接hive catalog 时出错。 我的hive version 2.3.6 Flink version 1.13.1 感觉官方介绍的bundled 方式添加jar 包,在flink/lib 下添加如下截图的包。然后重启集群,启动了sql-client ,连接报错如下,看报错感觉缺包,不知道缺什么包。第二种方式也尝试了下,一样的报错。似乎无法创建catalog 连接。 Yaml 文件: Reading session environment from:

退订

2021-03-24 文章 drewfranklin
退订

flink sql 添加全局唯一id 字段

2020-08-06 文章 drewfranklin
Hello all . 想请教下。flink sql 想添加一个全局唯一的自增数据,有什么好的方法吗?

flink cep 如何处理超时事件?

2020-07-13 文章 drewfranklin
Hello all. 想请教下各位。 我有个用户开户超时断点的场景。调研了一下,想通过flink cep 来实现。 但是我定义pattern 后发现,我的这个没办法在一条事件数据上完成判定。必须借助和上一事件数据比较之后判断是不是超时。 想知道该如何定义pattern 能够,取到排序之后前后两个两个事件。