Hi ,应该是Kafka 可能存在空闲分区,如果只是partition
数量少于并发数的话,并不会影响水位推进,只是会浪费资源。默认程序不指定并行度,使用电脑cpu 核数。
如果是table api 的话,可以添加如下参数解决,table.exec.source.idle-timeout
| |
飞雨
|
|
bigdata
drewfrank...@126.com
|
回复的原邮件
| 发件人 | Weihua Hu |
| 发送日期 | 2023年02月7日 18:48 |
| 收件人 | |
| 主题 | Re: Kafka 数据源无法实现基于事件时
Hello,想请教下为什么作业算子链 是 true 的时候,算子接收的记录数都不显示尼。
| |
稚远
|
|
drewfrank...@163.com
行远自逊,笃行不怠
|
签名由网易邮箱大师定制
Hello,想请教下为什么作业算子链 是 true 的时候,算子接收的记录数都不显示尼。
| |
稚远
|
|
drewfrank...@163.com
行远自逊,笃行不怠
|
签名由网易邮箱大师定制
退订发送到 user-zh-unsubscr...@flink.apache.org
| |
稚远
|
|
drewfrank...@163.com
行远自逊,笃行不怠
|
签名由网易邮箱大师定制
On 11/26/2021 17:44,蔡玉胜 wrote:
退订
Hello,all
请教下各位大佬,能不能提供一些思路,能够采用简单的方式去构建一些,数据倾斜,source、sink join 反压的现象。
| |
稚远
|
|
drewfrank...@163.com
行远自逊,笃行不怠
|
签名由网易邮箱大师定制
oader$3.hasNext(ServiceLoader.java:1385)
at java.base/java.util.Iterator.forEachRemaining(Iterator.java:132)
at
org.apache.flink.table.factories.FactoryUtil.discoverFactories(FactoryUtil.java:503)
... 14 more
| |
drewfranklin
|
|
drewfrank...@163.com
|
签名由 网易邮箱大师 定制
退订
| |
drewfranklin
|
|
drewfrank...@163.com
|
签名由网易邮箱大师定制
图片如下,同时我也尝试直接使用ddl 的方式注册显示相同的错误,看报错是缺少包,但不知还需要补充哪些包:
在2021年11月18日 19:23,Shengkai Fang 写道:
hi, 看不见图,建议用图床或者填一下代码。
我看到代码中有 yaml 文件,事实上 更建议使用 ddl 来创建相应的 catalog。
best,
Shengkai
drewfranklin 于2021年11月18日周四 下午6:01写道:
Hello, friends !
我按照官方文档使用 sql client 去连接hive catalog 时出错。
我的hive version
Hello, friends !
我按照官方文档使用 sql client 去连接hive catalog 时出错。
我的hive version 2.3.6
Flink version 1.13.1
感觉官方介绍的bundled 方式添加jar 包,在flink/lib 下添加如下截图的包。然后重启集群,启动了sql-client
,连接报错如下,看报错感觉缺包,不知道缺什么包。第二种方式也尝试了下,一样的报错。似乎无法创建catalog 连接。
Yaml 文件:
Reading session environment from:
退订
Hello all . 想请教下。flink sql 想添加一个全局唯一的自增数据,有什么好的方法吗?
Hello all.
想请教下各位。
我有个用户开户超时断点的场景。调研了一下,想通过flink cep 来实现。
但是我定义pattern 后发现,我的这个没办法在一条事件数据上完成判定。必须借助和上一事件数据比较之后判断是不是超时。
想知道该如何定义pattern 能够,取到排序之后前后两个两个事件。
12 matches
Mail list logo