| |
罗海芳
|
|
15678617...@163.com
|
签名由网易邮箱大师定制
您好:
附件是使用oss作高可用时的报错,以下是启动flink时的脚本:
../bin/kubernetes-session.sh \
-Dkubernetes.cluster-id=flink-session-1 \
-Dkubernetes.container.image=test/flink:1.13.2-scala_2.12-oss \
-Dkubernetes.container.image.pull-policy=Always \
-Dkubernetes.namespace=flink-session \
-Dkubernet
你好,
这个看起来是Hadoop的报错,连接失败的这个节点是NameNode么?创建HiveCatalog时可以指定Hadoop的配置文件的,要保证两个HiveCatalog读到的Hadoop配置是正确的。
另外使用多个HiveCatalog需要保证hive版本一致,不同版本的hive没办法一起用
On Fri, Aug 27, 2021 at 3:01 PM Jim Chen
wrote:
> Hi
>
> 集群上根本没有这个端口,也不知道这个端口是干嘛用的,为啥要连这个。这个是实时集群上的端口
>
> Caizhi Weng 于2021年8月27日周五 下午2:33写道:
>
Hi,
你好,图片无法加载,可以直接粘贴文字出来
祝好
唐云
From: dker eandei
Sent: Friday, August 27, 2021 14:58
To: user-zh@flink.apache.org
Subject: flink oss ha
您好:
看文档OSS可以用作 FsStatebackend,那么Flink on k8s
做高可用时,high-availability.storageDir可以配置成oss吗,我试了下,报以下错误:
[cid:image002
Hi 航飞
可以参照[1] 看是不是类似的问题
[1] https://issues.apache.org/jira/browse/FLINK-23721
祝好
唐云
From: 李航飞
Sent: Thursday, August 26, 2021 19:02
To: user-zh
Subject: table.exec.state.ttl
Configuration conf = new Configuration();
conf.setString("table.exec.mini-batch.enabl
Hi!
这些临时文件基本都是网络 shuffle 的数据,Flink 会自动清理不用的数据,理论上不会无限增大。
另外你使用的 state backend 是什么?部分 state backend 比如 rocksdb 的临时文件也会存在这里,此时就和 state
的大小相关。
王春波 <893885...@qq.com.invalid> 于2021年8月30日周一 上午10:26写道:
>
> 请问作业结束是指任务停止么,还是数据处理完成一部分,实时分析job一直在消费kafka数据,临时文件内容会很大,flink也没有什么策略处理一下么?磁盘会被占满的,怎么办呀?
> 还有个问题
job??kafka??flink
??
-- --
??:
你好, 你说的这种控制写入的方式在同一个 Flink SQL job 里是无法实现的. 控制数据是否写入某个
Sink,可以看看是否从逻辑上能在 Sink 前加一个 Filter,从而达到过滤目的;如果 kafka sink 跟 MySQL
表是一种类似级联的关系, 可以考虑先写入 MySQL, 然后另起一个 Job 用 CDC 方式读 MySQL changelog 再写入
Kafka sink.
On 8/26/21, jie han wrote:
> HI:
> 可以尝试下使用flink cdc 的方式写入到第二个kafka里面呀
>
> 悟空 于2021年8月26日周四 下午1
Hi!
io.tmp.dirs 里的文件在作业结束后会自动清理,作业运行过程中不应该清理。
王春波 <893885...@qq.com.invalid> 于2021年8月30日周一 上午9:57写道:
>
> 在运行flink任务时,在flink-conf.yaml配置文件中的io.tmp.dirs里会缓存些临时文件,这些文件有没有清理的机制?在实际运行中该目录里的文件占用巨大的磁盘空间,约40G左右,将其删除后,任务就执行失败了,不知道该如何清理,多指教
Hi!
不太明白“配置到哪一级”是什么含义。export 命令是将变量导出到目前的 shell session,在从 shell logout
之前都有效。如果运行了 export 命令之后再运行 flink run 应该就可行了。
Wayne <1...@163.com> 于2021年8月28日周六 下午8:37写道:
> 我的提交命令
>
>
> ./bin/flink run -d -m yarn-cluster
>
>
> 报错如下
> The program finished with the following exception:
>
>
> java.lang.Ill
??flink??flink-conf.yamlio.tmp.dirs??40G
11 matches
Mail list logo