你好,你的任务是用RocksDB存储的Checkpoint吗?任务是每次启动时就报这个错误,还是运行一段时间报这个错误》
发件人: 戴嘉诚
发送时间: 2019-10-11 11:00
收件人: user-zh@flink.apache.org
主题: flink 缓存本地文件被删除疑问
大家好:
最近我的程序迁移到了flink1.9 on yarn
session后,原本有个程序是读取kafka消息,然后key分组,window聚集一秒后,批量异步写入hbase中经常发生异常,其中异常为:
java.lang.Exception: Exception while creating S
各位大佬:
有遇到过这种问题吗,perjob模式,4台机器,同时运行了多个任务,在yarn的管理页面上,点tracking
ui,跳转到flink页面,都是同一个任务的flink页面。
flink配置如下:
high-availability.zookeeper.client.max-retry-attempts: 10
historyserver.web.address: 0.0.0.0
state.checkpoints.num-retained: 3
historyserver.web.port: 8082
env.java.opts: -XX:+HeapDump
perjob模式,运行多个任务时,如果配置了high-availability.zookeeper.path.root: /flink
和high-availability.cluster-id: /v1.1/perjob-20191130
由于每个任务一个集群,所以每个集群在zookeeper上的目录都一样,导致yarn关联的flink相同,推荐删除上面两个配置,对于perjob模式。
发件人: pengchenglin
发送时间: 2019-12-02 15:54
收件人: user-zh@flink.apache.org
主题: perjob yarn页面链接flink出错
各
各位:
1.9.0版本的flink,两台机器,flink-conf.yaml配置相同(high-availability.zookeeper.path.root和high-availability.cluster-id也相同),
先在机器1运行bin/jobmanager.sh start ip1 port
然后到机器2运行bin/jobmanager.sh start ip2 port
打开ip1:port,ip2:port同时存在,并不像1.7.2一样,跳转到ip1:port
请问一下,这是没有配置好,还是1.9.0版本的高可用就是如此。
我刚给你测了一下,两个节点都启动jobmanager.sh ip port 后,kill掉其中一个,另一个的web界面提示正在进行选举,说明是高可用状态。
发件人: pengchenglin
发送时间: 2019-12-06 19:47
收件人: user-zh
主题: flink1.9.0 standalone模式高可用配置问题
各位:
1.9.0版本的flink,两台机器,flink-conf.yaml配置相同(high-availability.zookeeper.path.root和high-availability.cluster-id也相同),
先在机器1运行bin
各位:
大家好,在standalone的jobmanager节点的日志中看到的,这个153的taskmanager挂掉了,不知道是不是下面的报错导致的,有知道下面的Error是啥意思不
2019-12-15 17:15:21.999 [flink-metrics-379] ERROR akka.remote.Remoting
flink-metrics-akka.remote.default-remote-dispatcher-20 - Association to
[akka.tcp://flink-metr...@xx.xx.xx.153:35929] with UID [1
61
flink-conf.yaml里需要有这些配置
historyserver.web.port: 8082
historyserver.web.address: 0.0.0.0
historyserver.archive.fs.refresh-interval: 1
historyserver.archive.fs.dir: hdfs://127.0.0.1:8020/flink/v1.1/completed-jobs/
jobmanager.archive.fs.dir: hdfs://127.0.0.1:8020/flink/v1.1/completed-jobs/
#多少秒后,
这个是jdk的参数,可以通过flink的env.java.opts配置
发件人: Xintong Song
发送时间: 2020-01-02 09:54
收件人: user-zh
主题: Re: flink内存分配的问题
我不确定你说的 -XX:NewSize=2442764288 是从哪里看到的,据我所知 flink 似乎没有设置这个参数。另外你用的 flink
版本是哪个版本?
Thank you~
Xintong Song
On Tue, Dec 31, 2019 at 8:52 PM cs <58683...@qq.com> wrote:
> 谢谢您的回答
昨晚解决了,暂时还没查清原因,解决方式把createTemporaryTable 方法换成之前过时的那个方法registerTableSource,别的不用动。
pengchengl...@163.com
发件人: PCL
发送时间: 2020-05-12 23:39
收件人: user-zh
主题: Re:回复:flink10读取kafka报错
感谢回复!
这个很神奇的是,执行sqlquery就没问题
/*Table tb1 =tableEnv.sqlQuery("select sum(amount),TUMBLE_END(proctime,
INTERVAL '5