回复: Re:flink10读取kafka报错

2020-05-13 Thread pengchenglin
昨晚解决了,暂时还没查清原因,解决方式把createTemporaryTable 方法换成之前过时的那个方法registerTableSource,别的不用动。 pengchengl...@163.com 发件人: PCL 发送时间: 2020-05-12 23:39 收件人: user-zh 主题: Re:回复:flink10读取kafka报错 感谢回复! 这个很神奇的是,执行sqlquery就没问题 /*Table tb1 =tableEnv.sqlQuery("select sum(amount),TUMBLE_END(proctime, INTERVAL

Re: Re: flink内存分配的问题

2020-01-01 Thread pengchenglin
这个是jdk的参数,可以通过flink的env.java.opts配置 发件人: Xintong Song 发送时间: 2020-01-02 09:54 收件人: user-zh 主题: Re: flink内存分配的问题 我不确定你说的 -XX:NewSize=2442764288 是从哪里看到的,据我所知 flink 似乎没有设置这个参数。另外你用的 flink 版本是哪个版本? Thank you~ Xintong Song On Tue, Dec 31, 2019 at 8:52 PM cs <58683...@qq.com> wrote: >

Re: 关于 FLink historyserver没有completed-jobs的问题

2019-12-25 Thread pengchenglin
flink-conf.yaml里需要有这些配置 historyserver.web.port: 8082 historyserver.web.address: 0.0.0.0 historyserver.archive.fs.refresh-interval: 1 historyserver.archive.fs.dir: hdfs://127.0.0.1:8020/flink/v1.1/completed-jobs/ jobmanager.archive.fs.dir: hdfs://127.0.0.1:8020/flink/v1.1/completed-jobs/

jobmanager异常日志

2019-12-15 Thread pengchenglin
各位: 大家好,在standalone的jobmanager节点的日志中看到的,这个153的taskmanager挂掉了,不知道是不是下面的报错导致的,有知道下面的Error是啥意思不 2019-12-15 17:15:21.999 [flink-metrics-379] ERROR akka.remote.Remoting flink-metrics-akka.remote.default-remote-dispatcher-20 - Association to [akka.tcp://flink-metr...@xx.xx.xx.153:35929] with UID [1

回复: flink1.9.0 standalone模式高可用配置问题

2019-12-06 Thread pengchenglin
我刚给你测了一下,两个节点都启动jobmanager.sh ip port 后,kill掉其中一个,另一个的web界面提示正在进行选举,说明是高可用状态。 发件人: pengchenglin 发送时间: 2019-12-06 19:47 收件人: user-zh 主题: flink1.9.0 standalone模式高可用配置问题 各位: 1.9.0版本的flink,两台机器,flink-conf.yaml配置相同(high-availability.zookeeper.path.root和high-availability.cluster-id也相同), 先在机器1运行bin

flink1.9.0 standalone模式高可用配置问题

2019-12-06 Thread pengchenglin
各位: 1.9.0版本的flink,两台机器,flink-conf.yaml配置相同(high-availability.zookeeper.path.root和high-availability.cluster-id也相同), 先在机器1运行bin/jobmanager.sh start ip1 port 然后到机器2运行bin/jobmanager.sh start ip2 port 打开ip1:port,ip2:port同时存在,并不像1.7.2一样,跳转到ip1:port 请问一下,这是没有配置好,还是1.9.0版本的高可用就是如此。

perjob yarn页面链接flink出错

2019-12-01 Thread pengchenglin
各位大佬: 有遇到过这种问题吗,perjob模式,4台机器,同时运行了多个任务,在yarn的管理页面上,点tracking ui,跳转到flink页面,都是同一个任务的flink页面。 flink配置如下: high-availability.zookeeper.client.max-retry-attempts: 10 historyserver.web.address: 0.0.0.0 state.checkpoints.num-retained: 3 historyserver.web.port: 8082 env.java.opts:

Re: flink 缓存本地文件被删除疑问

2019-10-10 Thread pengchenglin
你好,你的任务是用RocksDB存储的Checkpoint吗?任务是每次启动时就报这个错误,还是运行一段时间报这个错误》 发件人: 戴嘉诚 发送时间: 2019-10-11 11:00 收件人: user-zh@flink.apache.org 主题: flink 缓存本地文件被删除疑问 大家好: 最近我的程序迁移到了flink1.9 on yarn session后,原本有个程序是读取kafka消息,然后key分组,window聚集一秒后,批量异步写入hbase中经常发生异常,其中异常为: java.lang.Exception: Exception while creating