退订

2020-11-23 文章

回复:flink1.9读取阿里Mq问题

2020-07-03 文章
您好! 自定义source继承RichSourceFuntion.open() 里去构建Conumer 可以设置AccessKey,SecretKey 参数; 2020-7-4 | | 李军 | | hold_li...@163.com | 签名由网易邮箱大师定制 在2020年7月3日 23:44,guanyq 写道: flink1.9读取阿里RocketMQ 如何设置AccessKey,SecretKey 参数 finalRMQConnectionConfigconnectionConfig

高可用集群

2020-06-28 文章
请教下,各位大佬们生产环境使用的是哪种集群配置 1. Standalone 集群 2. Yarn 集群 理由是什么,不知道怎么选择 2020-6-28 | | 李军 | | hold_li...@163.com | 签名由网易邮箱大师定制

分流

2019-12-10 文章
各位好! 请教一个问题: 例现有如下结构数据: ip,id,mobile,return (一条数据) 做实时统计,想问下怎么把一条数据拆分成不同key的多条数据做统计。如:ip (id,mobile),mobile(ip,id)等 这样子 然后5分钟根据不同key统计结果; 用 flatmap吗? 初学者,希望大佬们解惑。 期待您的回信,祝好! 2019-12-11

如何 远程通知 flink 开启任务

2019-12-03 文章
请教一个问题: 目前想用flink做批处理,但是不知道任务启动后,怎么通知flink 开始跑任务。 就比如像发个请求一样的通知; 再或者是任务接受到数据了就开始处理吗??

yarn-cluster 提交任务的问题

2019-12-01 文章
指定主程序类;报错: The program's entry point class 'com.dora.job.stream.AliLogStreamingJob' was not found in the jar file. 但是运行同一个包下另一个主程序类却可以找到,可以运行;这个类就不可以

回复:请问一下 :启动session 时 ,报错:Could not write the Yarn connection information.

2019-11-22 文章
原因就是我主机名携带了‘_’导致的;问题已解决; 感谢~ | | 李军 | | hold_li...@163.com | 签名由网易邮箱大师定制 在2019年11月22日 16:12,李军 写道: 您指的是这个URL: akka.tcp://flink@vm_0_17_centos:33643/user/dispatcher vm_0_17_centos 这个主机名不允许带'_'吗 | | 李军 | | hold_li...@163.com | 签名由网易邮箱大师定制 在2019年11月22日 16:09,贺小令(晓令) 写道: hi 李军, java的URI地

回复:请问一下 :启动session 时 ,报错:Could not write the Yarn connection information.

2019-11-22 文章
您指的是这个URL: akka.tcp://flink@vm_0_17_centos:33643/user/dispatcher vm_0_17_centos 这个主机名不允许带'_'吗 | | 李军 | | hold_li...@163.com | 签名由网易邮箱大师定制 在2019年11月22日 16:09,贺小令(晓令) 写道: hi 李军, java的URI地址不允许带 _ , https://bugs.openjdk.java.net/browse/JDK-8221675 请将 _ 改掉后再试试 thanks, godfrey

请问一下 :启动session 时 ,报错:Could not write the Yarn connection information.

2019-11-21 文章
报错图片和详细内容如下 https://blog.csdn.net/qq_37518574/article/details/103197224 另外启动这个之前要启动哪些,yarn 和hdfs 都已经启动了; 初学,虚心请教,感谢。

回复: ./bin/yarn-session.sh 启动; Error while running the Flink Yarn session. 错误

2019-11-18 文章
描述一样的现象 Best, tison. tison 于2019年11月18日周一 下午4:53写道: 你的那个图可能是因为一些参数传得不对导致 YARN 部署的时候出问题了。我之前遇到过这种情况是因为我把一个参数传错了 YARN 的 APP 起来之后抛异常 你看到在那边不停的 retry 是一个已知的 BUG,我记得最近几个版本已经修了,我找找对应的 JIRA Best, tison. 李军 于2019年11月18日周一 下午4:50写道: ./bin/yarn-session.sh 启动; Error while running the Flink Yarn

./bin/yarn-session.sh 启动; Error while running the Flink Yarn session. 错误

2019-11-18 文章
./bin/yarn-session.sh 启动; Error while running the Flink Yarn session. 错误 报错信息图: https://blog.csdn.net/qq_37518574/article/details/103125368

回复: yarn-session.sh 启动 报错

2019-11-18 文章
找到问题了; 是我这个包:flink-shaded-hadoop-2-uber-2.8.3-7.0 (1) 名字错了; 但是又有一个错误不是很明白; 签名由网易邮箱大师定制 在2019年11月18日 16:38,李军 写道: HADOOP_CLASSPATH 设置了; 启动这个好像不需要指定程序的入口类吧 在2019年11月18日 16:34,tison 写道: 可能是你没有设置 HADOOP_CLASSPATH 参考 https://flink.apache.org/downloads.html 本页面最上部分 If you plan to use Apache

回复: yarn-session.sh 启动 报错

2019-11-18 文章
ent/hadoop.html> Best, tison. 李军 于2019年11月18日周一 下午4:31写道: 启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 报错:Error: Could not find or load main class org.apache.flink.yarn.cli.FlinkYarnSessionCli ResourceManager,NodeManager都已启动。

yarn-session.sh 启动 报错

2019-11-18 文章
启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 报错:Error: Could not find or load main class org.apache.flink.yarn.cli.FlinkYarnSessionCli ResourceManager,NodeManager都已启动。

回复: yarn-session.sh 启动 报错

2019-11-15 文章
| | 李军 | | | | hold_li...@163.com | 签名由网易邮箱大师定制 在2019年11月15日 16:22,tison 写道: 图看不见,你可以外链图床或者 gist 贴 log Best, tison. 李军 于2019年11月15日周五 下午4:07写道: 这个报错实在不知道是什么意思,哪个地方连接不上

yarn-session.sh 启动 报错

2019-11-15 文章
这个报错实在不知道是什么意思,哪个地方连接不上

flink 集群

2019-11-10 文章
想咨询下,自建flink集群,用什么方式 管理监控集群? 还要job 任务需要更新的时候,jar包以什么方式更新,并且更新任务,什么方式更新任务,能保证老的任务正常关闭,新的衔接上; 求解释,有相关文资料吗

回复:flink作业提交到集群执行异常

2019-11-04 文章
file: '/tmp/blobStore-0d69900e-5299-4be9-b3bc-060d06559034/job_e8fccb398c2d9de108051beb06ec64cc/blob_p-d1e0b6ace7b204eb42f56ce87b96bff39cc58289-d0b8e666fc70af746ebbd73ff8b38354' (valid JAR) 这个文件是不是和其他节点的不一样 在2019年11月5日 15:04,Zhong venb 写道: Hi,