退订
回复:flink1.9读取阿里Mq问题
您好! 自定义source继承RichSourceFuntion.open() 里去构建Conumer 可以设置AccessKey,SecretKey 参数; 2020-7-4 | | 李军 | | hold_li...@163.com | 签名由网易邮箱大师定制 在2020年7月3日 23:44,guanyq 写道: flink1.9读取阿里RocketMQ 如何设置AccessKey,SecretKey 参数 finalRMQConnectionConfigconnectionConfig=newRMQConnectionConfig.Builder().setHost("localhost").setPort(5000)build();
高可用集群
请教下,各位大佬们生产环境使用的是哪种集群配置 1. Standalone 集群 2. Yarn 集群 理由是什么,不知道怎么选择 2020-6-28 | | 李军 | | hold_li...@163.com | 签名由网易邮箱大师定制
分流
各位好! 请教一个问题: 例现有如下结构数据: ip,id,mobile,return (一条数据) 做实时统计,想问下怎么把一条数据拆分成不同key的多条数据做统计。如:ip (id,mobile),mobile(ip,id)等 这样子 然后5分钟根据不同key统计结果; 用 flatmap吗? 初学者,希望大佬们解惑。 期待您的回信,祝好! 2019-12-11
如何 远程通知 flink 开启任务
请教一个问题: 目前想用flink做批处理,但是不知道任务启动后,怎么通知flink 开始跑任务。 就比如像发个请求一样的通知; 再或者是任务接受到数据了就开始处理吗??
yarn-cluster 提交任务的问题
指定主程序类;报错: The program's entry point class 'com.dora.job.stream.AliLogStreamingJob' was not found in the jar file. 但是运行同一个包下另一个主程序类却可以找到,可以运行;这个类就不可以
回复:请问一下 :启动session 时 ,报错:Could not write the Yarn connection information.
原因就是我主机名携带了‘_’导致的;问题已解决; 感谢~ | | 李军 | | hold_li...@163.com | 签名由网易邮箱大师定制 在2019年11月22日 16:12,李军 写道: 您指的是这个URL: akka.tcp://flink@vm_0_17_centos:33643/user/dispatcher vm_0_17_centos 这个主机名不允许带'_'吗 | | 李军 | | hold_li...@163.com | 签名由网易邮箱大师定制 在2019年11月22日 16:09,贺小令(晓令) 写道: hi 李军, java的URI地址不允许带 _ , https://bugs.openjdk.java.net/browse/JDK-8221675 请将 _ 改掉后再试试 thanks, godfrey ------ 发件人:李军 发送时间:2019年11月22日(星期五) 15:15 收件人:贺小令(晓令) 主 题:回复:请问一下 :启动session 时 ,报错:Could not write the Yarn connection information. flink:1.9.1 hadoop:2.8.3 李军 hold_li...@163.com 签名由 网易邮箱大师 定制 在2019年11月22日 15:14,贺小令(晓令) 写道: 请问你用的flink版本是? thanks, godfrey ------ 发件人:李军 发送时间:2019年11月22日(星期五) 11:10 收件人:user-zh 主 题:请问一下 :启动session 时 ,报错:Could not write the Yarn connection information. 报错图片和详细内容如下 https://blog.csdn.net/qq_37518574/article/details/103197224 另外启动这个之前要启动哪些,yarn 和hdfs 都已经启动了; 初学,虚心请教,感谢。
回复:请问一下 :启动session 时 ,报错:Could not write the Yarn connection information.
您指的是这个URL: akka.tcp://flink@vm_0_17_centos:33643/user/dispatcher vm_0_17_centos 这个主机名不允许带'_'吗 | | 李军 | | hold_li...@163.com | 签名由网易邮箱大师定制 在2019年11月22日 16:09,贺小令(晓令) 写道: hi 李军, java的URI地址不允许带 _ , https://bugs.openjdk.java.net/browse/JDK-8221675 请将 _ 改掉后再试试 thanks, godfrey ------ 发件人:李军 发送时间:2019年11月22日(星期五) 15:15 收件人:贺小令(晓令) 主 题:回复:请问一下 :启动session 时 ,报错:Could not write the Yarn connection information. flink:1.9.1 hadoop:2.8.3 李军 hold_li...@163.com 签名由 网易邮箱大师 定制 在2019年11月22日 15:14,贺小令(晓令) 写道: 请问你用的flink版本是? thanks, godfrey ------ 发件人:李军 发送时间:2019年11月22日(星期五) 11:10 收件人:user-zh 主 题:请问一下 :启动session 时 ,报错:Could not write the Yarn connection information. 报错图片和详细内容如下 https://blog.csdn.net/qq_37518574/article/details/103197224 另外启动这个之前要启动哪些,yarn 和hdfs 都已经启动了; 初学,虚心请教,感谢。
请问一下 :启动session 时 ,报错:Could not write the Yarn connection information.
报错图片和详细内容如下 https://blog.csdn.net/qq_37518574/article/details/103197224 另外启动这个之前要启动哪些,yarn 和hdfs 都已经启动了; 初学,虚心请教,感谢。
回复: ./bin/yarn-session.sh 启动; Error while running the Flink Yarn session. 错误
ok ,我待会换个版本试试,我看了下这个启动时打印的信息: nable to load native-hadoop library for your platform. 这个是不是也是有问题的;https://blog.csdn.net/qq_37518574/article/details/103125368 第一张图; 在2019年11月18日 16:55,tison 写道: https://issues.apache.org/jira/browse/FLINK-10435 就这,如果你参数传错了 YARN 刚一 deploy 就挂了,就会出现跟这个 JIRA 描述一样的现象 Best, tison. tison 于2019年11月18日周一 下午4:53写道: 你的那个图可能是因为一些参数传得不对导致 YARN 部署的时候出问题了。我之前遇到过这种情况是因为我把一个参数传错了 YARN 的 APP 起来之后抛异常 你看到在那边不停的 retry 是一个已知的 BUG,我记得最近几个版本已经修了,我找找对应的 JIRA Best, tison. 李军 于2019年11月18日周一 下午4:50写道: ./bin/yarn-session.sh 启动; Error while running the Flink Yarn session. 错误 报错信息图: https://blog.csdn.net/qq_37518574/article/details/103125368
./bin/yarn-session.sh 启动; Error while running the Flink Yarn session. 错误
./bin/yarn-session.sh 启动; Error while running the Flink Yarn session. 错误 报错信息图: https://blog.csdn.net/qq_37518574/article/details/103125368
回复: yarn-session.sh 启动 报错
找到问题了; 是我这个包:flink-shaded-hadoop-2-uber-2.8.3-7.0 (1) 名字错了; 但是又有一个错误不是很明白; 签名由网易邮箱大师定制 在2019年11月18日 16:38,李军 写道: HADOOP_CLASSPATH 设置了; 启动这个好像不需要指定程序的入口类吧 在2019年11月18日 16:34,tison 写道: 可能是你没有设置 HADOOP_CLASSPATH 参考 https://flink.apache.org/downloads.html 本页面最上部分 If you plan to use Apache Flink together with Apache Hadoop (run Flink on YARN, connect to HDFS, connect to HBase, or use some Hadoop-based file system connector) then select the download that bundles the matching Hadoop version, download the optional pre-bundled Hadoop that matches your version and place it in the lib folder of Flink, or export your HADOOP_CLASSPATH <https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html> Best, tison. 李军 于2019年11月18日周一 下午4:31写道: 启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 报错:Error: Could not find or load main class org.apache.flink.yarn.cli.FlinkYarnSessionCli ResourceManager,NodeManager都已启动。
回复: yarn-session.sh 启动 报错
HADOOP_CLASSPATH 设置了; 启动这个好像不需要指定程序的入口类吧 在2019年11月18日 16:34,tison 写道: 可能是你没有设置 HADOOP_CLASSPATH 参考 https://flink.apache.org/downloads.html 本页面最上部分 If you plan to use Apache Flink together with Apache Hadoop (run Flink on YARN, connect to HDFS, connect to HBase, or use some Hadoop-based file system connector) then select the download that bundles the matching Hadoop version, download the optional pre-bundled Hadoop that matches your version and place it in the lib folder of Flink, or export your HADOOP_CLASSPATH <https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html> Best, tison. 李军 于2019年11月18日周一 下午4:31写道: 启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 报错:Error: Could not find or load main class org.apache.flink.yarn.cli.FlinkYarnSessionCli ResourceManager,NodeManager都已启动。
yarn-session.sh 启动 报错
启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 报错:Error: Could not find or load main class org.apache.flink.yarn.cli.FlinkYarnSessionCli ResourceManager,NodeManager都已启动。
回复: yarn-session.sh 启动 报错
| | 李军 | | | | hold_li...@163.com | 签名由网易邮箱大师定制 在2019年11月15日 16:22,tison 写道: 图看不见,你可以外链图床或者 gist 贴 log Best, tison. 李军 于2019年11月15日周五 下午4:07写道: 这个报错实在不知道是什么意思,哪个地方连接不上
yarn-session.sh 启动 报错
这个报错实在不知道是什么意思,哪个地方连接不上
flink 集群
想咨询下,自建flink集群,用什么方式 管理监控集群? 还要job 任务需要更新的时候,jar包以什么方式更新,并且更新任务,什么方式更新任务,能保证老的任务正常关闭,新的衔接上; 求解释,有相关文资料吗
回复:flink作业提交到集群执行异常
file: '/tmp/blobStore-0d69900e-5299-4be9-b3bc-060d06559034/job_e8fccb398c2d9de108051beb06ec64cc/blob_p-d1e0b6ace7b204eb42f56ce87b96bff39cc58289-d0b8e666fc70af746ebbd73ff8b38354' (valid JAR) 这个文件是不是和其他节点的不一样 在2019年11月5日 15:04,Zhong venb 写道: Hi, 现在遇到个问题:Flink消费kafka作业在IDEA上编译执行正常,但是打包后发布到集群上运行报错,已将对应的jar包放到flink的lib路径下了,提交作业无报错! 请大神帮忙分析一下原因,谢谢!!! 环境如下: Flink:1.7.2 Kafka:1.1.0 Scala:2.11.8 报错信息如下: org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot load user class: org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer ClassLoader info: URL ClassLoader: file: '/tmp/blobStore-0d69900e-5299-4be9-b3bc-060d06559034/job_e8fccb398c2d9de108051beb06ec64cc/blob_p-d1e0b6ace7b204eb42f56ce87b96bff39cc58289-d0b8e666fc70af746ebbd73ff8b38354' (valid JAR) Class not resolvable through given classloader. at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperator(StreamConfig.java:236) at org.apache.flink.streaming.runtime.tasks.OperatorChain.(OperatorChain.java:104) at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:267) at org.apache.flink.runtime.taskmanager.Task.run(Task.java:704) at java.lang.Thread.run(Thread.java:748) Caused by: java.lang.ClassNotFoundException: org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:348) at org.apache.flink.util.InstantiationUtil$ClassLoaderObjectInputStream.resolveClass(InstantiationUtil.java:78) at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1868) at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1751) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2042) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1573) at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2287) at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2211) at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2069) at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1573) at java.io.ObjectInputStream.readObject(ObjectInputStream.java:431) at org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:566) at org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:552) at org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:540) at org.apache.flink.util.InstantiationUtil.readObjectFromConfig(InstantiationUtil.java:501) at org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperator(StreamConfig.java:224) ... 4 more