退订

2020-11-23 Thread 李军

回复：flink1.9读取阿里Mq问题

2020-07-03 Thread 李军 
您好！
自定义source继承RichSourceFuntion.open() 里去构建Conumer 可以设置AccessKey，SecretKey 
参数；



2020-7-4
| |
李军
|
|
hold_li...@163.com
|
签名由网易邮箱大师定制
在2020年7月3日 23:44，guanyq 写道：
flink1.9读取阿里RocketMQ
如何设置AccessKey，SecretKey 参数


finalRMQConnectionConfigconnectionConfig=newRMQConnectionConfig.Builder().setHost("localhost").setPort(5000)build();

高可用集群

2020-06-28 Thread 李军 
   请教下，各位大佬们生产环境使用的是哪种集群配置
1. Standalone 集群
2. Yarn 集群

理由是什么，不知道怎么选择


2020-6-28
| |
李军
|
|
hold_li...@163.com
|
签名由网易邮箱大师定制

分流

2019-12-10 Thread 李军 
各位好！


   请教一个问题:  
例现有如下结构数据：
ip,id,mobile,return   （一条数据）
 做实时统计，想问下怎么把一条数据拆分成不同key的多条数据做统计。如：ip 
（id,mobile）,mobile(ip,id)等 这样子 然后5分钟根据不同key统计结果；
用 flatmap吗？ 初学者，希望大佬们解惑。   
 期待您的回信，祝好！


2019-12-11

如何 远程通知 flink 开启任务

2019-12-03 Thread 李军 


请教一个问题：
   目前想用flink做批处理，但是不知道任务启动后，怎么通知flink 开始跑任务。 就比如像发个请求一样的通知；
再或者是任务接受到数据了就开始处理吗？？

yarn-cluster 提交任务的问题

2019-12-01 Thread 李军 
指定主程序类；报错： The program's entry point class 
'com.dora.job.stream.AliLogStreamingJob' was not found in the jar file.
但是运行同一个包下另一个主程序类却可以找到，可以运行；这个类就不可以

回复：请问一下 ：启动session 时 ，报错：Could not write the Yarn connection information.

2019-11-22 Thread 李军 
原因就是我主机名携带了‘_’导致的；问题已解决； 感谢~


| |
李军
|
|
hold_li...@163.com
|
签名由网易邮箱大师定制
在2019年11月22日 16:12，李军 写道：


您指的是这个URL： akka.tcp://flink@vm_0_17_centos:33643/user/dispatcher
vm_0_17_centos 这个主机名不允许带'_'吗


| |
李军
|
|
hold_li...@163.com
|
签名由网易邮箱大师定制
在2019年11月22日 16:09，贺小令(晓令) 写道：
hi 李军,
java的URI地址不允许带 _ , https://bugs.openjdk.java.net/browse/JDK-8221675
请将 _ 改掉后再试试

thanks,
godfrey


--
发件人：李军 
发送时间：2019年11月22日(星期五) 15:15
收件人：贺小令(晓令) 
主　题：回复：请问一下 ：启动session 时 ，报错：Could not write the Yarn connection information.


flink：1.9.1
hadoop:2.8.3




李军  

hold_li...@163.com   
签名由 网易邮箱大师 定制  
在2019年11月22日 15:14，贺小令(晓令) 写道：   
请问你用的flink版本是？

thanks,
godfrey

--
发件人：李军 
发送时间：2019年11月22日(星期五) 11:10
收件人：user-zh 
主　题：请问一下 ：启动session 时 ，报错：Could not write the Yarn connection information.

报错图片和详细内容如下
https://blog.csdn.net/qq_37518574/article/details/103197224
另外启动这个之前要启动哪些，yarn 和hdfs 都已经启动了；
初学，虚心请教，感谢。

回复：请问一下 ：启动session 时 ，报错：Could not write the Yarn connection information.

2019-11-22 Thread 李军 


您指的是这个URL： akka.tcp://flink@vm_0_17_centos:33643/user/dispatcher
vm_0_17_centos 这个主机名不允许带'_'吗


| |
李军
|
|
hold_li...@163.com
|
签名由网易邮箱大师定制
在2019年11月22日 16:09，贺小令(晓令) 写道：
hi 李军,
java的URI地址不允许带 _ , https://bugs.openjdk.java.net/browse/JDK-8221675
请将 _ 改掉后再试试

thanks,
godfrey


--
发件人：李军 
发送时间：2019年11月22日(星期五) 15:15
收件人：贺小令(晓令) 
主　题：回复：请问一下 ：启动session 时 ，报错：Could not write the Yarn connection information.


flink：1.9.1
hadoop:2.8.3




李军  

hold_li...@163.com   
签名由 网易邮箱大师 定制  
在2019年11月22日 15:14，贺小令(晓令) 写道：   
请问你用的flink版本是？

thanks,
godfrey

--
发件人：李军 
发送时间：2019年11月22日(星期五) 11:10
收件人：user-zh 
主　题：请问一下 ：启动session 时 ，报错：Could not write the Yarn connection information.

报错图片和详细内容如下
https://blog.csdn.net/qq_37518574/article/details/103197224
另外启动这个之前要启动哪些，yarn 和hdfs 都已经启动了；
初学，虚心请教，感谢。

请问一下 ：启动session 时 ，报错：Could not write the Yarn connection information.

2019-11-21 Thread 李军 
报错图片和详细内容如下
https://blog.csdn.net/qq_37518574/article/details/103197224
另外启动这个之前要启动哪些，yarn 和hdfs 都已经启动了；
初学，虚心请教，感谢。

回复： ./bin/yarn-session.sh 启动； Error while running the Flink Yarn session. 错误

2019-11-18 Thread 李军 


ok ，我待会换个版本试试，我看了下这个启动时打印的信息： nable to load native-hadoop library for 
your platform. 
这个是不是也是有问题的；https://blog.csdn.net/qq_37518574/article/details/103125368 第一张图；
在2019年11月18日 16:55，tison 写道：
https://issues.apache.org/jira/browse/FLINK-10435

就这，如果你参数传错了 YARN 刚一 deploy 就挂了，就会出现跟这个 JIRA 描述一样的现象

Best,
tison.


tison  于2019年11月18日周一 下午4:53写道：

你的那个图可能是因为一些参数传得不对导致 YARN 部署的时候出问题了。我之前遇到过这种情况是因为我把一个参数传错了 YARN 的 APP
起来之后抛异常

你看到在那边不停的 retry 是一个已知的 BUG，我记得最近几个版本已经修了，我找找对应的 JIRA

Best,
tison.


李军  于2019年11月18日周一 下午4:50写道：

./bin/yarn-session.sh 启动； Error while running the Flink Yarn session. 错误
报错信息图：
https://blog.csdn.net/qq_37518574/article/details/103125368

./bin/yarn-session.sh 启动； Error while running the Flink Yarn session. 错误

2019-11-18 Thread 李军 
./bin/yarn-session.sh 启动； Error while running the Flink Yarn session. 错误
报错信息图： https://blog.csdn.net/qq_37518574/article/details/103125368

回复： yarn-session.sh 启动 报错

2019-11-18 Thread 李军 
找到问题了；
是我这个包：flink-shaded-hadoop-2-uber-2.8.3-7.0 (1)  名字错了；
但是又有一个错误不是很明白；




签名由网易邮箱大师定制
在2019年11月18日 16:38，李军 写道：
HADOOP_CLASSPATH 设置了；
启动这个好像不需要指定程序的入口类吧




在2019年11月18日 16:34，tison 写道：
可能是你没有设置 HADOOP_CLASSPATH

参考 https://flink.apache.org/downloads.html 本页面最上部分

If you plan to use Apache Flink together with Apache Hadoop (run Flink on
YARN, connect to HDFS, connect to HBase, or use some Hadoop-based file
system connector) then select the download that bundles the matching Hadoop
version, download the optional pre-bundled Hadoop that matches your version
and place it in the lib folder of Flink, or export your HADOOP_CLASSPATH
<https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html>

Best,
tison.


李军  于2019年11月18日周一 下午4:31写道：

启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024
报错：Error: Could not find or load main class
org.apache.flink.yarn.cli.FlinkYarnSessionCli


ResourceManager，NodeManager都已启动。

回复： yarn-session.sh 启动 报错

2019-11-18 Thread 李军 
HADOOP_CLASSPATH 设置了；
启动这个好像不需要指定程序的入口类吧




在2019年11月18日 16:34，tison 写道：
可能是你没有设置 HADOOP_CLASSPATH

参考 https://flink.apache.org/downloads.html 本页面最上部分

If you plan to use Apache Flink together with Apache Hadoop (run Flink on
YARN, connect to HDFS, connect to HBase, or use some Hadoop-based file
system connector) then select the download that bundles the matching Hadoop
version, download the optional pre-bundled Hadoop that matches your version
and place it in the lib folder of Flink, or export your HADOOP_CLASSPATH
<https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/hadoop.html>

Best,
tison.


李军  于2019年11月18日周一 下午4:31写道：

启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024
报错：Error: Could not find or load main class
org.apache.flink.yarn.cli.FlinkYarnSessionCli


ResourceManager，NodeManager都已启动。

yarn-session.sh 启动 报错

2019-11-18 Thread 李军 
启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024
报错：Error: Could not find or load main class 
org.apache.flink.yarn.cli.FlinkYarnSessionCli


ResourceManager，NodeManager都已启动。

回复： yarn-session.sh 启动 报错

2019-11-15 Thread 李军 




| |
李军
|
|
| |
hold_li...@163.com
|
签名由网易邮箱大师定制
在2019年11月15日 16:22，tison 写道：
图看不见，你可以外链图床或者 gist 贴 log

Best,
tison.


李军  于2019年11月15日周五 下午4:07写道：

这个报错实在不知道是什么意思，哪个地方连接不上

yarn-session.sh 启动 报错

2019-11-15 Thread 李军 
这个报错实在不知道是什么意思，哪个地方连接不上

flink 集群

2019-11-10 Thread 李军 




想咨询下，自建flink集群，用什么方式 管理监控集群？ 还要job 
任务需要更新的时候，jar包以什么方式更新，并且更新任务，什么方式更新任务，能保证老的任务正常关闭，新的衔接上；
求解释，有相关文资料吗

回复：flink作业提交到集群执行异常

2019-11-04 Thread 李军 
file: 
'/tmp/blobStore-0d69900e-5299-4be9-b3bc-060d06559034/job_e8fccb398c2d9de108051beb06ec64cc/blob_p-d1e0b6ace7b204eb42f56ce87b96bff39cc58289-d0b8e666fc70af746ebbd73ff8b38354'
 (valid JAR)
这个文件是不是和其他节点的不一样


在2019年11月5日 15:04，Zhong venb 写道：
Hi，
现在遇到个问题：Flink消费kafka作业在IDEA上编译执行正常，但是打包后发布到集群上运行报错，已将对应的jar包放到flink的lib路径下了，提交作业无报错！
 请大神帮忙分析一下原因，谢谢！！！

环境如下：
Flink：1.7.2
Kafka：1.1.0
Scala：2.11.8

报错信息如下：
org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot load user 
class: org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer
ClassLoader info: URL ClassLoader:
file: 
'/tmp/blobStore-0d69900e-5299-4be9-b3bc-060d06559034/job_e8fccb398c2d9de108051beb06ec64cc/blob_p-d1e0b6ace7b204eb42f56ce87b96bff39cc58289-d0b8e666fc70af746ebbd73ff8b38354'
 (valid JAR)
Class not resolvable through given classloader.
at 
org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperator(StreamConfig.java:236)
at 
org.apache.flink.streaming.runtime.tasks.OperatorChain.(OperatorChain.java:104)
at 
org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:267)
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:704)
at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: 
org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at java.lang.Class.forName0(Native Method)
at java.lang.Class.forName(Class.java:348)
at 
org.apache.flink.util.InstantiationUtil$ClassLoaderObjectInputStream.resolveClass(InstantiationUtil.java:78)
at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1868)
at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1751)
at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2042)
at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1573)
at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2287)
at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2211)
at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2069)
at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1573)
at java.io.ObjectInputStream.readObject(ObjectInputStream.java:431)
at 
org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:566)
at 
org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:552)
at 
org.apache.flink.util.InstantiationUtil.deserializeObject(InstantiationUtil.java:540)
at 
org.apache.flink.util.InstantiationUtil.readObjectFromConfig(InstantiationUtil.java:501)
at 
org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperator(StreamConfig.java:224)
... 4 more