您好!
自定义source继承RichSourceFuntion.open() 里去构建Conumer 可以设置AccessKey,SecretKey
参数;
2020-7-4
| |
李军
|
|
hold_li...@163.com
|
签名由网易邮箱大师定制
在2020年7月3日 23:44,guanyq 写道:
flink1.9读取阿里RocketMQ
如何设置AccessKey,SecretKey 参数
finalRMQConnectionConfigconnectionConfig
请教下,各位大佬们生产环境使用的是哪种集群配置
1. Standalone 集群
2. Yarn 集群
理由是什么,不知道怎么选择
2020-6-28
| |
李军
|
|
hold_li...@163.com
|
签名由网易邮箱大师定制
各位好!
请教一个问题:
例现有如下结构数据:
ip,id,mobile,return (一条数据)
做实时统计,想问下怎么把一条数据拆分成不同key的多条数据做统计。如:ip
(id,mobile),mobile(ip,id)等 这样子 然后5分钟根据不同key统计结果;
用 flatmap吗? 初学者,希望大佬们解惑。
期待您的回信,祝好!
2019-12-11
请教一个问题:
目前想用flink做批处理,但是不知道任务启动后,怎么通知flink 开始跑任务。 就比如像发个请求一样的通知;
再或者是任务接受到数据了就开始处理吗??
指定主程序类;报错: The program's entry point class
'com.dora.job.stream.AliLogStreamingJob' was not found in the jar file.
但是运行同一个包下另一个主程序类却可以找到,可以运行;这个类就不可以
原因就是我主机名携带了‘_’导致的;问题已解决; 感谢~
| |
李军
|
|
hold_li...@163.com
|
签名由网易邮箱大师定制
在2019年11月22日 16:12,李军 写道:
您指的是这个URL: akka.tcp://flink@vm_0_17_centos:33643/user/dispatcher
vm_0_17_centos 这个主机名不允许带'_'吗
| |
李军
|
|
hold_li...@163.com
|
签名由网易邮箱大师定制
在2019年11月22日 16:09,贺小令(晓令) 写道:
hi 李军,
java的URI地
您指的是这个URL: akka.tcp://flink@vm_0_17_centos:33643/user/dispatcher
vm_0_17_centos 这个主机名不允许带'_'吗
| |
李军
|
|
hold_li...@163.com
|
签名由网易邮箱大师定制
在2019年11月22日 16:09,贺小令(晓令) 写道:
hi 李军,
java的URI地址不允许带 _ , https://bugs.openjdk.java.net/browse/JDK-8221675
请将 _ 改掉后再试试
thanks,
godfrey
报错图片和详细内容如下
https://blog.csdn.net/qq_37518574/article/details/103197224
另外启动这个之前要启动哪些,yarn 和hdfs 都已经启动了;
初学,虚心请教,感谢。
描述一样的现象
Best,
tison.
tison 于2019年11月18日周一 下午4:53写道:
你的那个图可能是因为一些参数传得不对导致 YARN 部署的时候出问题了。我之前遇到过这种情况是因为我把一个参数传错了 YARN 的 APP
起来之后抛异常
你看到在那边不停的 retry 是一个已知的 BUG,我记得最近几个版本已经修了,我找找对应的 JIRA
Best,
tison.
李军 于2019年11月18日周一 下午4:50写道:
./bin/yarn-session.sh 启动; Error while running the Flink Yarn
./bin/yarn-session.sh 启动; Error while running the Flink Yarn session. 错误
报错信息图: https://blog.csdn.net/qq_37518574/article/details/103125368
找到问题了;
是我这个包:flink-shaded-hadoop-2-uber-2.8.3-7.0 (1) 名字错了;
但是又有一个错误不是很明白;
签名由网易邮箱大师定制
在2019年11月18日 16:38,李军 写道:
HADOOP_CLASSPATH 设置了;
启动这个好像不需要指定程序的入口类吧
在2019年11月18日 16:34,tison 写道:
可能是你没有设置 HADOOP_CLASSPATH
参考 https://flink.apache.org/downloads.html 本页面最上部分
If you plan to use Apache
ent/hadoop.html>
Best,
tison.
李军 于2019年11月18日周一 下午4:31写道:
启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024
报错:Error: Could not find or load main class
org.apache.flink.yarn.cli.FlinkYarnSessionCli
ResourceManager,NodeManager都已启动。
启动命令: ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024
报错:Error: Could not find or load main class
org.apache.flink.yarn.cli.FlinkYarnSessionCli
ResourceManager,NodeManager都已启动。
| |
李军
|
|
| |
hold_li...@163.com
|
签名由网易邮箱大师定制
在2019年11月15日 16:22,tison 写道:
图看不见,你可以外链图床或者 gist 贴 log
Best,
tison.
李军 于2019年11月15日周五 下午4:07写道:
这个报错实在不知道是什么意思,哪个地方连接不上
这个报错实在不知道是什么意思,哪个地方连接不上
想咨询下,自建flink集群,用什么方式 管理监控集群? 还要job
任务需要更新的时候,jar包以什么方式更新,并且更新任务,什么方式更新任务,能保证老的任务正常关闭,新的衔接上;
求解释,有相关文资料吗
file:
'/tmp/blobStore-0d69900e-5299-4be9-b3bc-060d06559034/job_e8fccb398c2d9de108051beb06ec64cc/blob_p-d1e0b6ace7b204eb42f56ce87b96bff39cc58289-d0b8e666fc70af746ebbd73ff8b38354'
(valid JAR)
这个文件是不是和其他节点的不一样
在2019年11月5日 15:04,Zhong venb 写道:
Hi,
18 matches
Mail list logo