Re:Re: flink on yarn session模式与yarn通信失败的问题 (job模式可以成功)

2021-03-22 文章 刘乘九
多谢大佬呀~尝试了一下没有解决。这两个参数有配置上,启动的时候也显示的与配置中一致。看上面的注释说好像仅Standalone 模式下有效,而且奇怪的是pre-job可以很顺利 session却连不上。对啦我的版本是1.11.2,大佬有空再帮忙看一眼呀 在 2021-03-23 09:28:20,"wxpcc" 写道: >第一个问题可以尝试在flink.conf 中配上jobmanager.rpc.address 和jobmanager.rpc.port >第二个问题不是很清楚 > > > >-- >Sent from: http://apache-flink.14

Flink 消费kafka ,写ORC文件

2021-03-22 文章 Jacob
【现状如下】 Flink Job消费kafka消息,每半个小时将消费到的消息进行一系列聚合操作(flink 窗口聚合),然后写入一个orc文件。 据了解,flink写orc的桶分配策略[1],有两种: 一种是基于时间,即按时间为目录创建orc文件。[test/realtime/ : 为根目录] test/realtime/ └── 2021-03-23--07 ├── part-0-0.orc ├── part-0-1.orc └── 2021-03-23--08 ├── part-0-0.orc ├── part-0-1.orc 一种是将所有部分文件

flink-1.11.2版本,客户端如何设置dynamic properties

2021-03-22 文章 刘医生
hi,请教一下: 场景:本地使用YarnClusterDescriptor的deployJobCluster方法,提交JobGraph以yarnPer的模式运行到yarn集群。 问题:通过YarnClusterDescriptor的构造器,传入flinkConfiguration配置(在flinkConfiguration中设置dynamicProperties),并不能生效。 之前,使用flink-1.8.1,通过AbstractYarnClusterDescriptor的deployJobCluster进行作业部署提交。而AbstractYarnClusterDescriptor有se

Re: flink on yarn session模式与yarn通信失败的问题 (job模式可以成功)

2021-03-22 文章 wxpcc
第一个问题可以尝试在flink.conf 中配上jobmanager.rpc.address 和jobmanager.rpc.port 第二个问题不是很清楚 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re:Re: flink1.12 Standalone模式发送python脚本任务报错: java.lang.ClassNotFoundException: org.apache.flink.connector.jdbc.table.JdbcRowDataInputFormat

2021-03-22 文章 xiaoyue
好的,问题已经解决~ 谢谢您! 在 2021-03-22 16:50:03,"Dian Fu" 写道: >可以看一下: >https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/dependency_management.html#java-dependency-in-python-program > >flink-connector-jdbc_2.11-1.12.0.jar和mysql-connector-java-8.0.12.jar,

flink on yarn session模式与yarn通信失败的问题 (job模式可以成功)

2021-03-22 文章 刘乘九
大佬们请教一下: 之前一直使用job模式来提交任务,可以顺利提交计算任务。最近有需求比较适合session模式来提交,按照论坛里的教程进行提交的时候,一直报错连接不上resource manage。观察启动log发现两种任务连接的resource manage不同,一个是正确的端口,一个一直请求本机端口。 session 模式启动log: job 模式启动log: 想请教一下: 1.如何配置session 模式下的 resource manage 端口? 2.job 模式下假如我有一个8核taskmanage服务器A

flink on yarn session模式与yarn通信失败 (job模式可以成功)的问题

2021-03-22 文章 刘乘九
大佬们请教一下: 之前一直使用job模式来提交任务,可以顺利提交计算任务。最近有需求比较适合session模式来提交,按照论坛里的教程进行提交的时候,一直报错连接不上resource manage。观察启动log发现两种任务连接的resource manage不同,一个是正确的端口,一个一直请求本机端口。 session 模式启动log: job 模式启动log: 想请教一下: 1.如何配置session 模式下的 resource manage 端口? 2.job 模式下假如我有一个8核taskmanage服务器A

Re: flink1.12 Standalone模式发送python脚本任务报错: java.lang.ClassNotFoundException: org.apache.flink.connector.jdbc.table.JdbcRowDataInputFormat

2021-03-22 文章 Dian Fu
可以看一下: https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/dependency_management.html#java-dependency-in-python-program flink-connector-jdbc_2.11-1.12.0.jar和mysql-connector-java-8.0.12.jar,需要放到PyFlink可以找到的地方。 On Mon, Mar 22, 2021 at 1:43 PM xiaoyue <18242

关于KafkaTableSourceBase未实现ProjectableTableSource接口的疑问

2021-03-22 文章 刘医生
场景:使用了flink(版本 1.11.2 )的sql功能。 疑问:当前阅读flink源码,发现:KafkaTableSourceBase并没有实现ProjectableTableSource、 FilterableTableSource 接口? 目的:实现ProjectableTableSource接口,可以在source端对筛选出需要的字段。同样,实现FilterableTableSource接口,继续在sourcedaunt进行预过滤。 是否有其他原因,导致 KafkaTableSourceBase未能支持预过滤预筛选的功能。