多谢大佬呀~尝试了一下没有解决。这两个参数有配置上,启动的时候也显示的与配置中一致。看上面的注释说好像仅Standalone
模式下有效,而且奇怪的是pre-job可以很顺利 session却连不上。对啦我的版本是1.11.2,大佬有空再帮忙看一眼呀
在 2021-03-23 09:28:20,"wxpcc" 写道:
>第一个问题可以尝试在flink.conf 中配上jobmanager.rpc.address 和jobmanager.rpc.port
>第二个问题不是很清楚
>
>
>
>--
>Sent from: http://apache-flink.14
【现状如下】
Flink Job消费kafka消息,每半个小时将消费到的消息进行一系列聚合操作(flink 窗口聚合),然后写入一个orc文件。
据了解,flink写orc的桶分配策略[1],有两种:
一种是基于时间,即按时间为目录创建orc文件。[test/realtime/ : 为根目录]
test/realtime/
└── 2021-03-23--07
├── part-0-0.orc
├── part-0-1.orc
└── 2021-03-23--08
├── part-0-0.orc
├── part-0-1.orc
一种是将所有部分文件
hi,请教一下:
场景:本地使用YarnClusterDescriptor的deployJobCluster方法,提交JobGraph以yarnPer的模式运行到yarn集群。
问题:通过YarnClusterDescriptor的构造器,传入flinkConfiguration配置(在flinkConfiguration中设置dynamicProperties),并不能生效。
之前,使用flink-1.8.1,通过AbstractYarnClusterDescriptor的deployJobCluster进行作业部署提交。而AbstractYarnClusterDescriptor有se
第一个问题可以尝试在flink.conf 中配上jobmanager.rpc.address 和jobmanager.rpc.port
第二个问题不是很清楚
--
Sent from: http://apache-flink.147419.n8.nabble.com/
好的,问题已经解决~ 谢谢您!
在 2021-03-22 16:50:03,"Dian Fu" 写道:
>可以看一下:
>https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/dependency_management.html#java-dependency-in-python-program
>
>flink-connector-jdbc_2.11-1.12.0.jar和mysql-connector-java-8.0.12.jar,
大佬们请教一下:
之前一直使用job模式来提交任务,可以顺利提交计算任务。最近有需求比较适合session模式来提交,按照论坛里的教程进行提交的时候,一直报错连接不上resource
manage。观察启动log发现两种任务连接的resource manage不同,一个是正确的端口,一个一直请求本机端口。
session 模式启动log:
job 模式启动log:
想请教一下:
1.如何配置session 模式下的 resource manage 端口?
2.job 模式下假如我有一个8核taskmanage服务器A
大佬们请教一下:
之前一直使用job模式来提交任务,可以顺利提交计算任务。最近有需求比较适合session模式来提交,按照论坛里的教程进行提交的时候,一直报错连接不上resource
manage。观察启动log发现两种任务连接的resource manage不同,一个是正确的端口,一个一直请求本机端口。
session 模式启动log:
job 模式启动log:
想请教一下:
1.如何配置session 模式下的 resource manage 端口?
2.job 模式下假如我有一个8核taskmanage服务器A
可以看一下:
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/python/table-api-users-guide/dependency_management.html#java-dependency-in-python-program
flink-connector-jdbc_2.11-1.12.0.jar和mysql-connector-java-8.0.12.jar,需要放到PyFlink可以找到的地方。
On Mon, Mar 22, 2021 at 1:43 PM xiaoyue <18242
场景:使用了flink(版本 1.11.2 )的sql功能。
疑问:当前阅读flink源码,发现:KafkaTableSourceBase并没有实现ProjectableTableSource、
FilterableTableSource 接口?
目的:实现ProjectableTableSource接口,可以在source端对筛选出需要的字段。同样,实现FilterableTableSource接口,继续在sourcedaunt进行预过滤。
是否有其他原因,导致 KafkaTableSourceBase未能支持预过滤预筛选的功能。