说明一下,yarn.ship-files这个配置的文件夹下需要包含flink-yarn的jar包,可以配置成flink home下的lib文件夹
| |
马阳阳
|
|
ma_yang_y...@163.com
|
签名由网易邮箱大师定制
在2021年02月25日 08:59,马阳阳 写道:
可以试试在flink-conf.yaml里添加如下配置:
yarn.flink-dist-jar: /opt/flink-1.12/lib/flink-dist_2.11-1.12.0.jar
yarn.ship-files: /data/dfl2/lib
这个行为其实很奇怪,在我们的环境
| |
马阳阳
|
|
ma_yang_y...@163.com
|
签名由网易邮箱大师定制
在2021年02月23日 22:36,m183 写道:
你是指提交时所依赖的flink-dist jar包需要是 1.12 版本吗,现在改成1.12 版本还是不行
2021年2月23日 下午9:27,LakeShen 写道:
这个应该你的 flink 本地配置的目录要是 1.12 版本的,也就是 flink-dist 目录
凌战 于2021年2月23日周二 下午7:33写道:
同提交作业到On Yarn集群,客户端的错误也是
作用是一样的。
TableConfig#setIdleStateRetention()的实现就是设置table.exec.state.ttl这个参数
| |
马阳阳
|
|
ma_yang_y...@163.com
|
签名由网易邮箱大师定制
在2021年01月13日 20:45,孙啸龙 写道:
大家好:
版本:1.12.0
方式:Flink sql
table.exec.state.ttl 和 tConfig.setIdleStateRetention() 对于flink sql,这两种作用是一样的吗?
97[color=blue];
subset315 -> rel314; rel314 -> subset313;
subset302 -> rel301[color=blue]; rel301 -> subset299[color=blue];
subset303 -> rel304; rel304 -> subset302;
subset303 -> rel316; rel316 -> subset315;
}
at
org.apache.calcite.plan.volcano.RelSubset$CheapestPlanReplacer.visit(Re
d it?
PS:
I tried to create a view to represent the join result, and inserted the view
into the sink table. Unfortunately, it didn’t work neither.
| |
马阳阳
|
|
ma_yang_y...@163.com
|
签名由网易邮箱大师定制
这个1.11.0和1.11.1的bug,已经在1.11.2里修复了,可以看下[1]这个issue
[1]
https://issues.apache.org/jira/browse/FLINK-19285?jql=project%20%3D%20FLINK%20AND%20text%20~%20%22kafka%20partitioner%22
在 2020-11-10 22:26:09,"leiyanrui" <1150693...@qq.com> 写道:
>我的topic分区数是10个,sink的并发是25个 ,按照取余计算的话 也不应该只输出到一个
Flink
1.11里的org.apache.flink.table.planner.ParserImpl的parse方法里包含了对Planner相关方法的调用,这导致在某些前置sql(例如insert
into用到的表的create table语句)没有执行之前,这个parse方法会报错。如果只是想调用Calcite的相关的功能去parse
sql语句,有什么办法可以做到吗?能想到的一个办法是通过反射拿到ParserImpl里面的calciteParserSupplier。想知道Flink有没有提供直接的接口或者方法去做纯的sql
parsing。
谢谢~
我们也遇到过这个问题,我们当时遇到的问题是YARN NM上的默认charset是ascii。
通过在flink-conf.yaml文件里添加如下配置解决了该问题:
env.java.opts.taskmanager: "-Dfile.encoding=UTF-8"
在 2020-06-08 21:48:33,"guanyq" 写道:
>kafka 0.11版本
>首先kafka source topic数据是正常的,kafka客户端消费出来无中文乱码问题
>1.本地idea debug运行,无中文乱码问题
>2.服务器Standalone模式运行,无中文乱
我们遇到过因为jar包冲突导致task
manager无法启动,从而一直处于accepted状态的情况。这种情况下可以使用yarn logs
-applicationId 查看一下日志,可以发现更多线索。
Fei Han wrote on 2020/2/9 17:34:
@all:
在Flink1.10中,用yarn模式无法提交作业。
提示如下:
lease check if the requested resources are available in the YARN cluster
2020-02-09 17:22:26,318 INFO org.apach