回复: Flink 1.12 On Yarn 作业提交失败问题

2021-02-24 文章
说明一下,yarn.ship-files这个配置的文件夹下需要包含flink-yarn的jar包,可以配置成flink home下的lib文件夹 | | 马阳阳 | | ma_yang_y...@163.com | 签名由网易邮箱大师定制 在2021年02月25日 08:59,马阳阳 写道: 可以试试在flink-conf.yaml里添加如下配置: yarn.flink-dist-jar: /opt/flink-1.12/lib/flink-dist_2.11-1.12.0.jar yarn.ship-files: /data/dfl2/lib 这个行为其实很奇怪,在我们的环境

回复: Flink 1.12 On Yarn 作业提交失败问题

2021-02-24 文章
| | 马阳阳 | | ma_yang_y...@163.com | 签名由网易邮箱大师定制 在2021年02月23日 22:36,m183 写道: 你是指提交时所依赖的flink-dist jar包需要是 1.12 版本吗,现在改成1.12 版本还是不行 2021年2月23日 下午9:27,LakeShen 写道: 这个应该你的 flink 本地配置的目录要是 1.12 版本的,也就是 flink-dist 目录 凌战 于2021年2月23日周二 下午7:33写道: 同提交作业到On Yarn集群,客户端的错误也是

回复:Flink sql的state ttl设置

2021-01-13 文章
作用是一样的。 TableConfig#setIdleStateRetention()的实现就是设置table.exec.state.ttl这个参数 | | 马阳阳 | | ma_yang_y...@163.com | 签名由网易邮箱大师定制 在2021年01月13日 20:45,孙啸龙 写道: 大家好: 版本:1.12.0 方式:Flink sql table.exec.state.ttl 和 tConfig.setIdleStateRetention() 对于flink sql,这两种作用是一样的吗?

Re:Row function cannot have column reference through table alias

2021-01-10 文章
97[color=blue]; subset315 -> rel314; rel314 -> subset313; subset302 -> rel301[color=blue]; rel301 -> subset299[color=blue]; subset303 -> rel304; rel304 -> subset302; subset303 -> rel316; rel316 -> subset315; } at org.apache.calcite.plan.volcano.RelSubset$CheapestPlanReplacer.visit(Re

Row function cannot have column reference through table alias

2021-01-10 文章
d it? PS: I tried to create a view to represent the join result, and inserted the view into the sink table. Unfortunately, it didn’t work neither. | | 马阳阳 | | ma_yang_y...@163.com | 签名由网易邮箱大师定制

Re:Re: Re:flinksql 输出到kafka用的fixed的方式 结果都输出到一个topic分区了,这个是什么原因

2020-11-10 文章
这个1.11.0和1.11.1的bug,已经在1.11.2里修复了,可以看下[1]这个issue [1] https://issues.apache.org/jira/browse/FLINK-19285?jql=project%20%3D%20FLINK%20AND%20text%20~%20%22kafka%20partitioner%22 在 2020-11-10 22:26:09,"leiyanrui" <1150693...@qq.com> 写道: >我的topic分区数是10个,sink的并发是25个 ,按照取余计算的话 也不应该只输出到一个

Flink 1.11里如何parse出未解析的执行计划

2020-10-19 文章
Flink 1.11里的org.apache.flink.table.planner.ParserImpl的parse方法里包含了对Planner相关方法的调用,这导致在某些前置sql(例如insert into用到的表的create table语句)没有执行之前,这个parse方法会报错。如果只是想调用Calcite的相关的功能去parse sql语句,有什么办法可以做到吗?能想到的一个办法是通过反射拿到ParserImpl里面的calciteParserSupplier。想知道Flink有没有提供直接的接口或者方法去做纯的sql parsing。 谢谢~

Re:flink1.9 on yarn 消费kafka数据中文乱码

2020-06-08 文章
我们也遇到过这个问题,我们当时遇到的问题是YARN NM上的默认charset是ascii。 通过在flink-conf.yaml文件里添加如下配置解决了该问题: env.java.opts.taskmanager: "-Dfile.encoding=UTF-8" 在 2020-06-08 21:48:33,"guanyq" 写道: >kafka 0.11版本 >首先kafka source topic数据是正常的,kafka客户端消费出来无中文乱码问题 >1.本地idea debug运行,无中文乱码问题 >2.服务器Standalone模式运行,无中文乱

Re: flink1.10 yarn模式无法提交作业

2020-02-09 文章
我们遇到过因为jar包冲突导致task manager无法启动,从而一直处于accepted状态的情况。这种情况下可以使用yarn logs -applicationId 查看一下日志,可以发现更多线索。 Fei Han wrote on 2020/2/9 17:34: @all: 在Flink1.10中,用yarn模式无法提交作业。 提示如下: lease check if the requested resources are available in the YARN cluster 2020-02-09 17:22:26,318 INFO org.apach