答复: Flink1.17.1 yarn token 过期问题

2023-07-19 Thread
] at org.apache.flink.runtime.taskexecutor.TaskManagerRunner.runTaskManager(TaskManagerRunner.java:486) ~[flink-dist-1.17-SNAPSHOT.jar:1.17-SNAPSHOT] ... 8 more ``` 顺祝商祺! -- 汽车之家 Autohome Inc. 王刚 智能数据中心/数据技术团队/实时计算平台组 北京市海淀区丹棱街3号中国电子大厦B座9层 100080

Flink1.17.1 yarn token 过期问题

2023-07-19 Thread
-ticket-cache: false ``` 顺祝商祺! -- 汽车之家 Autohome Inc. 王刚 智能数据中心/数据技术团队/实时计算平台组 北京市海淀区丹棱街3号中国电子大厦B座9层 100080 www.autohome.com.cn<http://www.autohome.com.cn/> Tel:15510811690 Fax:15510811690 Mobile:15510811690 --

Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

2021-06-28 Thread
把flink parquet包放在flink客户端lib包下试试呢 原始邮件 发件人: Wei JI10 季伟 收件人: user-zh@flink.apache.org 发送时间: 2021年6月28日(周一) 14:14 主题: Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath 您好, 我没有设置scope,我看jar包中是有org/apache/flink/formats/parquet/这个目录的... 在

Re: JobManager使用zk做高可用的时候,如何得到当前活跃的JobManager地址

2021-06-15 Thread
在你指定的ha路径的子目录(yarn的话会有层applicationid目录) get下这个节点 leader/rest_server_lock 试试。 原始邮件 发件人: yidan zhao 收件人: user-zh 发送时间: 2021年6月15日(周二) 14:50 主题: Re: JobManager使用zk做高可用的时候,如何得到当前活跃的JobManager地址 代码里不需要remoteEnv创建,你这种removeEnv是通过本地ide提交任务的情况。这种情况很少见,一般线上网络环境和办公网络是隔离的吧。 yidan zhao

Re: Flink1.12 用官方默认的log4j2打日志到kafka,如何区分jobmanager和TaskManager的日志?怎么加参数?

2021-06-14 Thread
用这两个配置 定制不同的启动参数传到log4j配置文件是不是就可以 env.java.opts.jobmanager env.java.opts.taskmanager 原始邮件 发件人: DanielGu<610493...@qq.com> 收件人: user-zh 发送时间: 2021年6月11日(周五) 18:07 主题: Re: Flink1.12 用官方默认的log4j2打日志到kafka,如何区分jobmanager和TaskManager的日志?怎么加参数? 同求一波配置 谢谢大佬们 -- Sent from:

回复:flink on yarn日志清理

2021-06-07 Thread
你可以在客户端的log4j.properties或者logback.xml文件上配置下相关清理策略 你先确认下使用的哪个slf4j的实现类 原始邮件 发件人: zjfpla...@hotmail.com 收件人: user-zh 发送时间: 2021年6月7日(周一) 12:17 主题: flink on yarn日志清理 大家好, 请问下如下问题: flink on yarn模式,日志清理机制有没有的? 是不是也是按照log4j/logback/log4j2等的清理机制来的?还是yarn上配置的。 是实时流作业,非离线一次性作业,一直跑着的

在使用hive catalog的情况下 json format 大小写问题

2020-10-21 Thread
hi~ 各位大佬, 由于catalog是不支持大小写 如果kafka 的数据是json格式,且某些json的key区分大小写的, 这个时候建的在hive catalog里建的kafka表的某些json字段是取不到的 flink 1.11有现成解决的方案可以解决这种问题不

flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出

2020-09-29 Thread
这个问题我们之前使用sql窗口的时候也遇到过,当时是在1.7版本的tablesource后面加了个rebanlance算子让数据少的kafka分区的subtask watermark均衡下 发送自autohome 发件人: Benchao Li mailto:libenc...@apache.org>> 发送时间: 2020-09-29 18:10:42 收件人: user-zh mailto:user-zh@flink.apache.org>> 主题: Re: flink 1.11.2 Table