Re: Flink Yarn Session模式,多任务不同Kerberos认证问题

2021-07-29 文章 Paul Lam
现在是不能共享的。Flink JobManager 的 principal 在启动时就确定了。 Best, Paul Lam > 2021年7月30日 14:46,Ada Luna 写道: > > 在Flink Yarn Session中每次提交Job都更换principal。因为要做权限隔离,每个用户有自己的principal。 > > 现在 Flink Session模式是不是无法满足多个principal共享一个Flink Session集群,只能走perjob。 > 或者每个持有独立principal的用户独享一个Session。

Flink Yarn Session模式,多任务不同Kerberos认证问题

2021-07-29 文章 Ada Luna
在Flink Yarn Session中每次提交Job都更换principal。因为要做权限隔离,每个用户有自己的principal。 现在 Flink Session模式是不是无法满足多个principal共享一个Flink Session集群,只能走perjob。 或者每个持有独立principal的用户独享一个Session。

flink1.12 sql-client 临时文件

2021-07-29 文章 吴旭
大佬们,请问下 在使用 sql-client 查询的过程中, /tmp 目录下面生成很多如下这样的临时文件,请问有地方可以配置吗 ```txt 00615a2c-c0f6-4ca9-b5c4-ee8d69ca2513 1098b539-31f2-4fbb-9e7b-46d490ff25d6 13b0dcbb-2e2c-4b85-9969-f90915e2a9ca 21f6114e-e2f8-4a64-aba4-0087b708dd7b 22dee74f-5ef2-4763-bfb3-956cd533b33e 2774db29-0ac7-40f6-9210-eb6693c1a167

?????? flink 1.13.1, metrics?????????????? Unnamed

2021-07-29 文章 Asahi Lee
sql??sql --  -- ??: "user-zh"

Re: Application Mode 模式部署失败

2021-07-29 文章 Caizhi Weng
Hi! 从报错日志来看是找不到方法。很可能客户端的版本和集群里的版本不一致,或客户端的 Flink 文件有损坏。这两方面可以都检查一下。 周瑞 于2021年7月30日周五 上午11:30写道: > 您好:Flink Appliaction mode 模式启动失败,启动命令和错误日志如下./flink run-application -t > yarn-application \ > -yD yarn.application.name="MyFlinkApp" \ > -yD yarn.provided.lib.dirs="hdfs:// > 10.10.98.226:8020/us

Application Mode 模式部署失败

2021-07-29 文章 周瑞
您好:Flink Appliaction mode 模式启动失败,启动命令和错误日志如下./flink run-application -t yarn-application \ -yD yarn.application.name="MyFlinkApp" \ -yD yarn.provided.lib.dirs="hdfs://10.10.98.226:8020/user/myflink/flink-common-deps/libs/yarn-flink-1.13.0/lib/;hdfs://10.10.98.226:8020/user/myflink/flink-common-de

Application Mode 模式部署失败

2021-07-29 文章 周瑞
您好: 我的   

Re: flink 1.13.1 使用hive方言,执行hive sql解析报错

2021-07-29 文章 Rui Li
你好, 能不能把你insert语句中使用到的表的DDL发一下?贴一下show create table的结果就可以了。 On Thu, Jul 29, 2021 at 9:03 PM Asahi Lee <978466...@qq.com.invalid> wrote: > hi! > 我验证了,不是else的问题,下面的sql也报同样的问题?Invalid table alias or column reference 'u' > ,我的sql里面没有'u'的名称! > CREATE CATALOG `tempo_df_hive_default_catalog` WITH( >  

Re: $internal.yarn.log-config-file

2021-07-29 文章 Caizhi Weng
Hi! 实际上 yarn log config file 所在的 config 目录可以通过 FLINK_CONF_DIR 这个环境变量指定。不过这要求客户端的 FLINK_CONF_DIR 目录和集群上的 FLINK_CONF_DIR 目录一样才可以。 comsir <609326...@qq.com.invalid> 于2021年7月30日周五 上午10:21写道: > hi all : > > 像$internal.yarn.log-config-file,$internal.yarn.resourcemanager.enable-vcore-matching > 这种inter

Re: flink 1.13.1, metrics指标中表名称为 Unnamed

2021-07-29 文章 Caizhi Weng
Hi! 显示 Unnamed 的 sink 一般是 data stream api 的 sink。这个作业之前的数据是不是从 data stream api 里来的呢? Asahi Lee <978466...@qq.com.invalid> 于2021年7月29日周四 下午9:25写道: > Hi! > 我执行如下sql任务时,打开度量报告,其中我的输出表度量指标中,表名显示为Unnamed,这是否为一个bug? > 指标信息如下: > node103.taskmanager.container_1627469681067_0030_01_02.e621b91ec4a34ab

$internal.yarn.log-config-file

2021-07-29 文章 comsir
hi all ?? ??$internal.yarn.log-config-file??$internal.yarn.resourcemanager.enable-vcore-matching internal??? ??$internal.yarn.log-config-file

答复: 退订

2021-07-29 文章 zhao liang
如果需要取消订阅 user-zh@flink.apache.org 邮件组,是发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 发件人: 闫健儒 日期: 星期四, 2021年7月29日 16:57 收件人: user-zh@flink.apache.org 主题: 退订 退订

答复: 退订

2021-07-29 文章 zhao liang
如果需要取消订阅 user-zh@flink.apache.org 邮件组,发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 就可以了 发件人: zhangjunjie1130 日期: 星期四, 2021年7月29日 16:38 收件人: user-zh@flink.apache.org 主题: 退订 退订 | | zhangjunj | | 邮箱:zhangjunjie1.

flink 1.13.1, metrics?????????????? Unnamed

2021-07-29 文章 Asahi Lee
Hi?? ??sql??Unnamed??bug?? ?? node103.taskmanager.container_1627469681067_0030_01_02.e621b91ec4a34ababeb6b0e2c4d6f22b.Source: HiveSource-qc_test_t_student_score -> Calc(select=[id, CAST(_UTF-16LE'Bob':VARC

?????? flink 1.13.1 ????hive??????????hive sql????????

2021-07-29 文章 Asahi Lee
hi! ??else??sqlInvalid table alias or column reference 'u' ??sql'u' CREATE CATALOG `tempo_df_hive_default_catalog` WITH(     'type' = 'hive',     'default-database' = 'default' ); USE CATALOG tempo_df_hive_default_catalog; CREATE TABLE IF

退订

2021-07-29 文章 闫健儒
退订

????

2021-07-29 文章 bai??
827931...@qq.com

退订

2021-07-29 文章 zhangjunjie1130
退订 | | zhangjunj | | 邮箱:zhangjunjie1...@163.com | 签名由 网易邮箱大师 定制

Re:Flink-1.11.1 Application-Mode提交测试

2021-07-29 文章 mispower
你好,请问下 这个问题解决了么?我现在也同样遇到这样的问题 在 2020-08-25 15:29:09,"amen...@163.com" 写道: >hi, everyone > >当我把jar包都上传至hdfs时,使用如下命令进行application mode提交, > >./bin/flink run-application -t yarn-application >-Dyarn.provided.lib.dirs="hdfs:///user/flink/lib" -c >com.yui.flink.demo.Kafka2Mysql hdfs:///user/flink/app_

Re: flink 1.13.1 使用hive方言,执行hive sql解析报错

2021-07-29 文章 Leonard Xu
看起来是sql语法报错,这里面的ELSE呢? 祝好, Leonard > 在 2021年7月27日,20:04,Asahi Lee <978466...@qq.com.INVALID> 写道: > > CASE > WHEN mipd.`param_cn` = '月池尺寸' THEN > mipv.`param_value`  > END AS `Moonpool`