回复：请教关于Flink yarnship的使用

2021-01-22 文章 叶贤勋
URL url = this.getClass().getClassLoader().getResource("conf”); String dir = url.getFile(); dir目录下应该会包含ship的配置文件，你可以试下。 在2021年01月22日 15:38，Yan Tang 写道： 我把配置和jar包分开了，用-yt option将配置文件Ship到yarn cluster中，但是在获取配置文件的时候，老是拿不到，有人有相关经验么？ 我的提交命令： -yt /path/to/conf code:

回复：sql-client配置hive启动不了

2021-01-07 文章 叶贤勋
HMS是不是带kerberos认证的？ 目前社区hive connector不支持访问Kerberos的HMS 在2021年01月7日 18:39，amenhub 写道： 在sql-client-defaults.yaml配置hive catalog信息后，无法通过sql-client.sh embedded启动sql client 报错信息：https://imgchr.com/i/smQrlj flink 版本，1.12 hive 版本，3.1.0

回复： 使用Flink Array Field Type

2020-07-13 文章 叶贤勋
谢谢 Leonard的解答。刚刚也看到了这个jira单[1] [1] https://issues.apache.org/jira/browse/FLINK-17847 | | 叶贤勋 | | yxx_c...@163.com | 签名由网易邮箱大师定制 在2020年07月13日 20:50，Leonard Xu 写道： Hi, SQL 中数据下标是从1开始的，不是从0，所以会有数组越界问题。建议使用数组时通过 select arr[5] from T where CARDINALITY(arr) >= 5 这种方式防止数组访问越界。 祝好， Leonard Xu

使用Flink Array Field Type

2020-07-13 文章 叶贤勋
SourceStreamTask.java:196) | | 叶贤勋 | | yxx_c...@163.com | 签名由网易邮箱大师定制

Hive Insert Dynamic Partition

2020-04-18 文章 叶贤勋
artition会产生两个JobVertex，source的这个JobVertex.getProducedDataSets().size=1；指定partition只有一个JobVertex其getProducedDataSets().size=0。 望大家能指点下什么原因导致dynamic partition时插入异常。 | | 叶贤勋 | | yxx_c...@163.com | 签名由网易邮箱大师定制

flink sql ddl 不支持primary key

2020-04-14 文章 叶贤勋
Hi all: 我看源码在将sqlNode转换CreateTableOperator[1]时，还是不支持primary key配置，但是sql parser是已经能够解析，请问下为何不放开这个限制。 https://github.com/apache/flink/blob/master/flink-table/flink-table-planner-blink/src/main/java/org/apache/flink/table/planner/operations/SqlToOperationConverter.java#L178 | | 叶贤勋

回复： Flink实时写入hive异常

2020-04-01 文章 叶贤勋
Hi jingsong, 我看这个issue[1] 你提了关于支持hive streaming sink的两个pr，这部分代码是否跟Flip-115相关？ [1] https://issues.apache.org/jira/browse/FLINK-14255 | | 叶贤勋 | | yxx_c...@163.com | 签名由网易邮箱大师定制 在2020年04月1日 16:28，111 写道： Hi jingsong, 那厉害了，相当于Flink内部做了一个数据湖的插件了。 Best, Xinghalo

回复： Hive Source With Kerberos认证问题

2020-03-10 文章 叶贤勋
在doAs方法中是可以的。我现在hive connector中操作hive涉及认证的代码都在doAs中执行，可以解决认证问题。 前面提到的stacktrace是用我们公司自己封装的hive-exec jar打印出来的，所以跟源码对应不上，我用官网的hive-exec-2.1.1.jar也是有这个问题。 | | 叶贤勋 | | yxx_c...@163.com | 签名由网易邮箱大师定制 在2020年03月5日 13:52，Rui Li 写道： 能不能先用doAs的方式来试一下，比如注册HiveCatalog的部分在

回复： Hive Source With Kerberos认证问题

2020-03-03 文章 叶贤勋
这是我和flink社区沟通的记录，你可以看下。 | | 叶贤勋 | | yxx_c...@163.com | 签名由网易邮箱大师定制 在2020年03月3日 16:00，叶贤勋 写道： hive conf应该是对的，前面UserGroupInfomation登录时都是成功的。 datanucleus的依赖不加的话，会报claas not found等异常。 1、java.lang.ClassNotFoundException: org.datanucleus.api.jdo.JDOPersistenceManagerFactory 2、Caused

回复： Hive Source With Kerberos认证问题

2020-03-03 文章 叶贤勋
t;. Please make sure you have specified "datanucleus.storeManagerType" correctly and that all relevant plugins are in the CLASSPATH | | 叶贤勋 | | yxx_c...@163.com | 签名由网易邮箱大师定制 在2020年03月2日 11:50，Rui Li 写道： 从你贴的log来看似乎是创建了embedded metastore。可以检查一下HiveCatalog是不是读到了不正确的hive conf？另外你贴的ma

回复： Hive Source With Kerberos认证问题

2020-02-29 文章 叶贤勋
setupIOstreams(Client.java:726) ... 70 more 目前诊断看起来像是jar被污染导致。麻烦请指点一二。谢谢！ | | 叶贤勋 | | yxx_c...@163.com | 签名由网易邮箱大师定制 在2020年02月28日 15:16，Rui Li 写道： Hi 叶贤勋, 我手头上没有kerberos的环境，从TokenCache的代码（2.7.5版本）看起来，这个异常可能是因为没有正确拿到RM的地址或者principal。请检查一下下面这几个配置： mapreduce.framework.name yarn.resourcemanager.address

Hive Source With Kerberos认证问题

2020-02-12 文章 叶贤勋
mapred.FileInputFormat.getSplits(FileInputFormat.java:315) at org.apache.flink.connectors.hive.HiveTableInputFormat.createInputSplits(HiveTableInputFormat.java:159) at org.apache.flink.connectors.hive.HiveTableInputFormat.createInputSplits(HiveTableInputFormat.java:63) at org.apache.flink.runtime.executiongraph.ExecutionJobVertex.(ExecutionJobVertex.java:256) ... 22 more 测试sink的方法是能够正常插入数据，但是在hive source时报这个错误，感觉是获取deleg token时返回空导致的。不知道具体应该怎么解决 | | 叶贤勋 | | yxx_c...@163.com | 签名由网易邮箱大师定制

回复： flink 维表关联

2019-12-25 文章 叶贤勋
可以使用guava实现维表数据缓存在jvm，可以设置缓存数据有效期 | | 叶贤勋 | | yxx_c...@163.com | 签名由网易邮箱大师定制 在2019年12月26日 08:44，李现 写道： 流的大小应该不是无限制的，应该是有个窗口期？窗口期之外的数据离线处理？ xin Destiny 于2019年12月25日 周三18:13写道： Hi，lucas.wu: 我个人觉得可以把join的条件和流对应的数据存放在mapstate中，每次维表的缓存更新数据之后，去mapstate中查询，如果存在对应的KV，将新关联后的数据下发； 不过这样state会占用很大的内存，需

MiniCluster启动报actor初始化异常

2019-12-03 文章 叶贤勋
tFactory] Starting Dispatcher. 02/12/2019 20:49:22.268 INFO [org.apache.flink.runtime.minicluster.MiniCluster] Flink Mini Cluster started successfully | | 叶贤勋 | | yxx_c...@163.com | 签名由网易邮箱大师定制 /* * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license ag

回复：DML去重，translate时报错

2019-11-21 文章 叶贤勋
Hi JingsongLee, 晓令： 谢谢你们的答疑。 备注issue链接：https://issues.apache.org/jira/projects/FLINK/issues/FLINK-14899?filter=allissues | | 叶贤勋 | | yxx_c...@163.com | 签名由网易邮箱大师定制 在2019年11月21日 22:00，贺小令(晓令) 写道： hi 叶贤勋: 你的SQL里先 ORDER BY proc desc ，然后取 rownum = 1， 等价于 last row 的逻辑。此时会产生 retraction

DML去重，translate时报错

2019-11-21 文章 叶贤勋
r.scala:60) at org.apache.flink.table.planner.delegation.PlannerBase.translate(PlannerBase.scala:149) at org.apache.flink.table.api.internal.TableEnvironmentImpl.translate(TableEnvironmentImpl.java:439) at org.apache.flink.table.api.internal.TableEnvironmentImpl.sqlUpdate(TableEnvironmentImpl.java:348) 请问去重现在不支持insert into select 语法吗？