Flink 的 大Hive 维度表

Hi Flink 的 Hive 维度表是放在内从中，可以把这个放到State中吗，这样用 RocksDB 就能减小一下内存的使用量

Re: flink 的数据传输,是上游算子推给下游, 还是下游算子拉取上游, 设计的考虑是啥?

Hi, Flink社区有一篇关于Credit-based Flow Control的blog post ，里面介绍了反压机制的原理和优劣势，希望有帮助。 Shammon FY 于2022年9月21日周三 11:43写道： > Hi > 我个人觉得简单的说flink数据传输是pull模型可能会有歧义，一般来讲大家理解的两个模型的执行流程如下 > 1. push模型 >

Re: native k8s部署模式下使用HA架构的HDFS集群无法正常连接

你在Flink client端提交任务前设置一下HADOOP_CONF_DIR环境变量 然后再运行flink run-application命令 Best, Yang yanfei lei 于2022年9月22日周四 11:04写道： > Hi Tino, > 从org.apache.flink.core.fs.FileSystem.java > < >

Re: native k8s部署模式下使用HA架构的HDFS集群无法正常连接

Hi Tino, 从org.apache.flink.core.fs.FileSystem.java 来看，Flink直接将fs.default-scheme当作URI来解析，并没有解析相关xml配置的操作，看起来Flink目前是不支持HA架构的HDFS集群的。 Best, Yanfei Xuyang 于2022年9月21日周三

Re: flink sql中如何对于hive进行hive的参数set

目前还不支持 set HiveConf 里面的参数。 只能在创建 HiveCatalog 用的那个 hive-site.xml 里面改。 快发布的 Flink 1.16 就可以支持 set HiveConf 里面的参数。 Best regards, Yuxia - 原始邮件 - 发件人: "junjie miao" 收件人: "user-zh" 发送时间: 星期四, 2022年 9 月 22日 上午 10:19:06 主题: flink sql中如何对于hive进行hive的参数set 当使用flink sql insert hive

Re: Flink+Hudi:java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V

我在hudi-flink-bundle模块的pom.xml中增加： com.google.common. ${flink.bundle.shade.prefix}com.google.common. 打包之后，并没有解决问题。 Replied Message From XuyangDate 9/20/2022 00:01To Subject Re:Flink+Hudi:java.lang.NoSuchMethodError:

Re: Flink-1.15 HiveDynamicTableFactory 取Catalog使用

目前还不能直接 把HiveDynamicTableFactory直接作为一个connector使用。 把 HiveDynamicTableFactory 改造一下， factoryIdentifier 不能再抛出 UnsupportedOperationException("Hive factory is only work for catalog.") 异常了， 改造工作量不大。 Best regards, Yuxia - 原始邮件 - 发件人: "yanggang_it_job" 收件人: "user-zh" 发送时间: 星期一, 2022年 9 月 19日

Re: Could not resolve ResourceManager address

resolved it. if it is non-HA, don't pass in POD_IP. the error msg is not clear. On Wed, Sep 21, 2022 at 9:12 AM Rommel Holmes wrote: > > Hello > > I am trying to make a Flink application deployment in k8s, but the error > message shows that the task manager can't resolve resource manager

Could not resolve ResourceManager address

Hello I am trying to make a Flink application deployment in k8s, but the error message shows that the task manager can't resolve resource manager address *Could not resolve ResourceManager address akka.tcp://flink@flink-jm-svc-streaming-job:6123/user/rpc/resourcemanager_*, retrying in 1 ms:

Re:Re: INSERT INTO will work faster in Flink than in regular database?

Hi, You're right, there's no keyword 'update' in flink. -- Best！ Xuyang 在 2022-09-21 22:40:03，pod...@gmx.com 写道： Thank you - I'll try. There is no 'UPDATE' clause in Flink SQL? Sent: Monday, September 19, 2022 at 4:09 AM From: "Shengkai Fang" To: pod...@gmx.com Cc:

Re:Flink-1.15 HiveDynamicTableFactory 取Catalog使用

Hi，你可以看下HiveDynamicTableFactory的实现，作为connector需要实现factoryIdentifier来表明在with参数中使用的‘connector’=‘xxx’，但这个类由于仅支持在hive catalog中使用，所以没有实现（还有一些其他的方法，如options可以透传with中的其他参数）。 如果你需要HiveDynamicTableFactory的功能，我感觉可以通过copy出一个新的connector类，参照其他正常connector的方式裁剪和实现一些必要的方法，然后mvn打包一下 -- Best！ Xuyang

Re:native k8s部署模式下使用HA架构的HDFS集群无法正常连接

Hi，我对HA的HDFS部署不是很熟悉，但是看错误栈是由于无法识别hostname引起的： Caused by: java.lang.IllegalArgumentException: java.net.UnknownHostException: datacluster 我猜测是不是可以修改为以下两种之一： 1. hdfs://datacluster: port (类似hdfs://datacluster:8080) 2. hdfs:///datacluster (三个斜杠) 希望可以帮到你 -- Best！ Xuyang 在 2022-09-21

Re:Re: 某作业计算算子处于busy状态

Hi， 可以尝试下使用Arthas+jmap的方式定位可能出现内存泄露的原因 -- Best！ Xuyang 在 2022-09-21 13:40:32，"杨扬" 写道： >flink内存泄漏有什么排查的指标或者工具吗？ >比如大致定位泄漏的位置之类的。 > > > > > >> 在 2022年9月19日，下午5:41，yidan zhao 写道： >> >> 那你代码检查下有没有内存泄露呢。 >> >> 杨扬 于2022年9月19日周一 11:21写道： >>> >>> 还有一个现象，观察到 >>>

Re: INSERT INTO will work faster in Flink than in regular database?

Thank you - I'll try. There is no 'UPDATE' clause in Flink SQL?     Sent: Monday, September 19, 2022 at 4:09 AM From: "Shengkai Fang" To: pod...@gmx.com Cc: user@flink.apache.org Subject: Re: INSERT INTO will work faster in Flink than in regular database? Hi. I think you can write a udf[1]

Re: Is it possible to connect multiple streams

Thank you Gentlemen, @yaroslav - I was very happy to see code on ppt. I checked on union and join operators. @shamoon - Thank you for the link I went through. @Schwalbe - [Keyed]MultipleInputTransformation looks promising for me, as I have more than 3 streams of different types and key type being

native k8s部署模式下使用HA架构的HDFS集群无法正常连接

*大家好, * *我正在测试在k8s集群部署模式下使用HA架构的HDFS集群, 以下是我的提交命令参数* ./bin/flink run-application \ --detached \ --target kubernetes-application \ -Dkubernetes.cluster-id=test \ -Dkubernetes.container.image=flink-java11 \ -Dfs.default-scheme=hdfs://datacluster \

KeyedMultipleInputTransformation: StreamingRuntimeContext#keyedStateStore is not properly initialized

Hi all, When trying to adopt the new (@Experimental) KeyedMultipleInputTransformation I came across following problem: * In the open(…) function of my operator, derived from MultipleInputStreamOperator with AbstractStreamOperatorV2, I can not initialize keyed state primitives, because

RE: Is it possible to connect multiple streams

Hi Deepak, Coming back to your original question, you’ve got a number of option (some of them already mentioned: * You can connect/join 2 streams of different types at a time by means of s1.connect(s2). * (your example does not work directly as written (3 streams)) * You can

Cancel a job in status INITIALIZING

Hi, we’re running a Flink Cluster in standalone/session mode. During a restart of a jobmanager one job was stuck in status INITIALIZING. When trying to cancel the job via CLI the command failed with a java.util.concurrent.TimeoutException. The only way to get rid of this job for us was to stop

Re: Classloading issues with Flink Operator / Kubernetes Native

Version 1.15.2, there is no /opt/flink/usrlib folder created El mar, 20 sept 2022 a las 20:53, Yaroslav Tkachenko () escribió: > Interesting, do you see the /opt/flink/usrlib folder created as well? > Also, what Flink version do you use? > > Thanks. > > On Tue, Sep 20, 2022 at 4:04 PM Javier