flink 1.13.2 ?? Java/Scala ?????????? Python UDF??????????yarn-application??????yarn????????????????????????pyflink?

HI!     ??flink 1.13.2??java table apipython udf??yarn-applicationyarn??pyflink?

Re: FlinkSQL 使用 streamingSink 写入 hive orc数据，如何控制文件数量。

关于FlinkSQL写hive，orc格式，性能和稳定性方面有什么建议吗。 比如并行度设置多少合理，目前compact-coordinator并行度定死为1，不可更改应该，compact-operator是60，日常来看compact-operator经常是红色，busy100%。目前问题是偶尔会发现检查点失败，延迟等，导致实际现象是文件没合并，进而inode不足。（我们的inode的quota不足实际是）。 4个task节点，source、compact-coordinator、compact-operator、partition-commiter，分别考虑什么设置并行度呢，仅针对能设置

Flink SQL Join ????????minBatch ????????

Hi :    ??Flink 1.12 SQL ??Join ??Kafka DB ?? FOR SYSTEM_TIME AS Temporal Joins ?? ?? ?? In ?? QPS ?? ??

Flink SQL Join 如何使用minBatch 方式查询

Hi : 我现在有一个场景，基于Flink 1.12 SQL 来实现， 想查询下游数据， 大概逻辑就是多张表Join 其中一张是Kafka 表，其他的是DB 表，我基于处理时间 FOR SYSTEM_TIME AS 做了Temporal Joins ， 但是下游数据库查询压力比较大， 现在想通过延迟 批量 In 的方式 减小QPS ，请问如何配置 可以调这个时间长度，我理解默认就是来一条就查询一次 --- Best, WuKong

回复: Re: 提交flink作业抛 java.lang.LinkageError

Hi : 看报错日志，还是类加载问题 提示的报错信息 是说已经由不同类加载器已经加装了改依赖。如果生产环境上已经由了相关依赖包，建议将依赖设置为provided Caused by: java.lang.LinkageError: loader constraint violation: loader >> (instance of org/apache/flink/util/ChildFirstClassLoader) previously >> initiated loading for a different type with name >> "org/apache/kaf

????: ????????

Hi : ?? user-zh-unsubscr...@flink.apache.org ?? ??/ ?? https://flink.apache.org/zh/community.html --- Best, WuKong ?? ?? 2021-11-08 14:42 user-zh ??

回复: Re: 提交flink作业抛 java.lang.LinkageError

Hi : 看报错日志，还是类加载问题 提示的报错信息 是说已经由不同类加载器已经加装了改依赖。如果生产环境上已经由了相关依赖包，建议将依赖设置为provided Caused by: java.lang.LinkageError: loader constraint violation: loader >> (instance of org/apache/flink/util/ChildFirstClassLoader) previously >> initiated loading for a different type with name >> "org/apache/kaf

Re: flink1.12.4 写入hdfs报错 java.lang.OutOfMemoryError: Direct buffer memory

Hi！ 可以通过配置 taskmanager.memory.task.off-heap.size 指定 direct memory 和 native memory 的大小，详见 [1]。 [1] https://nightlies.apache.org/flink/flink-docs-master/zh/docs/deployment/memory/mem_setup_tm/#%e9%85%8d%e7%bd%ae%e5%a0%86%e5%a4%96%e5%86%85%e5%ad%98%e7%9b%b4%e6%8e%a5%e5%86%85%e5%ad%98%e6%88%96%e6%9c%

Re:checkpoint??????????

UnknownHostException: mycluster ?? | | | | | On 11/8/2021 16:04<2572805...@qq.com.INVALID> wrote?? : flink on yarn ??flink hdfs,ark1??hdfs??active??standby ark2standbyactive :??flink?

flink1.12.4 写入hdfs报错 java.lang.OutOfMemoryError: Direct buffer memory

通过flink 1.12.4 streaming file sink 写入hdfs，运行过程中抛出以下异常： 2021-11-08 20:39:05 java.io.IOException: java.lang.OutOfMemoryError: Direct buffer memory at org.apache.hadoop.hdfs.DataStreamer$LastExceptionInStreamer.set(DataStreamer.java:299) at org.apache.hadoop.hdfs.DataStreamer.run(DataStream

flinksql insert????

sql : String sql1="CREATE TABLE detal (\n" + " id INT,\n" + " produceId VARCHAR,\n"+ " color VARCHAR,\n"+ " size VARCHAR,\n"+ " PRIMARY KEY (id) NOT ENFORCED\n"+ ") WITH (\n" + " 'connector' = 'jdbc',\n" + " 'url' = 'jdbc:m

Flink SQL Join 如何使用minBatch 方式查询

Hi : 我现在有一个场景，基于Flink 1.12 SQL 来实现， 想查询下游数据， 大概逻辑就是多张表Join 其中一张是Kafka 表，其他的是DB 表，我基于处理时间 FOR SYSTEM_TIME AS 做了Temporal Joins ， 但是下游数据库查询压力比较大， 现在想通过延迟 批量 In 的方式 减小QPS ，请问如何配置 可以调这个时间长度，我理解默认就是来一条就查询一次 --- Best, WuKong

Re: flink的一个场景问题

Hi！ 一般将结果写到外部系统是通过 sink 节点。如果 Flink 没有内置你需要的 connector，可以考虑继承并实现 SinkFunction（很基本的 sink）或 RichSinkFunction（带 checkpoint 等功能）等自定义 sink，然后通过 DataStream#addSink 方法把这个 sink 加在 datastream 的末尾。 陈卓宇 <2572805...@qq.com.invalid> 于2021年11月8日周一 下午2:40写道： > 场景:我对一批kafa中的数据使用flink进行消费,然后通过process算子进行处理加工,将其写

????: ????????

Hi : ?? user-zh-unsubscr...@flink.apache.org ?? ??/ ?? https://flink.apache.org/zh/community.html --- Best, WuKong ?? ?? 2021-11-08 14:42 user-zh ??

回复: Re: 提交flink作业抛 java.lang.LinkageError

Hi : 看报错日志，还是类加载问题 提示的报错信息 是说已经由不同类加载器已经加装了改依赖。如果生产环境上已经由了相关依赖包，建议将依赖设置为provided Caused by: java.lang.LinkageError: loader constraint violation: loader >> (instance of org/apache/flink/util/ChildFirstClassLoader) previously >> initiated loading for a different type with name >> "org/apache/kaf

回复：Flink1.12 Streaming 消费kafka

hi 可以使用 setPartitions 方法 具体参考官网： https://nightlies.apache.org/flink/flink-docs-release-1.13/docs/connectors/datastream/kafka/#topic-partition-subscription Best JasonLee 在2021年11月8日 17:06，guanyq 写道： 请大佬指导下： flink streaming可以指定partition消费kafka么 如有100个partition，但是我只想消费15partiton。

Re:取消订阅

Hi, 退订请发送任意内容到 user-zh-unsubscr...@flink.apache.org Best, Roc 在 2021-11-08 14:42:33，"张伟明" <821596...@qq.com.INVALID> 写道： >取消订阅

Re:取消订阅

Hi, 退订请发送任意内容到 user-zh-unsubscr...@flink.apache.org Best, Roc 在 2021-11-08 13:58:37，"tanggen...@163.com" 写道： >取消订阅 > > >tanggen...@163.com

Flink1.12 Streaming 消费kafka

请大佬指导下： flink streaming可以指定partition消费kafka么 如有100个partition，但是我只想消费15partiton。

checkpoint??????????

: flink on yarn ??flink hdfs,ark1??hdfs??active??standby ark2standbyactive :??flink??checkpoint??hdfs??url??hdfs:ark:8082  ,standby??, hdfs??mycluster ??