Re: 使用Kafka记录自身的时间戳问题

的实现 <https://github.com/apache/flink-connector-kafka/blob/00c9c8c74121136a0c1710ac77f307dc53adae99/flink-connector-kafka/src/main/java/org/apache/flink/connector/kafka/sink/KafkaWriter.java#L190> 。 Best, Biao Geng ha.fen...@aisino.com 于2024年5月8日周三 10:59写道： > > DataStream

Re: 在idea中用CliFrontend提交job 报错 java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;

Hi, 这个报错一般是JDK版本不一致导致的。建议统一build flink和执行flink作业时的Java版本，（都用JDK8 或者 都用JDK11）。 用JDK11时没有sun.misc的问题可以试试勾选掉Idea的Settings-> Build, Execution and Deployment -> Compiler-> Java Compiler的Use '--release' option for cross-compilation' 选项。 Best, Biao Geng z_mmG <13520871...@1

Re: 退订

Hi， If you want to unsubscribe to user-zh mailing list, please send an email with any content to user-zh-unsubscr...@flink.apache.org . 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 995626544 <995626...@qq.com.invalid> 于2024年4月7日周日 16:06写道： > 退订 > >

Re: 配置hadoop依赖问题

classpath，可以看下是否有Hadoop相关的class。 Best, Biao Geng ha.fen...@aisino.com 于2024年4月2日周二 10:24写道： > 1、在开发环境下，添加的有hadoop-client依赖，checkpoint时可以访问到hdfs的路径 > 2、flink1.19.0,hadoop3.3.1,jar提交到单机flink系统中，提示如下错误 > Caused by: java.lang.RuntimeException: > org.apache.flink.runtime.client.JobInitializat

Re: 退订

Hi， 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng CloudFunny 于2024年3月31日周日 22:25写道： > >

Re: 退订

Hi， 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 戴少 于2024年4月1日周一 11:09写道： > 退订 > > -- > > Best Regards, > > > > > 回复的原邮件 > | 发件人 | wangfengyang | > | 发送日期 | 2024年03月22日 17:28 | > | 收件人 | user-zh | > | 主题 | 退订 | > 退订

Re: 退订

Hi， 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 杨东树 于2024年3月31日周日 20:23写道： > 申请退订邮件通知，谢谢！

Re: 申请退订邮件申请，谢谢

Hi， 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 于2024年3月31日周日 22:20写道： > 申请退订邮件申请，谢谢

Re: 退订

, Biao Geng [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists wangchuan 于2023年9月11日周一 10:20写道： > 退订 >

Re: Flink rocksDB疑似内存泄露，导致被Linux kernel killed

Hi, 可以配置下jemalloc来进行堆外内存泄漏的定位。 具体操作可以参考下这两篇文章。 https://cloud.tencent.com/developer/article/1884177 https://chenhm.com/post/2018-12-05-debuging-java-memory-leak#_native_method_%E5%86%85%E5%AD%98 Best, Biao Geng Guo Thompson 于2023年4月22日周六 09:57写道： > yarn，我已经关闭了yarn的内存检查，glibc的那个参数已经配置

Re: 退订

Hi， 退订可以发送邮件到 user-zh-unsubscr...@flink.apache.org From: 琴师 <1129656...@qq.com.INVALID> Date: Wednesday, April 19, 2023 at 4:42 PM To: user-zh Subject: 退订 退订 琴师 1129656...@qq.com  

Re: 退订

Hi， 退订可以发送邮件到 user-zh-unsubscr...@flink.apache.org From: 杨伟伟 Date: Tuesday, April 18, 2023 at 9:32 AM To: user-zh@flink.apache.org Subject: 退订 退订

Re: Re: Flink程序内存Dump不了

Hi, 这个报错 sun.jvm.hotspot.debugger.UnmappedAddressException: 7f74efa5d410 可能和flink关系不大。 我们之前在生产环境中dump内存的时候遇到过类似问题，后续定位发现是运行jmap命令的Linux user与运行flink作业的Linux user不一致导致的。 不知道和你们的问题一不一致，你可以试试t用op -p 查到USER，然后su 一下，再进行jmap -dump:format=b,file=/tmp/dump.hprof 试试。 Best, Biao Geng Weihua Hu 于2023年2月20

Re: [ANNOUNCE] Apache Flink Kubernetes Operator 1.3.0 released

Congratulations! Thanks a lot for the awesome work! Best regards, Biao Geng Őrhidi Mátyás 于2022年12月15日周四 01:30写道： > The Apache Flink community is very happy to announce the release of Apache > Flink Kubernetes Operator 1.3.0. > > Release highlights: > >- Upgrade to Fabri

Re: Flink Kubernetes Operator何时会保留JobManager Pod

hi，主要就是针对作业FINISHED或者FAILED时也能保留作业。你可以跑一个批作业试试。 Best， Biao Geng 获取 Outlook for iOS<https://aka.ms/o0ukef> 发件人: hjw 发送时间: Monday, November 28, 2022 3:13:56 PM 收件人: user-zh@flink.apache.org 主题: Flink Kubernetes Operator何时会保留JobManager Pod 环境: Flink：1.15 Op

Re: 怎样禁用 flink k8s operator 自动删除停止后的 pod ？

Hi, 能请问下你使用的flink版本和flink kubernetes operator版本吗？ 如果flink版本>=1.15.0的话，app运行结束后JobManager Pod应该是会保留的。 Best, Biao Geng highfei2011 于2022年10月19日周三 14:11写道： > 问题描述：当使用 flink k8s operator 创建 flink app 后，不管 app 运行成功，或者失败， operator 都会自动 > delete 掉停止的 pod。我再次使用命令查看日志时， 由于 pod 不存在，所以日志无法查看。

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

hi 根据你发的描述，是Flink的job manager在非RM所在机器上启动时，由于尝试连接0.0.0.0:8030 端口去向YARN申请资源时连接不通，导致失败。你可以检查下集群内worker节点的hadoop配置，看看yarn.resourcemanager.hostname等配置是否设置正确。 Best， Biao Geng lishiyuan0506 于2022年7月14日周四 15:17写道： > 您好，我之前做了一些尝试： > 1. 测试Spark、MR任务正常 > 2. 将生产环境的Flink和官网干净的Flink安装后测试example，出现

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

yarn.resourcemanager.hostname等配置是否设置正确 Best, Biao Geng Biao Geng 于2022年7月14日周四 11:32写道： > hi, > 你有试过提交flink > example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep > -irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。 > > Best, > Biao Geng &

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

hi, 你有试过提交flink example(比如wordcount作业)吗？如果报了一样的错误的话，可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep -irn "0.0.0.0" $FLINK_HOME)；如果example可以成功提交，可以看看是不是你的作业jar里打进了错误的YARN配置。 Best, Biao Geng lishiyuan0506 于2022年7月14日周四 11:06写道： > 您好，环境变量里面有，而且flink的conf.sh也设置了 > > > lishiyuan05

Re: 安装helm的Flink Kubernetes Operator 失败

install flink-kubernetes-operator flink-operator-repo/flink-kubernetes-operator --set webhook.create=false 跳过安装webhook及其依赖的cert-manager. Best, Biao Geng 陈卓宇 <2572805...@qq.com.invalid> 于2022年4月25日周一 19:46写道： > 报错： > [streamx@localhost ~]$ helm install flink-kubernetes-operator >

Re: Flink1.13 standalone基于zk进行HA，经常出现重启后无限leader选举的情况

Hi yidian， 如果我没理解错的话，你提到集群没有flink作业时，zk也会有较低概率发生leader选举（你说的“重启”应该是指leader选举？）。这本身就是可能有问题的。你可以先去看看zk的日志判断一下zk重启的原因。 Best， Biao yidan zhao 于2022年3月11日 周五12:17写道： > 我zk主要就flink和kafka用，还有kafka-manager，应该用的不是不多。至少zk的磁盘IO很低。 > 除非说是zk所在机器本身压力高勉强可能，但是zk本身压力不会高。 > > > Biao Geng 于2022年

Re: Flink1.13 standalone基于zk进行HA，经常出现重启后无限leader选举的情况

Hi yidian, 你说的应该是ZK leader频繁选举？你可以看下ZK的日志，看看有没有更具体的原因。一般是因为ZK存储用量过大(znode数目过多)，导致ZK的leader和follower数据同步失败，触发选举。 Flink HA任务数目不多的话，一般在ZK侧压力不大。你可以看看有没有其他应用也使用了ZK服务。 Best, Biao yidan zhao 于2022年3月11日 周五11:51写道： > 如题，大家知道为啥吗。 > 一般如果集群没任务。重启问题出现概率低。 > 但如果集群本身任务多，重启后有任务恢复，很容易出现无限重启。 >