Hi，退订请发送任意内容至邮箱user-zh-unsubscr...@flink.apache.org
Best,
Lijie
DannyLau 于2022年12月27日周二 09:54写道：
> 退订
> | |
> 刘朝兵
> |
flink-oss-fs-hadoop-1.13.6.jar 这个 jar 需要放到 flink 的 lib 目录下
Best，
Lijie
highfei2011 于2022年11月1日周二 16:23写道：
> 包冲突了。
>
>
> 在 2022年11月1日 15:39，highfei2011 写道：
>
>
> flink 版本：apache flink 1.13.6 flink operator 版本： 1.2.0
> 提交命令：kubernetes-jobmanager.sh kubernetes-application 异常： Caused by:
>
Hi，
可以尝试增大一下 taskmanager.network.request-backoff.max 的值。默认值是 1，也就是 10 s。
上下游可能是并发部署的，所以是有可能下游请求 partition 时，上游还没部署完成，增大
taskmanager.network.request-backoff.max 可以增加下游的等待时间和重试次数，减小出现
PartitionNotFoundException 的概率。
Best,
Lijie
yidan zhao 于2022年9月28日周三 17:35写道：
>
建议 dump 下 TM 内存看下具体内存使用情况
Best,
Lijie
lxk 于2022年9月28日周三 09:46写道：
> 最近Flink任务运行一段时间后就会自动停止。从JM和TM能看到的有效信息只有下面这段：
>
> 2022-09-24 07:18:16,303 INFO
> org.apache.flink.yarn.YarnTaskExecutorRunner [] - RECEIVED
> SIGNAL 15: SIGTERM. Shutting down as requested.
> 2022-09-24
Hi，
是的，scala和Java表示的是容器中 scala 和 java 的版本。
Best，
Lijie
hjw <1010445...@qq.com.invalid> 于2022年8月15日周一 15:00写道：
> 我注意到Flink docker 镜像在同一版本有不同的Tag。
> 以1.15.1为例。Tag有scala_2.12-java8、scala_2.12-java11、java8等等。
> scala和Java表示的是容器启动Flink进程的时候用的java版本是吗？
> 另外，我用jdk11构建Flink源码放到Tag为java8的镜像会出现不兼容的情况。
>
Hi,
根据我的经验，使用连接池时，至少需要及时关掉 statement/ResultSet，否则查询的结果会一直缓存，会有内存泄漏的问题。
Best，
Lijie
lxk7...@163.com 于2022年7月23日周六 15:34写道：
>
> 目前的项目中，需要使用外部数据库进行实时的look up。实时的主流数据量一天在百万级别，能用到的外部数据库有Mysql,Clickhouse
> 以及Redis缓存。
> 现在是将数据实时落到Clickhouse,然后Flink实时的去look up
>
Hi,
1.15.1 应该是对应 tag release-1.15.1
yidan zhao 于2022年7月21日周四 12:53写道：
> 我目前看了下，有一定规律但也还是不完全懂。
> 比如我目前有部分公司内部用到的，希望基于1.15.1的release上加的话，我需要基于哪个分支？还是tag做更改呢？
> 哪个branch、or tag是对应官方download页面提供的下载链接的包中一模一样的源码呢，就是不包含新增开发但未发布代码的版本。
>
Hi，
jstack 下 JM 的栈？ 从目前这个现象上看，像是 JobMaster 初始化的时候卡住了
Best，
Lijie
ynz...@163.com 于2022年7月13日周三 09:56写道：
> 是的，192.168.10.227:35961是TM地址；
> 反复初始化是指，在flink web ui的overview界面，Running Job
> List中对应JOb的status一直是INITIALIZING；
> 没有TM日志，我暂时还没弄明白为什么退出，flink web ui的TM界面，全程是没有任何信息的；
> 以下是日志列表，我没找到啥有用信息
>
看一下 TM pods 是否启动了？TM log 中是否有异常？看起来是 TM 一直没有注册上来
Best，
Lijie
陈卓宇 <2572805...@qq.com.invalid> 于2022年7月12日周二 10:53写道：
> flink：1.14.5
> on k8s 部署taskmanager一直不能启动，也没有日志
> jobmanager日志：
> 2022-07-12 02:08:22,271 INFO
> org.apache.flink.kubernetes.KubernetesResourceManagerDriver [] -
> Creating new
Hi,
拿不到任务 id 是指 Flink job id 么？
另外你的部署方式是什么样子的? 如果是 session/perjob 这种在 client 端编译 job graph，你可以在 main 方法中打印
job id 的
Best，
Lijie
sherlock zw 于2022年7月4日周一 17:51写道：
> 目前我需要去监控已经提交的flink任务，
>
Hi,
补充一句，所以在 Flink Web UI 上显示 managed memory 一直都会是满的
Best，
Lijie
Lijie Wang 于2022年6月30日周四 17:56写道：
> Hi,
> 这个是正常的，Flink 应该是拿不到 RocksDBStateBackend 实际内存使用的情况的，你可以理解为 managed memory
> 在一开始就被 StateBackend 划走了。
>
> Best，
> Lijie
>
> 陈卓宇 <2572805...@qq.com.invalid> 于20
Hi,
这个是正常的，Flink 应该是拿不到 RocksDBStateBackend 实际内存使用的情况的，你可以理解为 managed memory
在一开始就被 StateBackend 划走了。
Best，
Lijie
陈卓宇 <2572805...@qq.com.invalid> 于2022年6月30日周四 17:35写道：
> flink版本：1.13.1
> 状态后端：RocksDBStateBackend
> 问题描述：
> flink启动后我就发现webui界面的TaskManager上的Managed Memory是用满的，随即我将512M调整到2G依旧打满
>
Hi,
使用文档可以查看：
https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/resource-providers/native_kubernetes
设计文档可以查看：
https://docs.google.com/document/d/1-jNzqGF6NfZuwVaFICoFQ5HFFXzF5NVIagUZByFMfBY/edit?usp=sharing
jira： https://issues.apache.org/jira/browse/FLINK-9953
Best,
Lijie
Hi,
1. 建议贴下完整的 TM 日志和 jstack
2. 可以看下 GC 日志，看下 GC 是否正常
Best,
Lijie
李辉 于2022年6月27日周一 15:46写道：
> 求助：如题，Flink 版本 1.13.2，作业部署在 k8s
>
> 1、概览：
>
>
> 2、被 hang 住的TM 日志，之后没有其他日志了，也没有异常：
>
>
>
> 3、jstack 分析，没有发现 Block 状态的线程
>
>
>
-> Caused by: org.apache.flink.util.SerializedThrowable: Unable to close
file because the last
blockBP-1965840142-10.216.138.23-1585685654447:blk_2926076096_1852445656
does not have enough number of replicas.
从错误看是写 hdfs 的问题，建议看下 hdfs 是否正常
Best,
Lijie
陈卓宇 <2572805...@qq.com.invalid>
Hi，方便的话，可以截一下一直处于 canceling 状态的 task 所在 TM 的栈，这样可以看出 task 线程卡在哪里了
Best，
Lijie
沈保源 <757434...@qq.com.invalid> 于2022年6月17日周五 16:47写道：
> JobManager 的日志并没有什么东西，Task也没有使用udf，只是最简单的cep
> 模式组目前出现这种问题是在cep中，如果在这段时间内出现大量符合模式1
> 但是没有模式2的日志，当关闭时会出现这种情况，同时cep api 在这种情况下水位线延迟很高 是这个问题引起的吗？
>
Hi，退订请发送至邮箱 user-zh-unsubscr...@flink.apache.org，而不是
user-zh@flink.apache.org
Best,
Lijie
黎永康 于2022年6月9日周四 09:56写道：
> 退订
看错误是 metaspace OOM 了，可以按照提示，增加 taskmanager.memory.jvm-metaspace.size
的大小，或者增加 TM 总内存大小
Best，
Lijie
weishishuo...@163.com 于2022年6月7日周二 18:37写道：
> 我使用的版本是：
> flink：1.13.2
> flink cdc: flink-connector-jdbc_2.11-1.13.2.jar
> flink-sql-connector-mysql-cdc-2.2.0.jar
>
Congrats! Thanks Yang for driving the release, and thanks to all
contributors!
Best,
Lijie
John Gerassimou 于2022年6月6日周一 22:38写道：
> Thank you for all your efforts!
>
> Thanks
> John
>
> On Sun, Jun 5, 2022 at 10:33 PM Aitozi wrote:
>
>> Thanks Yang and Nice to see it happen.
>>
>> Best,
>>
As one of the contributors of flink remote shuffle, I'm glad to hear all
the warm responses! Welcome more people to try the flink remote shuffle and
look forward to your feedback.
Best，
Lijie
Yingjie Cao 于2021年12月1日周三 17:50写道：
> Hi Jiangang,
>
> Great to hear that, welcome to work together to
这个是因为这个 class 不在路径中导致的。你需要确认一下这个 class 在哪个 jar 包中，这个 jar 包是否在 flink 的 lib 下
在2020年06月3日 22:52，liunaihua521 写道：
- 转发邮件信息 -
发件人： liunaihua521
发送日期： 2020年6月3日 22:18
发送至： user-zh-i...@flink.apache.org 、
user-zh-...@flink.apache.org
主题： flink1.10整合hbase测试遇到的问题
hi!
版本说明:
可能的确会存在这个问题。在添加依赖时注意不要将 flink provided 的包打包进去就可以。也可以通过设置 parent-first 来解决这个问题。
在2020年05月28日 11:03，forideal 写道：
Hi 111,
关于第二点：
`2 配置FLINK_HOME环境变量，自定义的connector放在FLINK_HOME/lib下`
这么做是不是存在如下 `X can't be cast to X ` 隐患
因为把 Connector 放在 lib 中，会有 classloader 的问题，直接的现象就是 X can't be cast to X
cluster ??
start-cluster.sh??cluster stop-cluster.sh?? ??
start-cluster.sh
??2020??05??27?? 13:39??smq<374060...@qq.com> ??
hi
??.??
[root@node01 bin]# start-cluster.sh
Starting HA cluster
这个是不需要配置并且所有版本都支持的，你可以看一下 taskmanager.out 的输出内容。 此外，你需要确认一下你 print 的逻辑是否属于在 TM
端执行，有可能是在 client 端被执行的。
在2020年05月26日 21:39，smq<374060...@qq.com> 写道：
Hi
我的代码中打印的结果不能在webui上stdout看到，但是网上看的博客有人是可以显示打印内容的，只不过不是1.10版本。
请问是配置的问题还是这个版本不支持呢
Hi，我不能加载你邮件中的图片。从下面的报错看起来是因为找不到 match 的connector。可以检查一下 DDL 中的 with 属性是否正确。
在 2020-05-25 00:11:16，"macia kk" 写道：
有人帮我看下这个问题吗，谢谢
org.apache.flink.client.program.ProgramInvocationException: The main method
caused an error: findAndCreateTableSource failed.
Caused by:
25 matches
Mail list logo
