toolongframeexception

2023-10-08 文章 Jiacheng Jiang 
大家好：

   我搭建了一个单机standealone 的flink用来测试mysql 
CDC，我发现每天晚上4点和4.30，我的taskmanager和jobmanager日志都有akka的TooLongFrameException，是BlobServerConnection报出来的，那个时候可能有定时任务在操作大量操作mysql数据库，我想问：

  1.  TooLongFrameException可能是mysql操作比较大造成的吗？如果是，有解决方法吗？
  2.  BlobServer是干嘛的？我一直认为blobserver是用来放job jar之类的，应该和cdc job的数据无关吧
  3.  哪些情况可能造成TooLongFrameException？

感谢大家

回复： 任务出现TooLongFrameException: Adjusted frame length exceeds问题

2022-07-03 文章 谭家良 
你好，感谢关注这个问题。经过后续排查与确认，大概是因为我这边运维的同事通过一些安全工具扫描导致的。
同时我搜索flink官方isuue发现一些可能的解决方案，但暂时未抽空验证：https://issues.apache.org/jira/browse/FLINK-24923


Best，
tanjialiang


在2022年7月4日 13:01，Zhanghao Chen 写道：
你好，能提供下完整的 jm/tm 侧报错日志吗？

Best,
Zhanghao Chen

From: 谭家良 
Sent: Sunday, July 3, 2022 16:18
To: user-zh@flink.apache.org 
Subject: 任务出现TooLongFrameException: Adjusted frame length exceeds问题

版本：flink-1.14
任务：FlinkSQL，从kafka消费，TVF统计窗口输出
出现问题：无论是Flink JM和TM都出现了TooLongFrameException: Adjusted frame length exceeds 
10485760: 369295622 - discarded
[cid:4dfb897b$1$181c32399ec$Coremail$tanjl_work$126.com]

我看有部分任务会经常出现这种问题，想请教一下几个问题
1. 出现这种问题的原因是什么？是JM与TM的通信问题还是TM与TM之间的通信问题？
2. 这种情况的出现是否会带来数据丢失？
3. 无论是jm和tm都会出现这种情况，有什么好的解决办法？
<https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1&name=%E8%B0%AD%E5%AE%B6%E8%89%AF&uid=tanjl_work%40126.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsm266e1d2e26af9f759edc476d7a2a0758.jpg&items=%5B%22tanjl_work%40126.com%22%5D>
[https://mail-online.nosdn.127.net/sm266e1d2e26af9f759edc476d7a2a0758.jpg]
谭家良
tanjl_w...@126.com

Re: 任务出现TooLongFrameException: Adjusted frame length exceeds问题

2022-07-03 文章 Zhanghao Chen 
你好，能提供下完整的 jm/tm 侧报错日志吗？

Best,
Zhanghao Chen

From: 谭家良 
Sent: Sunday, July 3, 2022 16:18
To: user-zh@flink.apache.org 
Subject: 任务出现TooLongFrameException: Adjusted frame length exceeds问题

版本：flink-1.14
任务：FlinkSQL，从kafka消费，TVF统计窗口输出
出现问题：无论是Flink JM和TM都出现了TooLongFrameException: Adjusted frame length exceeds 
10485760: 369295622 - discarded
[cid:4dfb897b$1$181c32399ec$Coremail$tanjl_work$126.com]

我看有部分任务会经常出现这种问题，想请教一下几个问题
1. 出现这种问题的原因是什么？是JM与TM的通信问题还是TM与TM之间的通信问题？
2. 这种情况的出现是否会带来数据丢失？
3. 无论是jm和tm都会出现这种情况，有什么好的解决办法？
<https://maas.mail.163.com/dashi-web-extend/html/proSignature.html?ftlId=1&name=%E8%B0%AD%E5%AE%B6%E8%89%AF&uid=tanjl_work%40126.com&iconUrl=https%3A%2F%2Fmail-online.nosdn.127.net%2Fsm266e1d2e26af9f759edc476d7a2a0758.jpg&items=%5B%22tanjl_work%40126.com%22%5D>
[https://mail-online.nosdn.127.net/sm266e1d2e26af9f759edc476d7a2a0758.jpg]
谭家良
tanjl_w...@126.com

任务出现TooLongFrameException: Adjusted frame length exceeds问题

2022-07-03 文章 谭家良 
版本：flink-1.14任务：FlinkSQL，从kafka消费，TVF统计窗口输出出现问题：无论是Flink 
JM和TM都出现了TooLongFrameException: Adjusted frame length exceeds 10485760: 
369295622 - discarded

我看有部分任务会经常出现这种问题，想请教一下几个问题1. 出现这种问题的原因是什么？是JM与TM的通信问题还是TM与TM之间的通信问题？2. 
这种情况的出现是否会带来数据丢失？3. 无论是jm和tm都会出现这种情况，有什么好的解决办法？
| |
谭家良
|
|
tanjl_w...@126.com
|