部分任务估计是原先看过ui图，打开后相关数据都能看，但是数字不变。比如其中一个任务的输入节点部分：Records Sent
504,685,253，这个数字就不变了（但任务实际是在处理数据的），看网络请求也的确固定一直返回这个数据。
纯粹转圈不出数据的任务是新提交的任务。
按照以往，我重启jm可能解决这个问题。
yidan zhao 于2022年5月20日周五 12:05写道：
>
> web ui图：https://s3.bmp.ovh/imgs/2022/05/20/dd142de9be3a2c99.png
> 网络视图：https://i.bmp.ovh/imgs/2022/05
你好，
1. TM MetaSpace
OOM应该是由于你反复提交job造成的。反复提交作业可能导致短时间内Class和UserClassLoader过多并且无法被及时回收。
2. TM OOM导致不能及时发送心跳给JM就会因为超时让JM认为TM下线。理论上OOM了是会自己退出进程的。
3.
如果不能将集群部署到Kubernetes或者yarn下的话，建议可以通过JM的API监控下TM数量，如果TM数量下降可以做些运维操作。下面的link是一个JM
api的介绍:
https://nightlies.apache.org/flink/flink-docs-master/docs/op
web ui图：https://s3.bmp.ovh/imgs/2022/05/20/dd142de9be3a2c99.png
网络视图：https://i.bmp.ovh/imgs/2022/05/20/f3c741b28bd208d4.png
JM1（rest server leader） 异常日志：
WARN 2022-05-20 12:02:12,523
org.apache.flink.runtime.checkpoint.CheckpointsCleaner - Could
not properly discard completed checkpoint 222
Hi.
Yes. Flink supports to write the value to the Kafka record key parts. You
just need to specify which column belongs to the key in the WITH blocks,
e.g.
```
CREATE TABLE kafka_sink (
...
) WITH (
`key.fields` = 'id'
);
```
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/conne
你好，图挂了，应该是需要图床工具。
另外，能否贴一下相关的异常日志呢？
Best,
Shengkai
yidan zhao 于2022年5月20日周五 10:28写道：
> UI视图：[image: 1.png].
>
> 网络视图：
> [image: image.png]
>
>
> 补充部分集群部署信息：
> （1）flink1.13，standalone集群，基于zk做的HA。3 jm，若干tm。
> （2）jm的rest api开启了ssl，基于 nginx
> 做了代理转发（但大概率不会是机制问题，因为不是百分百出现此问题，我集群其他任务都正常，都是运行一段时间后会出现
UI视图：[image: 1.png].
网络视图：
[image: image.png]
补充部分集群部署信息：
（1）flink1.13，standalone集群，基于zk做的HA。3 jm，若干tm。
（2）jm的rest api开启了ssl，基于 nginx
做了代理转发（但大概率不会是机制问题，因为不是百分百出现此问题，我集群其他任务都正常，都是运行一段时间后会出现）。
猜测：是否可能和运行一段时间后，出现jm进程挂掉，任务recover更换，rest jm的leader变换有关呢？
目前来看部分jm的日志偶尔存在ss
不好意思，前面那个邮箱忘记订阅了，没看到答复。
我reload过的
不过已经发现原因了：是如果直接IDEA调试，且同时有 flink-s3-fs-presto 和
flink-s3-fs-hadoop，*务必保证 flink-s3-fs-presto
的依赖在 flink-s3-fs-hadoop 前面*，否则会有因为依赖加载顺序的原因使用了错误的依赖导致 s3p
的filesystemfactory 加载失败。这个是我后来打开全部日志后发现的堆栈。
Weihua Hu 于2022年5月19日周四 21:00写道：
> Hi,
> 你是在 IDEA 中运行吗？我增加相关的 pom
Hi,
你是在 IDEA 中运行吗？我增加相关的 pom 依赖后在 wordcount 中可以正常运行，可以 idea maven reload project 试试
Best,
Weihua
> 2022年5月19日 下午4:05，z y xing 写道：
>
> 各位好：
> 了解实际运行是要复制jar到plugin下，但是调试的话用该怎么初始化s3p这个文件系统了？
>
> flink版本 1.14，win10
> 项目通过flink-quick-start创建，在pom中添加了如下依赖
>
>
> org.apache.flink
> flink-s3-fs-p
Hi，请问在UI界面这些数据都是空的吗？可以贴一下具体的代码和UI界面截图吗？会不会是由于算子chain在一起了导致输入/输出数据是0呢？
--
Best！
Xuyang
在 2022-05-19 17:52:20，"yidan zhao" 写道：
>如题，主要表现是web
>ui部分监控，比如watermark，每个节点的数据之类不展示。看chrome的network视图可以发现请求返回状态码都是200，但是数据是空的。
>
>以watermarks请求为例：
>.../jobs/f5600ae6822108629f26b492ed7a1f96/ve
如题，主要表现是web
ui部分监控，比如watermark，每个节点的数据之类不展示。看chrome的network视图可以发现请求返回状态码都是200，但是数据是空的。
以watermarks请求为例：
.../jobs/f5600ae6822108629f26b492ed7a1f96/vertices/95d07d760a7164acf2417ef057dca790/watermarks
结果是 [] 。 不清楚啥情况，有人清楚吗。
目前看了下jobmanger日志，有部分报错，但和这些请求没关系都。报的都是org.apache.flink.runtime.checkpoint.
各位好：
了解实际运行是要复制jar到plugin下，但是调试的话用该怎么初始化s3p这个文件系统了？
flink版本 1.14，win10
项目通过flink-quick-start创建，在pom中添加了如下依赖
org.apache.flink
flink-s3-fs-presto
${flink.version}
初始代码类似如下：
Configuration fileSystemConf = new Configuration();
fileSystemConf.setBoolean("presto.s3.connection.ssl.enabled"
11 matches
Mail list logo
