请教union算子union多个source 流时的健壮性如何保证

2021-07-21 文章 Fisher Xiang
请问大家在使用 union算子union多个 stream时,比如 stream1.union(stream2, stream3, … stream n) ,其中1到n分别来自不同的MQ 集群MQ1, MQ2… MQ n, 当其中几个集群挂掉时, 整个flink 应用都会重启,那么该场景下怎么可以做到 某几条stream 异常挂掉后,而不影响其他流的 union,让整个 flink继续运行呢? [image: image.png] BR Fisher

回复:请教on yarn per job 作业采集日志进行监控方案

2021-07-21 文章 comsir
直接配置influxdb reporter,用gafana大盘展示,非常方便一台机器即可。 --原始邮件-- 发件人: "user-zh"

退订

2021-07-21 文章 huangxinbao7
退订

Re: 请教on yarn per job 作业采集日志进行监控方案

2021-07-21 文章 cyril cui
source和sink端监控 input/output qps波动,效果还可以,方案也比较成熟 yihan xu 于2021年7月21日周三 下午12:48写道: > 原本作业基本处于半裸奔的状态,最近线上出了一次小事故后,在考虑如何实时采集作业日志或者metric再配置告警。 > 网上初步搜了一下,好像就是prometheus+grafana或者elk。 > > 请教各位大佬的项目目前都是用什么方式,我们小公司就我一个人搞flink,半路出家水平也有限,请大佬们推荐个易维护坑少点的方式?谢谢。 > > 发自我的iPhone > > > 发自我的iPhone