请教union算子union多个source 流时的健壮性如何保证

[Fisher Xiang]

请问大家在使用 union算子union多个 stream时，比如 stream1.union(stream2, stream3, … stream
n) ，其中1到n分别来自不同的MQ 集群MQ1, MQ2… MQ n, 当其中几个集群挂掉时，
整个flink 应用都会重启，那么该场景下怎么可以做到 某几条stream 异常挂掉后，而不影响其他流的 union，让整个 flink继续运行呢？

[image: image.png]

BR
Fisher

回复：请教on yarn per job 作业采集日志进行监控方案

[comsir]

直接配置influxdb reporter，用gafana大盘展示，非常方便一台机器即可。




--原始邮件--
发件人:
"user-zh"   
 

退订

[huangxinbao7]

退订 

Re: 请教on yarn per job 作业采集日志进行监控方案

[cyril cui]

source和sink端监控 input/output qps波动，效果还可以，方案也比较成熟

yihan xu  于2021年7月21日周三 下午12:48写道：

> 原本作业基本处于半裸奔的状态，最近线上出了一次小事故后，在考虑如何实时采集作业日志或者metric再配置告警。
> 网上初步搜了一下，好像就是prometheus+grafana或者elk。
>
> 请教各位大佬的项目目前都是用什么方式，我们小公司就我一个人搞flink，半路出家水平也有限，请大佬们推荐个易维护坑少点的方式？谢谢。
>
> 发自我的iPhone
>
>
> 发自我的iPhone