如何实现flink作业失败实时通知告警？

[casel.chen]

当flink作业失败时如何第一时间发通知告警到相关方？现有方式
方式一：flink作业本身提供的rest 
api需要client不断去请求，不是实时不说还浪费资源，而且受网络抖动影响有时候还会超时获取不到，但不代表作业有问题。
方式二：通过作业暴露指标给promemtheus，因为prometheus是周期性（10s~20s) 来pull指标的，所以也达不到实时性要求。


flink作业能否在failure之前调用某个hook去通知相关方呢？如果要自己改的话，是要动哪个类呢？谢谢！