Re: flink sql collect函数使用问题

2021-12-01 Thread cyril cui
af里acc为个list,merge的时候合并,输出的时候 list拼成string即可 casel.chen 于2021年12月2日周四 上午9:46写道: > 使用场景如下,将kafka源表通过flink sql处理成mongodb汇表存入。按照班级进行group > by,输出对应班级所有的学生数据集合。请问用flink sql自带的collect函数能实现吗?如果能的话要怎么写sql? > 如果不能的话要怎么写UDAF,有例子参考吗?谢谢! > > kafka源表: > 班级 学号 姓名 年龄 > 1 20001张三

Re: 请教on yarn per job 作业采集日志进行监控方案

2021-07-21 Thread cyril cui
source和sink端监控 input/output qps波动,效果还可以,方案也比较成熟 yihan xu 于2021年7月21日周三 下午12:48写道: > 原本作业基本处于半裸奔的状态,最近线上出了一次小事故后,在考虑如何实时采集作业日志或者metric再配置告警。 > 网上初步搜了一下,好像就是prometheus+grafana或者elk。 > > 请教各位大佬的项目目前都是用什么方式,我们小公司就我一个人搞flink,半路出家水平也有限,请大佬们推荐个易维护坑少点的方式?谢谢。 > > 发自我的iPhone > > > 发自我的iPhone