case class Student(name: String, age: Int,teacher:Teacher)
case class Teacher(name:String,room:(Int,Int,Int),salary:Int)
def main(args: Array[String]): Unit = {
val teacher = Teacher("teacher-w",(1,2,3),99)
val students = List(Student("a",11,teacher),Student("b",22,teacher))
val benv = Execu
HI , 请问当一个算子会被多次使用时,怎么把他缓存住,类似于spark的cache操作
val env = getBatchEnv
val ds = env.fromElements("a","b","c")
val ds2 = ds.map(x=>{
println("map op")
x.charAt(0).toInt+1
})
//此操作会打印三遍map op
ds2.print()
//此操作又会打印三遍map op
ds2.filter(_>100).print()
可以尝试用yarn application -list 去定期查找你的任务来判断任务是否挂掉
bradyMk 于2021年1月6日周三 下午4:35写道:
> Hi,请教大家一个问题:
>
> 目前使用grafana监控flink的作业,想实现一个任务挂掉就报警的功能,初步想法是:监控checkpoint
> size的指标,一旦这个指标为0,就认为任务挂掉,但实际操作后,发现了两个问题:
>
> ① 如果kill掉任务,grafana上的flink所有指标都会一直保持最后接收到的值不变;
> ② 如果cancel掉任务,grafana上的flink所有指标都会突然中断;
>
> 所以