退订

2024-09-03 文章 YH Zhu

退订

2024-08-08 文章 YH Zhu
退订

Re: 如何基于FLIP-384扩展对业务数据全链路延时情况的监控

2024-07-19 文章 YH Zhu
退订 Yubin Li 于2024年7月18日周四 14:23写道: > Hi, all > > 目前FLIP-384[1]支持了检查点、任务恢复的trace可观测,但实际业务场景中常需要监测每条业务数据在数据链路的各个节点流转过程中的延时情况,请问有什么好的思路吗 > > [1] > https://cwiki.apache.org/confluence/display/FLINK/FLIP-384%3A+Introduce+TraceReporter+and+use+it+to+create+checkpointing+and+recovery+traces > > Best, >

Re: 通过 InputFormatSourceFunction 实现flink 实时读取 ftp 的文件时,获取下一个 split 切片失败,

2024-07-16 文章 YH Zhu
退订 Px New <15701181132mr@gmail.com> 于2024年7月16日周二 22:52写道: > 通过老的API 也就是 InputFormatSourceFunction、InputFormat > 实现了一版,但发现第一批文件(任务启动时也已存在的文件)会正常处理,但我新上传文件后,这里一直为空,有解决思路吗?请问 > > [image: image.png] > > 或者有其他实现 ftp 目录实时读取的实现吗?尽可能满足 > 1. 实时读取 ftp 文件 > 2. 支持持续监测目录及递归子目录与文件3. > 3. 支持并行读取以及大文件的