Hi
参考官网,https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/deployment/metric_reporters/#prometheuspushgateway
Best
JasonLee
回复的原邮件
| 发件人 | casel.chen |
| 发送日期 | 2024年02月23日 17:35 |
| 收件人 | user-zh@flink.apache.org |
| 主题 | Flink Prometheus Connector问题 |
Hi
你提到的所有的监控都是可以通过 metric 来监控报警的,至于你提到的 LatencyMarker 因为它不参与算子内部的计算逻辑的时间,所以这个
metric 并不是准确的,但是如果任务有反压的情况下 LatencyMarker
也会被阻塞,所以大体上还是可以反应出任务的延迟情况,如果想要准确的计算出端到端的延迟,可以在 消费 kafka 的时候获取一个 start time 时间戳
在 sink 的时候获取一个 end time 时间戳,然后自定义一个 metric 把这个结果上报 基于这个 metric 做端到端的延迟监控。
Best
JasonLee
Hi
Print 方法是可以传入一个参数的,用来标识某个流,比如 print(“a”); print(“b");
Best
JasonLee
回复的原邮件
| 发件人 | 小昌同学 |
| 发送日期 | 2023年04月14日 09:46 |
| 收件人 | user-zh |
| 主题 | 打印不同流怎么进行区分 |
你好,请问一下再一个程序中,有流与流之间的转换,比如说流A转换为流B,那我想看看流A,也想看看流B,请问我该怎么实现,直接print的话,再控制面板会乱掉
| |
小昌同学
|
|
ccc0606fight...@163.com
|
Hi
这个是可以配置的,可以参考官网 filter.includes[1] 来过滤你想要的 metrics。
[1]https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/deployment/metric_reporters/#filter-includes
Best
JasonLee
回复的原邮件
| 发件人 | casel.chen |
| 发送日期 | 2023年03月22日 12:08 |
| 收件人 | user-zh@flink.apache.org |
| 主题 |
Hi wdmcode
看上去 per-job 或者 application 模式更适合你,session 模式的话是需要重启集群才能识别到新添加的 connector。
Best
JasonLee
回复的原邮件
| 发件人 | wdmcode |
| 发送日期 | 2023年03月14日 17:59 |
| 收件人 | user-zh |
| 主题 | 咨询yarn session 集群启动后在不重启的情况下如何更新一个jar包 |
hi all
我在yarn集群使用yarn
Hi
可以通过设置 pipeline.operator-chaining = false 来实现。
Best
JasonLee
Replied Message
| From | 小昌同学 |
| Date | 03/3/2023 15:50 |
| To | user-zh |
| Subject | flink sql |
各位大佬,请教一下如何使用flink sql实现DataStreaming的disableOperatorChaining功能
| |
小昌同学
|
|
ccc0606fight...@163.com
|
使用row number设置成blink的planner就行了 依赖也只用加blink的
| |
17610775726
|
|
邮箱:17610775...@163.com
|
Signature is customized by Netease Mail Master
On 06/29/2020 17:19, xuhaiLong wrote:
hello,请教下
"org.apache.flink" %% "flink-table-api-scala-bridge" % "1.10.1",
&quo