Re: 如何根据flink日志排查错误

2022-03-17 文章 Janick
可以按关键字“switched from RUNNING”全局搜索日志,找到最早抛出异常的堆栈信息 > 2022年3月17日 下午4:15,yidan zhao 写道: > > 如题,我举个例子。 > 我有个任务,经常失败,现在以其中一个例子。首先看exception history,发现: > Time > Exception > Name > Location > 2022-03-17 15:09:44 > org.apache.flink.runtime.io.network.netty.exception.LocalTransportException > bal_ft_b

Re: K8s部署Flink 作业,无法在Web UI查看TaskManger的STDOUT日志

2022-03-02 文章 Janick
可以通过降低restratstrategy的统计灵敏度,短时间持续出现同个异常导致的failed只会计数一次,目前已经有相关patch,具体可看: https://issues.apache.org/jira/browse/FLINK-26315 > 2022年3月2日 下午4:35,Yang Wang > 写道: > > Standalone Flink on K8s 和 native K8s都会有你说的这个问题 >

flinksql source 算子并行度与数据分发策略

2021-12-13 文章 Janick
您好,目前flinkSQL KafkaConnector目前不支持Source算子并行度配置以及数据分发策略选择: 导致的问题: 1、当并行度 > source中间件消息分区时, 超出的部分会空跑占用资源 2、假设: 并行度>消息分区, source vertex: Source: TableSourceScan->Calc(select…); 当Calc(select..)为cpu密集(json解析)算子,其将会成为任务的性能瓶颈,Calc算子无法享受到扩容带来的资源(超出kafka分区的并发没有数据流入)。 请问下目前社区有没有现有的 / 计划中的解决方案?

flinksql source 算子并行度与数据分发策略

2021-12-13 文章 Janick
您好,目前flinkSQL KafkaConnector目前不支持Source算子并行度配置以及数据分发策略选择: 导致的问题: 1、当并行度 > source中间件消息分区时, 超出的部分会空跑占用资源 2、假设: 并行度>消息分区, source vertex: Source: TableSourceScan->Calc(select…); 当Calc(select..)为cpu密集(json解析)算子,其将会成为任务的性能瓶颈,Calc算子无法享受到扩容带来的资源(超出kafka分区的并发没有数据流入)。 请问下目前社区有没有现有的 / 计划中的解决方案?