flink侧输出算子堵住的问题

问题描述：(兄弟部门的问题，不方便截图，请求原谅~~) 1. flink版本： 1.6.0 2. 基本流程：flink读取kafka数据 -> json解析->(process并行度6)往下游11条pipeline发送数据 3. 问题现象： 运行一段时间后，该任务堵住，sink端无数据产生 4. 监控信息： 任务在map->sideprocess算子处出现反压，下游window->sink未出现反压。 map->sideprocess算子task metrics的outputBufferPool偶尔变成1，绝大时间处于0

通过Yarn提交Application模式的job TaskManager无法输出日志

1. Flink版本是1.11.1, 使用的是Application模式提交 2. 我是通过这种方式进行提交的 yarnClusterDescriptor.deployApplicationCluster(ClusterSpecification, ApplicationConfiguration) 3. 我设置了这个参数为 env.java.opts.taskmanager -Dlog4j.configurationFile="log4j.properties" 4.

Re: flink 1.11.2 如何获取blink计划下的BatchTableEnvironment对象

> > BatchTableEnvironment 环境 是说 BatchTableEnvironment 对象吗 Asahi Lee <978466...@qq.com> 于2020年11月9日周一 上午10:48写道： > 你好！ >我使用的是flink 1.11.2版本，官网的文档中说明blink的batch执行环境以如下方式获取： > // ** // BLINK BATCH QUERY // ** import >

Re: flink sql kafka connector with avro confluent schema registry support

支持的，参考 code https://github.com/apache/flink/pull/12919/commits 陈帅 于2020年11月3日周二 上午8:44写道： > flink sql 1.11.2 支持 confluent schema registry 下 avro格式的kafka connector吗？ > 官网没找到相关资料。有的话请告知或者提供一下示例，谢谢！ >

Re: Re:关于flink任务挂掉报警的监控指标选择

可是当任务被kill掉，就不会重启，所以只监控重启指标的话，是不是就会忽略掉任务被kill掉这种情况的报警？ - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Re:Re: Re:Re: Flink StreamingFileSink滚动策略

了解~万分感谢 - Best Wishes -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink 1.11.2 ????????blink????????BatchTableEnvironment????

?? ??flink 1.11.2??blink??batch // ** // BLINK BATCH QUERY // ** import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.TableEnvironment; EnvironmentSettings bbSettings =

Re: Re: flink tm cpu cores设置

如何确认没有用的呢？能分享一下jm日志么？ 另外这个参数实际是否生效也取决于yarn的调度器是否开启了cpu调度 Best, Yangze Guo On Thu, Nov 5, 2020 at 1:50 PM zjfpla...@hotmail.com wrote: > > 这个再flink-conf.yaml中设置过没用 > > > > zjfpla...@hotmail.com > > 发件人： JasonLee > 发送时间： 2020-11-05 13:49 > 收件人： user-zh > 主题： Re: flink tm cpu cores设置 > hi

Re:Re: Re:请教一下目前flink submit能不能指定额外的依赖jar

是提交到 yarn 集群么？ 不知道 -yt [1] 是否是你想要的添加依赖的效果？ 1: https://github.com/apache/flink/blob/master/flink-yarn/src/main/java/org/apache/flink/yarn/cli/FlinkYarnSessionCli.java#L183 在 2020-11-06 11:12:33，"silence" 写道： >感谢回复，还是希望可以从submit上解决这个问题，不能添加依赖限制了很多应用场景，特别是针对平台来说 > > > >-- >Sent from:

Re: Re: flink tm cpu cores设置

你说的是启动参数吗？ zjfpla...@hotmail.com 发件人： JasonLee 发送时间： 2020-11-05 13:59 收件人： user-zh 主题： Re: Re: flink tm cpu cores设置 hi 可以这么设置-yD yarn.containers.vcores=你设置的值 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re:Re:请教大神们关于flink-sql中数据赋值问题

目前用的就是流处理方式，在map function中进行的hbaseQuery，但是这种在数据量超大的情况下处理效率太差了，每次来消息都要把hbase数据全部下载一次。UDF的方式，这两天我在where条件中使用了一下，但是仍不能像处理流那样灵活使用，因为kafka流不能与hbase流进行join，所以只能处理一次流消息，毕竟流在这个场景下是作为条件输入的，感觉用flink-sql在这种场景下比较受限。 在 2020-11-07 02:37:29，"hailongwang" <18868816...@163.com> 写道： >Hi si_tianqiang, > > >自定义 UDF

Re:flink内存超用问题

Hi Bob, 可以设置下参数 'state.backend.rocksdb.memory.fixed-per-slot' [1] 看下有没有效果。 [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/config.html#state-backend-rocksdb-memory-fixed-per-slot Best, Hailong Wang 在 2020-11-08 10:50:29，"元始(Bob Hu)" <657390...@qq.com> 写道：

Re: flink savepoint

看到了，通过JM看到是写的权限没有，改了之后就好了 Congxian Qiu 于2020年11月6日周五 下午1:31写道： > Hi > 从 client 端日志，或者 JM 日志还能看到其他的异常么？ > Best, > Congxian > > > 张锴 于2020年11月6日周五 上午11:42写道： > > > 重启和反压都正常 > > 另外增加了从客户端到master的时间，还是有这个问题 > > > > hailongwang <18868816...@163.com> 于 2020年11月6日周五 10:54写道： > > > > > Hi, > > >

Re: flink savepoint

已经指定了 admin <17626017...@163.com> 于2020年11月6日周五 下午3:17写道： > Hi, > 你的任务时跑在yarn上的吗？如果是 需要指定 -yid > > > 2020年11月6日 下午1:31，Congxian Qiu 写道： > > > > Hi > > 从 client 端日志，或者 JM 日志还能看到其他的异常么？ > > Best, > > Congxian > > > > > > 张锴 于2020年11月6日周五 上午11:42写道： > > > >> 重启和反压都正常 > >>