Re:Flink 1.11.3 PackagedProgram启动报错

问题解决了，是因为自定义Jar中存在UDF。而生成的Pipeline未挂载对应的依赖jar，导致任务分发后UDF无法实例化。解决办法如下：String[] programArgs = new String[]{};String jarFilePath = "D:\\workspace\\FlinkJarDemo\\target\\FlinkJarDemo-1.0-SNAPSHOT.jar";List classpaths = Collections.emptyList();Configuration configuration = new Configuration();c

Pyflink JVM Metaspace 内存泄漏定位

Hi， 有个 JVM Metaspace OOM 的问题想请求下帮助，我通过pyflink 提交一些 Batch 任务，任务内执行的是查询 Mysql 的数据统计完写入 Kafka，之后任务就 finished 了。但是发现每次执行任务，JVM Metaspace 的内存会不断增长，即使任务结束后，内存仍然不会释放减少。 这个可能是Flink的哪里设置不对导致的吗？还是代码原因呢？ JVM Met

Re: K8s HA Session模式下1.12.1 jobmanager 周期性 restart

通过附件或者你上传到第三方的存储，然后在这里共享一下链接 macdoor 于2021年1月19日周二 下午12:44写道： > 可以的，怎么发给你？ > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: K8s HA Session模式下1.12.1 jobmanager 周期性 restart

https://pan.baidu.com/s/1GHdfeF2y8RUW_Htgdn4KbQ 提取码: piaf -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: [ANNOUNCE] Apache Flink 1.12.1 released

Thanks a lot for driving this release Xintong. This was indeed a release with some obstacles to overcome and you did it very well! Cheers, Till On Tue, Jan 19, 2021 at 5:59 AM Xingbo Huang wrote: > Thanks Xintong for the great work! > > Best, > Xingbo > > Peter Huang 于2021年1月19日周二 下午12:51写道： >

Re: 1.12.0版本启动异常 on yarn per job方式

检查一下你的作业 jar 包里是否把 hadoop 依赖也打进去了。一般情况下 hadoop 依赖应该设成 provided，如果作业确实有需要用到和 yarn 集群不同版本的 hadoop 依赖，需要 shade。 Thank you~ Xintong Song Thank you~ Xintong Song On Tue, Jan 19, 2021 at 3:31 PM guanyq wrote: > 看错误是与hadoop-common-2.7.4.jar冲突,但是不知道如何解决。 > help > 2021-01-1915:12:47,922ERRORorg.ap

Re: Pyflink JVM Metaspace 内存泄漏定位

你用的是 Flink 是哪个版本？Flink 有一些已知的、已修复的 metaspace 泄露问题 [1] [2]，看下是否符合你的情况。 另外，也不排除与你的代码实现、用到的依赖包的实现相关。具体问题定位需要 jstack / jmap 检查一下是否有此前任务的残留 thread / object。 Thank you~ Xintong Song [1] https://issues.apache.org/jira/browse/FLINK-16408 [2] https://issues.apache.org/jira/browse/FLINK-20333 On Tue, J

Re: Pyflink JVM Metaspace 内存泄漏定位

非常感谢回复！ Flink 版本是使用的 1.12.0，通过 https://github.com/apache/flink-docker/tree/master/1.12/scala_2.12-java11-debian 编译的Docker 镜像，然后外层又安装的python3环境生成最终的镜像。（不知道为什么我发的邮件到平台上后会少一部分，我又单独在平台编辑了一下）。 之前邮件的剩余内容是： JVM Metaspace Max大小是默认的 256 MB，每次跑这个 Batch 的统计任务后用量就会增加十几M，这样最后就OOM了。 Flink 通过 Docker 运行的 1.12 版

Flink 上报到pushgateway到数据量太大了

我在Flink 集成pushgateway到时候， 运行几十个任务，pushgateway到内容就达到了几百万行，太恐怖了。 请问一下，大家有什么优化方案么？ -- ** tivanli **

Re: [ANNOUNCE] Apache Flink 1.12.1 released

Thanks Xintong for the great work! Best, Yangze Guo On Tue, Jan 19, 2021 at 4:47 PM Till Rohrmann wrote: > > Thanks a lot for driving this release Xintong. This was indeed a release with > some obstacles to overcome and you did it very well! > > Cheers, > Till > > On Tue, Jan 19, 2021 at 5:59 A

答复: Re:Flink Jdbc sink写入多表如何实现

我这边自己的做法是，根据不同的行为时间，将source拆流，然后一个事件对应一个sink Sink的逻辑处理都是一致的，只不过配置的表不同。 -邮件原件- 发件人: hailongwang [mailto:18868816...@163.com] 发送时间: 2020年11月3日 星期二 0:21 收件人: user-zh@flink.apache.org 主题: Re:Flink Jdbc sink写入多表如何实现 Hi， 目前JDBC sink 不支持分库分表，只能自己实现一个 Sink。具体实现的话，即使 insert Statement 需要在 wri

Re: [ANNOUNCE] Apache Flink 1.12.1 released

Thanks Xintong's effort! Best, Guowei On Tue, Jan 19, 2021 at 5:37 PM Yangze Guo wrote: > Thanks Xintong for the great work! > > Best, > Yangze Guo > > On Tue, Jan 19, 2021 at 4:47 PM Till Rohrmann > wrote: > > > > Thanks a lot for driving this release Xintong. This was indeed a release > with

答复: Flink程序连接Kafka类型不匹配问题

这是函数式接口。。应该用lambda替代就行了 发件人: Natasha [mailto:13631230...@163.com] 发送时间: 2020年10月30日 星期五 10:19 收件人: user-zh@flink.apache.org 主题: Flink程序连接Kafka类型不匹配问题 Hi,社区~ 我想把Flink连接Kafka封装成通用的方法，但是在使用java时，类型转换上遇到了问题，这个问题网上搜索到的资料很少，刚入门不久所以也不是很明白其中的原理，请各位同行指点我一下，不胜感激。 [cid:image001.png@01D6EE8E.36285D30] B

flink yarn application 提交任务出错

今天尝试使用yarn application模式（带yarn.provided.lib.dirs参数)，将$FLINK_LIB目录下的jar包上传到了hdfs，结果报了如下的错，是少了哪个jar包或配置文件吗？ org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn Application Cluster at org.apache.flink.yarn.YarnClusterDescriptor.deployApplicationCluster(YarnCluster

想实现over窗口每条记录生成多行结果怎么做？

比如Top2问题，自定义一个Top2函数，想了一下2种方法不可行， 想法一，用flinksql实现，官网没有给如何在flinksql引用Table Aggregate Functions的示例，只给出了在tableapi中的引用，所以不会写了 // call function "inline" without registration in Table API env .from("MyTable") .groupBy($("myField")) .flatAggregate(call(Top2.class, $("value"))) .select($("myField")

Re: [ANNOUNCE] Apache Flink 1.12.1 released

Thanks Xintong for the great work! Best, Wei > 在 2021年1月19日，18:00，Guowei Ma 写道： > > Thanks Xintong's effort! > Best, > Guowei > > > On Tue, Jan 19, 2021 at 5:37 PM Yangze Guo > wrote: > Thanks Xintong for the great work! > > Best, > Yangze Guo > > On Tue, Jan 19,

flink sql作业监控问题

在开发实时计算平台的时候遇到作业监控问题：请问flink sql作业监控用自带的flink web UI展示请求的rest api好还是用prometheus + grafana好？ rest api能够展示所有flink作业暴露的metrics吗？自定义的metrics也可以吗？

flink作业版本管理实现方案

为支持作业上线评审和遇到问题进行版本回滚，实时计算平台中的flink作业版本管理采用哪种方案比较好？ 一种声音是用数据库来存，另一种声音是使用git来管理：一个作业对应一个repo，里面有作业sql或jar文件，作业参数和配置文件等。

flink作业版本管理实现方案探讨

为支持作业上线评审和遇到问题进行版本回滚，实时计算平台中的flink作业版本管理采用哪种方案比较好？ 一种声音是用数据库来存，另一种声音是使用git来管理：一个作业对应一个repo，里面有作业sql或jar文件，作业参数和配置文件等。 用数据库存的话作业文件比较割裂，像文本文件可以直接存表，但像jar包的话得存分布式文件系统，同时在数据表中记录文件id。我个人更倾向于用git，不知道这里会不会有什么坑？还请做过的朋友给个建议，谢谢！

Re: flink sql任务提交，sql一直只执行一个

目前我所了解的Flink SQL 触发任务提交的是execcuteSql()中的insert into 以及StatementSet.execute()。我之前将两个insert into 分为两个executeSql进行提交，结果结果出现上述效果，修改成StatementSet.execute()之后得到了想要的效果，不太清楚这两种有什么区别？暂记录一下，待以后分析。小白学Flink真是好多坑 package com.zallsteel.flink.app.log; import com.google.gson.Gson; import com.zallsteel.flink.uti

Re: flink作业版本管理实现方案探讨

观望～～我们目前的实现是采用数据库，数据库+一个专门提交作业的gateway程序 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink yarn application提交作业问题

使用了如下命令来提交flink作业到yarn上运行，结果出错。如果job jar路径改成本地的就没有问题。我已经将 flink-oss-fs-hadoop-1.12.0.jar 放到flink lib目录下面，并且在flink.conf配置文件中设置好了oss参数。试问，这种作业jar在远端的分布式文件系统flink难道不支持吗？ ./bin/flink run-application -t yarn-application \ -Dyarn.provided.lib.dirs="oss://odps-prd/rtdp/flinkLib" \ oss://odps-prd

Re:flink yarn application提交作业问题

./bin/flink run-application -t yarn-application \ -Dyarn.provided.lib.dirs="hdfs://localhost:9000/flinkLib" \ hdfs://localhost:9000/flinkJobs/TopSpeedWindowing.jar 这种命令执行方式是可以执行的。 在 2021-01-20 10:21:32，"casel.chen" 写道： >使用了如下命令来提交flink作业到yarn上运行，结果出错。如果job jar路径改成本地的就没有问题。

flinksql 将计算结果写入到hbase数据不一致

Hi All ! flink1.12，本地idea运行以下代码结果正确，但是将代码打包成jar发布到yarn上运行结果就不正确了,数据少了本来应该有325条结果只有一百多条，希望各位给点排查建议 以下是代码： public class FlinkTestDemo { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); Environment

Re: flink作业版本管理实现方案探讨

你们这个专门提交作业的gateway程序自己开发的吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink作业版本管理实现方案探讨

是的，参照了flink自带的作业提交流程思路，加入了定制逻辑 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink 上报到pushgateway到数据量太大了

主要原因是Flink SQL 上报对数据的task_name 太长了，比较吃资源，导致prometheus采集超时。 当前做法是修改org.apache.flink.metrics.prometheus.AbstractPrometheusReporter，对上报对task_name 进行截断。 Tianwang Li 于2021年1月19日周二 下午5:36写道： > 我在Flink 集成pushgateway到时候， > 运行几十个任务，pushgateway到内容就达到了几百万行，太恐怖了。 > 请问一下，大家有什么优化方案么？ > > -- > ***

Flink 1.11 SQL可以支持kafka动态分区发现么？

hi， 各位大神，请教下，1.11的sql作业，如何能实现动态分区发现呐？我在1.12的文档里发现有个参数可以设置，但是1.11的版本里貌似没有。想确认下能否支持？ -- 发自我的网易邮箱手机智能版

回复：Flink 1.11 SQL可以支持kafka动态分区发现么？

Hi,看下FlinkKafkaConsumerBase内有没有使用,有的话就是支持的 -- 发件人：sunfulin 发送时间：2021年1月20日(星期三) 14:40 收件人：user-zh 主　题：Flink 1.11 SQL可以支持kafka动态分区发现么？ hi， 各位大神，请教下，1.11的sql作业，如何能实现动态分区发现呐？我在1.12的文档里发现有个参数可以设置，但是1.11的版本里貌似没有。想确认下能否支持？ -- 发自我的网

Re:flink作业版本管理实现方案探讨

类似hive+hdfs/oss 等可以存文本文件到分布式文件系统，数据库里面就存放地址就行 在 2021-01-19 23:25:09，"casel.chen" 写道： >为支持作业上线评审和遇到问题进行版本回滚，实时计算平台中的flink作业版本管理采用哪种方案比较好？ >一种声音是用数据库来存，另一种声音是使用git来管理：一个作业对应一个repo，里面有作业sql或jar文件，作业参数和配置文件等。 >用数据库存的话作业文件比较割裂，像文本文件可以直接存表，但像jar包的话得存分布式文件系统，同时在数据表中记录文件id。我个人更倾向于用git，不知道这里会不会有什么坑？还请做过的朋友

Re:回复：Flink 1.11 SQL可以支持kafka动态分区发现么？

我看下这个源码，貌似是有这个参数。还不确定SQL ddl里配置会不会生效，回头验证下。 -- 发自我的网易邮箱手机智能版 - Original Message - From: "Shuai Xia" To: user-zh , sunfulin0321 Sent: Wed, 20 Jan 2021 14:42:36 +0800 Subject: 回复：Flink 1.11 SQL可以支持kafka动态分区发现么？ Hi,看下FlinkKafkaConsumerBase内有没有使用,有的话就是支持的 --

Re:答复: Re:Flink Jdbc sink写入多表如何实现

通过key 分成不同 view ，然后不同的view 写不同的表可以吧 在 2021-01-19 17:59:54，"范超" 写道： >我这边自己的做法是，根据不同的行为时间，将source拆流，然后一个事件对应一个sink >Sink的逻辑处理都是一致的，只不过配置的表不同。 > >-邮件原件- >发件人: hailongwang [mailto:18868816...@163.com] >发送时间: 2020年11月3日 星期二 0:21 >收件人: user-zh@flink.apache.org >主题: Re:Flink Jdbc sink写入多表如何实现 >

yarn per????????????rocksDB??????????localdir--v1.10.1

flinkLocal DB files directory XXX does not exist and cannot be created

??????yarn per????????????rocksDB??????????localdir--v1.10.1

?? RocksDBStateBackendlazyInitializeForJob rocksdb ?? yarn??yarnyarnroot?? ?? state.backend.rocksdb.localdir ?? yarn

??????yarn per????????????rocksDB??????????localdir--v1.10.1

?? RocksDBStateBackendlazyInitializeForJob rocksdb ?? yarn??yarnyarnroot?? ?? state.backend.rocksdb.localdir ?? yarn