Re: Re: hive-exec依赖导致hadoop冲突问题

好的谢谢回复， 在指定hive版本为2.1.1时，我选择了在程序中导入hive-exec-2.1.1、flink-connector-hive_2.11-1.11.1依赖，可正常操作hive table； best, amenhub 发件人： Rui Li 发送时间： 2020-08-24 21:33 收件人： user-zh 主题： Re: hive-exec依赖导致hadoop冲突问题 Hi,

flink1.11 sql问题

flink1.11 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？

flink on yarn 提交作业application模式的2个疑问

1.flink on yarn 的application模式怎么提交多个job组成应用程序呢？在官网和论坛的文章中这里没有详细展开。 与per-job 模式相比，Application 模式允许提交由多个Job组成的应用程序。Job执行的顺序不受部署模式的影响，但受启动Job的调用的影响。使用阻塞的 execute()方法，将是一个顺序执行的效果，结果就是"下一个"Job的执行被推迟到“该”Job完成为止。相反，一旦提交当前作业，非阻塞executeAsync()方法将立即继续提交“下一个”Job。 怎么做到呢？

Re: Flink Couchbase

Thanks Yang that helped. Sent from my iPhone > On Aug 24, 2020, at 8:44 PM, Yang Wang wrote: > >  > I think at least you have two different exceptions. > > > java.lang.Exception: Container released on a *lost* node > This usually means a Yarn nodemanager is down. So all the containers

Re: flink 1.10 如何监控 Managed memory 使用量

这个问题已经有相关的邮件讨论 [1] 和 jira issue [2] 了。目前应该是在方案细节上还没有完全讨论清楚。 Thank you~ Xintong Song [1] http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/VOTE-FLIP-102-Add-More-Metrics-to-TaskManager-td37898.html [2] https://issues.apache.org/jira/browse/FLINK-14431 On Tue, Aug 25, 2020 at 11:45

回复: Re: 请问一下，flink 1.11 的cdc历史数据问题

Hi： Leonard Xu 感谢回复 > 2.debezium是通过jdbc查询源表的数据来加载全量的历史数据吗？ 这块会不会对数据库造成瞬时压力？ > 不会，不是直接查询源表，所以不会锁表，加载全量历史数据时只是读取binlog的一个offset 这里恰好是我的疑问，之前看debezium代码，没有找到使用jdbc加载全量历史数据的代码，debezium的snapshot看起来只是保存了表的schema变更记录，这样重新消费binlog时，可以为每条binlog数据找到正确schema，达到正确解析历史数据的目的。

Re: 答复: Flink on Yarn 启动任务，任务重启后貌似taskmanager中会丢失lib中的jar文件

如果是$FLINK_HOME/lib下面的文件，就一定会上传到hdfs上面，并且注册为LocalResource的 在JM/TM failover以后，是可以重新下载并且加载的 你可以把报ClassNotFound的JM/TM日志发出来，这样方便分析 Best, Yang xiao cai 于2020年8月25日周二 上午9:30写道： > Hi > >

Re: Flink Couchbase

I think at least you have two different exceptions. > java.lang.Exception: Container released on a *lost* node This usually means a Yarn nodemanager is down. So all the containers running on this node will be released and rescheduled to a new one. If you want to figure out the root cause, you

答复: How to sink invalid data from flatmap

Thanks a lot Jake for the quick response 发件人: Jake [mailto:ft20...@qq.com] 发送时间: 2020年8月25日 星期二 11:31 收件人: 范超 抄送: user 主题: Re: How to sink invalid data from flatmap Hi fanchao Yes. I suggest that. Jake On Aug 25, 2020, at 11:20 AM, 范超 mailto:fanc...@mgtv.com>> wrote: Thanks Jake. But can

[ANNOUNCE] Apache Flink 1.10.2 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.10.2, which is the first bugfix release for the Apache Flink 1.10 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming

[ANNOUNCE] Apache Flink 1.10.2 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.10.2, which is the first bugfix release for the Apache Flink 1.10 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming

Re: How to sink invalid data from flatmap

Hi fanchao Yes. I suggest that. Jake > On Aug 25, 2020, at 11:20 AM, 范超 wrote: > > Thanks Jake. But can I just want to implement the ouput-tag function in my > flatmap function not in the process function. I check the parameters for the > flatmap ,there is no ‘context’, so is it means I’ve

答复: How to sink invalid data from flatmap

Thanks Jake. But can I just want to implement the ouput-tag function in my flatmap function not in the process function. I check the parameters for the flatmap ,there is no ‘context’, so is it means I’ve to use process to rewrite my flatmap function? 发件人: Jake [mailto:ft20...@qq.com] 发送时间:

Re: flink on yarn配置问题

你确认upd_security这个queue是存在的吧，另外你Yarn集群的scheduler是capacityScheduler还是FairScheduler 如果是Fair的话，需要指定完整的queue名字，而不是叶子节点的 Best, Yang 赵一旦 于2020年8月24日周一 上午10:55写道： > 比如今天尝试了一波命令：./bin/yarn-session.sh -nm test_flink -q -qu upd_security -s 1 > -tm 3024MB -jm 3024MB > 同时我设置了 export HADOOP_USER_NAME=xxx >

答复: How to sink invalid data from flatmap

Thanks , Using the ctx.output() inside the process method solved my problem, but my custom flatmap function has to be retired? 发件人: Yun Tang [mailto:myas...@live.com] 发送时间: 2020年8月25日 星期二 10:58 收件人: 范超 ; user 主题: Re: How to sink invalid data from flatmap Hi Chao I think side output [1] might

Re: 报错 Could not resolve ResourceManager address akka.tcp://flink@hostname:16098/user/resourcemanager

是的，用的是yarn-session的方式提交的任务，日志有很多，我再查查日志 Xintong Song 于2020年8月25日周二 上午10:55写道： > 按你的描述，我理解是在 yarn 上起了一个 flink session，然后往这个 session > 里提交作业，一开始能正常提交运行，后来再作业开始出现问题？ > > 具体问题的原因还是要看日志才能确定，这个有可能是 ResourceManager，也有可能是 HA 或者 Akka 的问题，仅凭现象描述很难判断。 > > > Thank you~ > > Xintong Song > > > > On Tue, Aug

Re: 有没有可能使用tikv作为flink 分布式的backend

Hi TiKV 本身就是分布式的，多副本的，可以类比HBase，所以不是将其向Flink内置的state backend靠拢，而是向Flink读写HBase靠拢，这样若干写TiKV的Flink作业就做到了数据共享。 如果想将TiKV向Flink state-backend靠拢，TiKV本身的分布式架构，多副本机制，网络传输（而不是本地磁盘访问）都是缺点或者说不再必要存在的特性。 最后就会演化成现在Flink + RocksDB state-backend的架构，更何况TiKV就是基于RocksDB的，整体意义不是很大。 祝好 唐云

Re: How to sink invalid data from flatmap

Hi fanchao use side output, see[1] [1]https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/stream/side_output.html Jake > On Aug 25, 2020, at 10:54 AM, 范超 wrote: > > Hi, > I’m using the

Re: [DISCUSS] Remove Kafka 0.10.x connector (and possibly 0.11.x)

Hi Aljoscha, I'm lightly leaning towards keeping the 0.10 connector, for Kafka 0.10 still has a steady user base in my observation. But if we drop 0.10 connector, can we ensure the users would be able to smoothly migrate to 0.11 connector/universal connector? If I remember correctly, the

Re: How to sink invalid data from flatmap

Hi Chao I think side output [1] might meet your requirements. [1] https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/side_output.html Best Yun Tang From: 范超 Sent: Tuesday, August 25, 2020 10:54 To: user Subject: How to sink invalid data from

Re: 报错 Could not resolve ResourceManager address akka.tcp://flink@hostname:16098/user/resourcemanager

按你的描述，我理解是在 yarn 上起了一个 flink session，然后往这个 session 里提交作业，一开始能正常提交运行，后来再作业开始出现问题？ 具体问题的原因还是要看日志才能确定，这个有可能是 ResourceManager，也有可能是 HA 或者 Akka 的问题，仅凭现象描述很难判断。 Thank you~ Xintong Song On Tue, Aug 25, 2020 at 10:23 AM song wang wrote: > >

How to sink invalid data from flatmap

Hi, I’m using the custom flatmap function to validate the kafka json string message, if the kafka message is valid to transform to a pojo (using GSON), then go on with the next sink step. If it can not be parsed as a POJO, the GSON will throw the “com.google.gson.JsonSyntaxException”, and in

Re: flink taskmanager 因为内存超了container限制 被yarn kill 问题定位

首先，TaskManager 因为内存超用被杀，只能是 native 内存造成的。因为 flink 指定了 jvm 的 xmx 参数，heap 内存是不可能出现超用的，如果内存不足只会出现 OOM。所以你去排查 heap dump 这个方向是有问题的。 解决思路应该是调大 containerized.heap-cutoff-ratio，这个参数的含义是在 yarn container 中留出一定比例的 native 内存，让 jvm 只去使用剩余部分的内存。这些 native 主要用于：java native 方法调用、jvm 自身开销（类元数据、线程栈等）、rocksdb。flink

Re: flink 1.10 如何监控 Managed memory 使用量

目前 flink webui 上 taskmanager metrics 的展示是有问题的，metrics 无法很好地对应到 taskmanager 内存模型中的各个部分。关于这一问题，社区也在讨论接下来的优化方案，可以参考一下 FLIP-112。 关于 managed memory，如你所说，是不在上述的 metrics 中的。 监控 managed memory 的用量其实不是很有必要： - 对于批处理，不管配置了多少 managed memory 都会被用掉。算子会根据 managed memory 的大小决定申请多大的缓存，不会有内存浪费不用的情况。 -

Re: flink on yarn默认GC的问题

了解了，谢谢 Xintong Song 于2020年8月25日周二 上午9:59写道： > taskmanager.sh 是 standalone 模式使用的启动脚本。docker 模式和老的 kubernetes session > 模式本质上也可以看做是 standalone 模式，也会用到这些脚本。 > 而 yarn 和新的 native kubernetes 则都是由 client 向集群提交应用的时候指定启动命令，默认是没有指定的 GC > collector 的。 > > Thank you~ > > Xintong Song > > > > On Mon, Aug

flink-sql-gateway的安全与多租

flink-sql-gateway当前只支持ssl这一种认证方式。   1.我们希望拓展它的认证方式，jdbc客户端使用kerberos与flink-sql-gateway进行认证，flink-sql-gateway侧使用认证后对应的kerberos用户来提交任务，以进一步实现flink-sql-gateway的多租户能力。这个想法是否可行？    

Re: 报错 Could not resolve ResourceManager address akka.tcp://flink@hostname:16098/user/resourcemanager

你好，这个报错是任务启动了很长一段时间后才发生的，之前一直正常运行，出现这个报错后就提交不了任务了，感觉是ResourceManager出现了问题，ResourceManager有可能自己死掉吗？ 另外，这个现场还没有关掉，有什么办法排查下jobmaster和ResourceManager是否正常吗？ Xintong Song 于2020年8月25日周二 上午9:46写道： > 从日志上看是 JobMaster 连不上 ResourceManager。这两个组件应该是在同一个进程内的，通过 akka 进行本地通信。 > 需要看下完整的日志，RM 是否成功启动并注册到了 akka 的

Re: 请问一下，flink 1.11 的cdc历史数据问题

Hello > Flink1.11 的cdc是支持加载历史数据的，有两个问题想求证一下： > 1.底层是使用了debezium来加载历史数据的吗？ Flink支持两种CDC格式，debezium json和 canal json， debezium 和 canal都是CDC系统，简单说他们可以把数据库表的binlog以对应的json写入到消息队列如Kafka， 作为下游系统的Flink 支持去消费对应的cdc数据，两个CDC工作都支持加载历史数据的。 另外Jark 在Veverica 开源了一个Flink CDC connector

Re: flink on yarn默认GC的问题

taskmanager.sh 是 standalone 模式使用的启动脚本。docker 模式和老的 kubernetes session 模式本质上也可以看做是 standalone 模式，也会用到这些脚本。 而 yarn 和新的 native kubernetes 则都是由 client 向集群提交应用的时候指定启动命令，默认是没有指定的 GC collector 的。 Thank you~ Xintong Song On Mon, Aug 24, 2020 at 5:26 PM shizk233 wrote: > Hi all, > >

Re: flink1.11 sql api使用per job模式提交后，客户端退出

如果是通过TableEnvironment#execute方法提交需要设置execution.attached=true, 或者是通过flink cli的 加上-d 如果是通过TableEnvironment#executeSql方法提交，需要代码里显示的等待作业结束： TableResult tableResult = tEnv.executeSql(xxx); // wait job finished

Re: Setting job/task manager memory management in kubernetes

Hi, You need to define them in "flink-configuration-configmap.yaml". Please also make sure you've created the config map by executing "kubectl create -f flink-configuration-configmap.yaml". [1] https://ci.apache.org/projects/flink/flink-docs-release-1.9/ops/deployment/kubernetes.html Best,

Re: flink1.10以后，task堆外内存什么时候使用？

应该是在用户代码使用堆外内存的时候指定 flink 框架的堆外内存是涵盖在 taskmanager.memory.framework.off-heap.size Thank you~ Xintong Song On Mon, Aug 24, 2020 at 4:27 PM caozhen wrote: > 如题，想问下大家task堆外内存设置规则(taskmanager.memory.task.off-heap.size) > > 1、是用户代码中指定了使用堆外内存吗？ > 2、还是flink框架中在某种情况下使用堆外内存？ > > > > -- > Sent from:

Re: 报错 Could not resolve ResourceManager address akka.tcp://flink@hostname:16098/user/resourcemanager

从日志上看是 JobMaster 连不上 ResourceManager。这两个组件应该是在同一个进程内的，通过 akka 进行本地通信。 需要看下完整的日志，RM 是否成功启动并注册到了 akka 的 actor system，以及注册的路径是否和 JM 尝试连接的路径一致。 Thank you~ Xintong Song On Mon, Aug 24, 2020 at 3:41 PM song wang wrote: > 各位老哥， flink >

flink1.11 sql api使用per job模式提交后，客户端退出

flink1.11 sql api使用per job模式提交后，客户端退出，程序在yarn正常运行，客户端与yarn断开连接，与有没有办法不让客户端断开？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.11 sql api使用per job模式提交后，客户端退出

flink1.11 sql api使用per job模式提交后，客户端退出，程序在yarn正常运行，客户端与yarn断开连接，与有没有办法不让客户端断开？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink kafka 分区问题

大佬们，有个问题一直不理解 1.FlinkKafkaProducer 往 kafka 中写数据时 kafka 有10分区，现在使用 round-robin 的方式进行分区，每个 task 都会轮循的写下游的所有 partition 为什么10分区的产生的偏移量会出现偏差。 2.多流join 数据偏移，如何修复 3.flink sql 能否repartition

Re: 答复: Flink on Yarn 启动任务，任务重启后貌似taskmanager中会丢失lib中的jar文件

Hi 确实可以稳定复现，failover后就会出现找不到lib包中的jar文件里的class文件，只能重启。不过我是cli模式启动的on-yarn，没有试过per-job和application，计划这两天尝试下application指定jar包地址到hdfs上，看是否能够复现。 Best, xiao cai 原始邮件 发件人: Congxian Qiu 收件人: user-zh 发送时间: 2020年8月24日(周一) 20:39 主题: Re: 答复: Flink on Yarn 启动任务，任务重启后貌似taskmanager中会丢失lib中的jar文件 Hi

Re: 请问一下，flink 1.11 的cdc历史数据问题

应该是。通过源码可以知道flink-json目前支持2种内置json格式的解析，一个是canal，一个是debezium。 具体可参考： org.apache.flink.formats.json.canal.CanalJsonDeserializationSchema 和 org.apache.flink.formats.json.debezium.DebeziumJsonDeserializationSchema 在 2020/8/24 17:27, dixingxin...@163.com 写道: Hi all： Flink1.11

Re: Flink checkpointing with Azure block storage

Thanks Plyush, The thing that I was missing is this. Now it all works > On Aug 24, 2020, at 2:44 PM, Piyush Narang wrote: > > We had something like this when we were setting it in our code (now we’re > passing it via config). There’s likely a better /cleaner way: > private def

Re: Flink Couchbase

Actually got this message in rolledover container logs: [org.slf4j.impl.Log4jLoggerFactory] Exception in thread "cb-timer-1-1" java.lang.OutOfMemoryError: Metaspace Exception in thread "Thread-16" java.lang.OutOfMemoryError: Metaspace Exception in thread "TransientBlobCache shutdown hook"

Flink Couchbase

Hi Team, Running a flink job on Yarn, I am trying to make connections to couchbase DB in one of my map functions in Flink Streaming job. But my task manager containers keep failing and keep assigning new containers and not giving me an opportunity to get any useful logs. val cluster =

Re: Flink checkpointing with Azure block storage

We had something like this when we were setting it in our code (now we’re passing it via config). There’s likely a better /cleaner way: private def configureCheckpoints(env: StreamExecutionEnvironment, checkpointPath: String): Unit = { if

Re: Debezium Flink EMR

Thank you so much for the help! On Mon, Aug 24, 2020 at 4:08 AM Marta Paes Moreira wrote: > Yes — you'll get the full row in the payload; and you can also access the > change operation, which might be useful in your case. > > About performance, I'm summoning Kurt and @Jark Wu to > the thread,

回复：流处理任务中checkpoint失败

看了日志，是由于部分checkpoint 超时未完成，web界面上 iteration source的checkpoint始终无法完成。 官方文档对于在iterative stream的checkpoint没有更详细的说明。对于loop中的数据丢失可以理解。但是checkpoint无法成功不是特别能理解。 按照我对于chandylamport算法的理解，上游operator的barrier应该是直接给到了下游 ，不应该存在无法拿到barrier的情况才对。不知道这是什么原因导致的 ---原始邮件--- 发件人: "Congxian

Re: How jobmanager and task manager communicates with each other ?

++d...@flink.apache.org On Mon, Aug 24, 2020, 7:31 PM sidhant gupta wrote: > Hi User > > How jobmanager and task manager communicates with each other ? How to set > connection between jobmanager and task manager running in different/same > ec2 instance ? Is it http or tcp ? How the service

Flink OnCheckpointRollingPolicy streamingfilesink

Hi Team, Bulk Formats can only have `OnCheckpointRollingPolicy`, which rolls (ONLY) on every checkpoint. *.withRollingPolicy(OnCheckpointRollingPolicy.build())* Question: What are recommended values related to checkpointing to fsstate, should it be more frequent checkpoints, or longer

[DISCUSS] Remove Kafka 0.10.x connector (and possibly 0.11.x)

Hi all, this thought came up on FLINK-17260 [1] but I think it would be a good idea in general. The issue reminded us that Kafka didn't have an idempotent/fault-tolerant Producer before Kafka 0.11.0. By now we have had the "modern" Kafka connector that roughly follows new Kafka releases for

How jobmanager and task manager communicates with each other ?

Hi User How jobmanager and task manager communicates with each other ? How to set connection between jobmanager and task manager running in different/same ec2 instance ? Is it http or tcp ? How the service discovery works ? Thanks Sidhant Gupta

Idle stream does not advance watermark in connected stream

Hi all, We are testing the new Idleness detection feature in Flink 1.11, however, it does not work as we expected: When we connect two data streams, of which one is idle, the output watermark CoProcessOperator does not increase, hence the program cannot progress. I've made a small project to

Re: flink-sql-gateway还会更新吗

我们会在这周让flink-sql-gateway支持1.11，请关注 另外，sql-client支持gateway模式，据我所知目前还没计划。 shougou <80562...@qq.com> 于2020年8月24日周一 上午9:48写道： > 也有同样的问题，同时也问一下，sql client 计划在哪个版本支持gateway模式？多谢 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink log4j2 问题

检查一下log4j2相关的版本，参考[1] [1] https://stackoverflow.com/questions/50970960/facing-issue-with-log4j2-java-lang-exceptionininitializererror guaishushu1...@163.com 于2020年8月24日周一 上午11:18写道： > SQL提交会出现这种问题？？？ > Caused by: java.lang.IllegalArgumentException: Initial capacity must be at > least one but

Re: hive-exec依赖导致hadoop冲突问题

Hi, hive-exec本身并不包含Hadoop，如果是因为maven的传递依赖引入的话可以在打包时去掉。运行时使用的Hadoop版本可以用你集群Hadoop版本，而不是hive本身依赖的Hadoop版本。另外对于Flink 1.11也可以考虑使用官方提供的flink-sql-connector-hive Uber jar，这个jar包含所有hive的依赖（Hadoop的依赖还是需要另外添加）。更详细的信息建议参考文档 [1][2]。 [1]

回复: hive-exec依赖导致hadoop冲突问题

补充一下，当我移除hive-exec等程序中的hadoop依赖时，任务依旧异常，所以也许是我哪个地方没有到位，觉得依赖冲突是因为在测试hive集成之前，我提交过到yarn执行并无异常，所以排查思路来到了hive这里， 现在看来，可能是另外某个原因导致的，贴一点点异常栈如下： Caused by: org.apache.flink.client.deployment.ClusterDeploymentException: Could not deploy Yarn job cluster. at

?????? flink taskmanager ????????????container???? ??yarn kill ????????

flink??blink flink 1.11 , flink 1.11 ??. ---- ??:

Re: Flink任务写入kafka 开启了EOS，statebackend为rocksdb，任务反压source端日志量堆积从cp恢复失败

Hi 这个文件不存在的话，应该是这次 checkpoint 没有成功完成，这样从这次 checkpoint 恢复的时候是会失败的。现在社区暂时只支持 stop with savepoint，如果想从 checkpoint 恢复的话，只能够从之前生成的 checkpoint 恢复，如果 checkpoint 生成了有一段时间之后，重放的数据会有些多，之前社区有一个 issue FLINK-12619 尝试做 stop with checkpoint（这样能够减少重放的数据），如果有需求的话，可以在 issue 上评论 Best, Congxian Yang Peng

hive-exec依赖导致hadoop冲突问题

hi, everyone 组件版本：flink-1.11.1，hive-2.1.1 问题描述： 使用Table API调用executeSql()方法编写kafka2mysql实时程序demo，在未导入hive-exec依赖时，打包提交到yarn集群，正常运行； 当测试HiveCatalog及读写Hive Table时，Standalone Cluster运行无异常，在flink端正常读写hive table（不会发生hadoop依赖冲突）；

Re: 答复: Flink on Yarn 启动任务，任务重启后貌似taskmanager中会丢失lib中的jar文件

Hi 理论上第一次能启动，后续的 failover 也应该是可以正常恢复的。你这边是稳定复现吗？如果能够稳定复现的话，有可能是 bug Best, Congxian xiao cai 于2020年8月20日周四 下午2:27写道： > Hi： > 感谢答复，确实是个思路。 > > 不过个人感觉能够在启动第一个container的时候，将本地的lib中的jar文件上传到hdfs中，然后后续的failover的container能够统一从hdfs中获取，这样应该就不会有这个问题了。貌似社区在1.11版本针对jar的拷贝做了优化，我还在看这方面的内容。有进展再交流。 > > >

Re: 增量che ckpoint

Hi 分享一篇讲解增量 checkpoint 的文章[1] [1] https://ververica.cn/developers/manage-large-state-incremental-checkpoint/ Best, Congxian Yun Tang 于2020年8月21日周五 上午12:09写道： > Hi > > 增量checkpoint与web界面的信息其实没有直接联系，增量checkpoint的信息记录由CheckpointCoordinator中的SharedStateRegistry[1] > 进行计数管理，而保留多少checkpoint则由

Re: 关于flink 读取 jdbc报错详情，序列化报错

Hi 从报错看 CountDownLatch 这个方法无法 serializable，这个 class 没有实现 Serializable 接口。你可以按照这里的方法[1] 尝试解决下 [1] https://stackoverflow.com/questions/4551926/java-io-notserializableexception-while-writing-serializable-object-to-external-s/4552014 Best, Congxian 引领 于2020年8月24日周一 下午3:34写道： > > 使用场景：FLink

Re: flink taskmanager 因为内存超了container限制 被yarn kill 问题定位

Hi 比较好奇你为什么在 Blink 分支做测试，而不是用最新的 1.11 做测试呢？ Best, Congxian 柯四海 <2693711...@qq.com> 于2020年8月24日周一 下午5:58写道： > Hi 大家好， > 我用github上Blink分支(1.5)编译的flink来运行一些实时任务，发现Taskmanager > 因为内存超了container限制被yarn kill. > 有没有人有比较好的问题定位方案？ > > 尝试过但是还没有解决问题的方法： > 1. 尝试增加taskmanager内存 > 修改： 从8G 提高到

Re: 流处理任务中checkpoint失败

Hi 从报错 ”Exceeded checkpoint tolerable failure threshold“ 看，你的 checkpoint 有持续报错，导致了作业失败，你需要找一下为什么 checkpoint 失败，或许这篇文章[1] 可以有一些帮助 另外从配置看，你开启了 unalign checkpoint，这个是上述文章中暂时没有设计的地方。 [1] https://zhuanlan.zhihu.com/p/87131964 Best, Congxian Robert.Zhang <173603...@qq.com> 于2020年8月21日周五

Re: 有没有可能使用tikv作为flink 分布式的backend

Hi StateBackend 可以理解为 一个 KV 存储加上一个 snapshot 过程，其中 snapshot 过程负责将当前 KV 存储的数据进行备份。理论上任何的 KV 存储都是有可能作为 StateBackend 的，不过增加一种 StateBackend 的话，需要实现相应的 snapshot/restore 逻辑。 但是在多个 Flink 作业中实现共享的 state 这个在 Flink 中是不支持的。 Best, Congxian wxpcc 于2020年8月21日周五 下午6:33写道： > 项目里有部分需要进行状态共享的需求，多个flink

Re: Setting job/task manager memory management in kubernetes

Hi, Sakshi Could you provide more information about: - What is the Flink version you are using? "taskmanager.heap.size" is deprecated since 1.10[1]. - How do you deploy the cluster? In the approach of native k8s[2] or the standalone k8s[3]? [1]

Why consecutive calls of orderBy are forbidden?

Hi, all. I tried calling two consecutive orderBy for a Table, but got an exception. Can anyone explain why this happens? In my mind, orderBy should be able to be called by any Tables. But obviously, it is not with no explanation. Here is a simplified version of code: Table table =

Re: Debezium Flink EMR

Yes — you'll get the full row in the payload; and you can also access the change operation, which might be useful in your case. About performance, I'm summoning Kurt and @Jark Wu to the thread, who will be able to give you a more complete answer and likely also some optimization tips for your

Re: Watermark generation issues with File sources in Flink 1.11.1

Hi Arti, what exactly do you mean by "checkpoints do not work"? Are there exceptions being thrown? How are you writing your file-based sources, what API methods are you using? Best, Aljoscha On 20.08.20 16:21, Arti Pande wrote: Hi Till, Thank you for your quick response. Both the

Setting job/task manager memory management in kubernetes

Hello, I am trying to set the heap size of job and task manager when deploying the job in kubernetes. I have set the jobmanager.heap.size and taskmanager.heap.size. However, the custom values are not being used and it is creating its own values and starting the job. How can I set custom values?

flink taskmanager ????????????container???? ??yarn kill ????????

Hi github??Blink(1.5)??flinkTaskmanager container??yarn kill. 1. taskmanager ?? ??8G ?? 36G, state back ??fileSystem RocksDB.

Re: Ververica Flink training resources

Piper, I'm happy to know that the exercises are working for you. > The new exercises are running well but I could not adjust the > servingspeedfactor to speed up the serving of data events. I'm guessing > this feature was removed in the new repo. > That's right. The feature of adjusting the

flink 1.10 ???????? Managed memory ??????

flink 1.10 metric??Heap??NonHeap??Direct ?? Mapped??Managed memory?? ??Managed memory ps?? ?? Managed memory Managed memory??

Re: AWS EMR deployment error : NoClassDefFoundError org/apache/flink/api/java/typeutils/ResultTypeQueryable

Thanks Prasanna and Chesnay. Changing the dependency scope worked and I also had to add a maven shaded plugin transformer to resolve another error. On Fri, Aug 21, 2020 at 11:38 PM Prasanna kumar < prasannakumarram...@gmail.com> wrote: > Manas, > > One option you could try is to set the scope in

Re: [DISCUSS] FLIP-134: DataStream Semantics for Bounded Input

Thanks a lot for the discussion! I will open a voting thread shortly! Kostas On Mon, Aug 24, 2020 at 9:46 AM Kostas Kloudas wrote: > > Hi Guowei, > > Thanks for the insightful comment! > > I agree that this can be a limitation of the current runtime, but I > think that this FLIP can go on as

请问一下，flink 1.11 的cdc历史数据问题

Hi all： Flink1.11 的cdc是支持加载历史数据的，有两个问题想求证一下： 1.底层是使用了debezium来加载历史数据的吗？ 2.debezium是通过jdbc查询源表的数据来加载全量的历史数据吗？ 这块会不会对数据库造成瞬时压力？ 希望能帮忙解答一下，谢谢。 Best, Xingxing Di

flink on yarn默认GC的问题

Hi all, 请教一下，flink自从1.10开始默认GC就是G1了，在taskmanager.sh脚本中也能看到。 在*默认设置*下，能观察到本地flink使用的G1，但on yarn运行时却发现使用的是PS，想请教下这是为什么？是yarn会对应用有一些默认设置吗？ 我搜索了一些相关资料，但仍然没有搞清楚这是怎么回事，希望有了解的朋友帮忙解答下。感谢！ 备注：我可以通过在flink-conf.yaml中设置env.java.opts: -XX:+UseG1GC来使flink on yarn也使用G1。

flink1.10以后，task堆外内存什么时候使用？

如题，想问下大家task堆外内存设置规则(taskmanager.memory.task.off-heap.size) 1、是用户代码中指定了使用堆外内存吗？ 2、还是flink框架中在某种情况下使用堆外内存？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 请教 hive streaming 报错

hive相关的依赖是怎么添加的啊？这两个类的package名字是一样的，按说可以访问。不确定是不是因为通过不同的classloader加载导致的。 On Mon, Aug 24, 2020 at 2:17 PM McClone wrote: > 版本为：Flink 1.11.0 > > > 2020-08-24 13:33:03,019 ERROR > org.apache.flink.runtime.webmonitor.handlers.JarRunHandler [] - Unhandled > exception. > >

Re: Performance issue associated with managed RocksDB memory

The issue can be reproduced by using a certain combinations of the value of RocksDBOptions.WRITE_BUFFER_RATIO (default 0.5) and the Flink job parallelism. Examples that break: * Parallelism 1 and WRITE_BUFFER_RATIO 0.1 * Parallelism 5 and the default WRITE_BUFFER_RATIO 0.5 Examples that work: *

Re: flink 1.11.1 与HDP3.0.1中的hive集成，查询不出hive表数据

hive3.0默认就是事务表，建表语句加上 TBLPROPERTIES('transactional'='false') 在 2020/8/24 15:43, 黄蓉 写道: 感谢各位：    我已经找到问题的原因了，是因为HDP3.0.1中的Hive3.1.0默认开启了事务，而Flink 1.11.0写入和读取hive表应该是暂时不支持事务的。所以两者不兼容。我把Hive中事务相关的设置都关闭之后就正常了。 Jessie jessie...@gmail.com -- Original Message -- From:

Re: [DISCUSS] FLIP-134: DataStream Semantics for Bounded Input

Hi Guowei, Thanks for the insightful comment! I agree that this can be a limitation of the current runtime, but I think that this FLIP can go on as it discusses mainly the semantics that the DataStream API will expose when applied on bounded data. There will definitely be other FLIPs that will

Re[2]: flink 1.11.1 与HDP3.0.1中的hive集成，查询不出hive表数据

感谢各位： 我已经找到问题的原因了，是因为HDP3.0.1中的Hive3.1.0默认开启了事务，而Flink 1.11.0写入和读取hive表应该是暂时不支持事务的。所以两者不兼容。我把Hive中事务相关的设置都关闭之后就正常了。 Jessie jessie...@gmail.com -- Original Message -- From: "taochanglian" To: user-zh@flink.apache.org Sent: 8/24/2020 5:28:56 AM Subject: Re: flink 1.11.1

报错 Could not resolve ResourceManager address akka.tcp://flink@hostname:16098/user/resourcemanager

各位老哥， flink 运行在yarn上，偶尔报错无法解析ResourceManager地址，可是从对应的host上查找是有flink进程的，请问是什么原因呢？ flink 版本1.9.0 部分日志如下： ``` 2020-08-24 15:11:31,566 INFO org.apache.flink.runtime.jobmaster.JobMaster - Could not resolve ResourceManager address akka.tcp://flink@hostname:16098/user/resourcemanager,

关于flink 读取 jdbc报错详情，序列化报错

使用场景：FLink 1.11.1 读取mysql，一直报序列化错误，但感觉需要序列化的bean对象已经序列化，实在百思不得其解，前来求教各位大佬！！！ 代码再附件！！！ Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: java.util.concurrent.CountDownLatch@45ca843[Count = 2] is not serializable. The object probably contains or references non

Re: flink1.11 cdc使用

好的，感谢 china_tao 于2020年8月24日周一 下午12:21写道： > 支持。 > insert into mysqlresult select k.vin,k.msgtime,d.brand_name from (SELECT > vin,max(msgtime) as msgtime,max(pts) as pts from kafkaSourceTable group by > TUMBLE(rowtime, INTERVAL '10' SECOND),vin) AS k left join msyqlDimTable > FOR > SYSTEM_TIME

Re: [DISCUSS] FLIP-134: DataStream Semantics for Bounded Input

Hi, Klou Thanks for your proposal. It's a very good idea. Just a little comment about the "Batch vs Streaming Scheduling". In the AUTOMATIC execution mode maybe we could not pick BATCH execution mode even if all sources are bounded. For example some applications would use the

Re: ERROR : RocksDBStateBackend

Great to hear that you fixed the problem! Cheers, Till On Mon, Aug 24, 2020 at 2:53 AM Vijayendra Yadav wrote: > Thank You Till. I had an old hadoop version dependency in one of the > dependent jars causing conflict. > > On Fri, Aug 21, 2020 at 12:24 AM Till Rohrmann > wrote: > >> Hi Vijay,

Re:Re: Re: 如何设置FlinkSQL并行度

Hi 本超， 感谢你的回复，这个地方的代码我们确实改动过，官方代码的行为是正常的。非常感谢！ > 目前 Flink SQL 我这边使用也是无法指定各个算子的并行度。 > 1.并行度超过 topic partition 的时候会造成资源浪费 > 2.并行度超过 topic partition 后，checkpoint 也无法正常触发了 其中第二个问题是我们自己改动官方 Flink 源码造成的。 Best forideal 在 2020-08-22 11:37:20，"Benchao Li" 写道： >Hi forideal， >

请教 hive streaming 报错

版本为：Flink 1.11.0 2020-08-24 13:33:03,019 ERROR org.apache.flink.runtime.webmonitor.handlers.JarRunHandler [] - Unhandled exception. java.lang.IllegalAccessError: tried to access class org.apache.flink.streaming.api.functions.sink.filesystem.DefaultBucketFactoryImpl from class