Flink如何实现Job间的协同联系？

大家好， 我这边想做一个实时数仓项目。但随着Flink间Job的数量越来越多，发现很多Job之间的代码存在大量的重复，且迫切需要一个类似于Batch的中间层解决方案来减少冗余，增加整体的清晰度和层次感。 我这边能想到的解决方案是：采用Kafka作为Job之间的联系纽带，例如有两个Job Job_1: 从原始kafka topic TOPIC_ORIG获取数据, 进行一定的业务逻辑处理后，写到另一个kafka topic, TOPIC_JOB_1_SINK 。注意 ① 需要实现一个retract kafka sink

答复: 关于在Flink-process中调用其他系统API的问题

Hi:大家好！ 关于在Flink-process中调用其他系统API的问题，已解决！ 感谢大家！ 发送自 Windows 10 版邮件应用 发件人: 季 鸿飞 发送时间: Monday, June 17, 2019 9:40:54 PM 收件人: user-zh@flink.apache.org 主题: 关于在Flink-process中调用其他系统API的问题 大家好：

Flink tps 速度问题

hello，各位大佬： 在做实时etl的时候，source（kafka）->map->filter->flatmap->map->sink(kafka)这样流程etl的时候，发现处理速度很慢，有什么好的方法提高处理速度。 有25个作业同时消费同一个topic（32个分区），会不会有性能问题？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink程序长期运行后报错退出 PartitionRequestQueue - Encountered error while consuming partitions

大家好： Flink应用，如以100笔/s的交易量向kafka写入数据（数据量不大），Flink程序接受并处理数据，涉及到 20个左右的 流表 Join 。和大量的异步操作读取hbase 维表。 运行1-2小时后，Flink应用停止运行并报错，(报错关键堆栈如下，省略部分为flink.shaded.netty部分的堆栈) 观察过内存未溢出，网络负载也不高。 不知道是啥原因，大家能帮忙看下吗？ 主要报错： ERROR org.apache.flink.runtime.io.network.netty.PartitionRequestQueue - Encountered error

关于在Flink-process中调用其他系统API的问题

大家好： 我在Broadcast广播流，单机模式下（idea运行）： connect().process(new function)方法中向其他业务系统请求数据，debug时发现，代码运行到请求数据那行的时候就不再往下运行了，就算参数错误也不会报错。 新的数据流进来也是阻塞在了那行代码那。 我在单独的Test.java 中是可行的，参数错误也会直接报错。 希望得到大家的帮助。 此致 敬礼 发送自 Windows 10 版邮件应用