有木有好的经验或者方法分享一下,感谢。最近学的,感觉还是不系统。
Hi,
除了 Apache Flink 官方文件以外 [1],我個人也建議可以看看 Ververica 這一系列的 Flink training 題材:
https://training.ververica.com/
除此之外,學習過程中有遇到任何問題也歡迎可以直接發信件跟我們詢問。
- Gordon
[1] https://flink.apache.org/
On Thu, Feb 14, 2019 at 11:44 AM shen lei wrote:
> 有木有好的经验或者方法分享一下,感谢。最近学的,感觉还是不系统。
嘿,我这里使用flink on yarn中,经常报出异常,然后flink就自己关闭了。
里面具体的逻辑是从kafka中接收数据,然后按照enentTime中的window滑动窗口滑动,
窗口大小为1小时,滑动间隔是5秒。聚集数据后,就写到redis中。
一般运行了2个小时候,就报异常,然后就结束了任务。其中,jobmanager的日志中显
示为:
java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id
container_e23_1545597259276_0273_01_001220 timed o
Hi
可以考虑是否 taskmanager 的 GC 比较严重
Best,
Congxian
cousin-gmail 于2019年2月14日周四 下午2:34写道:
> 嘿,我这里使用flink on yarn中,经常报出异常,然后flink就自己关闭了。
>
> 里面具体的逻辑是从kafka中接收数据,然后按照enentTime中的window滑动窗口滑动,
> 窗口大小为1小时,滑动间隔是5秒。聚集数据后,就写到redis中。
>
> 一般运行了2个小时候,就报异常,然后就结束了任务。其中,jobmanager的日志中显
> 示为:
> java.util.concurre
好的,感谢指导
> 在 2019年2月14日,下午1:19,Tzu-Li (Gordon) Tai 写道:
>
> Hi,
>
> 除了 Apache Flink 官方文件以外 [1],我個人也建議可以看看 Ververica 這一系列的 Flink training 題材:
> https://training.ververica.com/
> 除此之外,學習過程中有遇到任何問題也歡迎可以直接發信件跟我們詢問。
>
> - Gordon
>
> [1] https://flink.apache.org/
>
> On Thu, Feb 14, 2019 at 11:44 AM