可以分离,客户端提交的时候,初始化是在客户端上完成的,JobGraph 提交到
JobManager 之后不需要配置文件了
-邮件原件-
发件人: user-zh-return-797-wxchunjhyy=163@flink.apache.org
代表
jinxiaolong_al...@163.com
发送时间: Saturday, August 10, 2019 12:33 AM
收件人: user-zh
主题: Flink命令提交任务时是否支持配置文件与任务jar包分离
各位社区大佬:
并不是没条消息会触发watermark,而是有一定时间间隔的,默认是200ms触发一次watermark。
当你的数据来的比较集中的时候,经常会发生最新的消息的时间戳已经过了window end,但是window还没fire的情况。
-邮件原件-
发件人: Ever <439674...@qq.com>
发送时间: Sunday, July 14, 2019 5:00 PM
收件人: user-zh
主题: 回复: flink 1.8.1 时间窗口无法关闭以及消息丢失的问题
第四条数据来的时间戳是: 03:17:55, 水印时间这时候应该是03:17:50,
你好,谢谢,图片显示确实有问题,不过没关系,图片不是很重要。
pengcheng...@bonc.com.cn
发件人: Xintong Song
发送时间: 2019-08-09 20:09
收件人: user-zh
主题: Re: 有一些TaskManager的slot不可用,尽管没有任务正在运行
Hi,
邮件中的图片显示不出来。Flink邮件列表的图片附件是有点问题的,如果是截图最好上传到其他地方然后把链接贴出来。
Thank you~
Xintong Song
On Fri, Aug 9, 2019 at 10:06 AM
Flink 编译的默认 Scala 版本是 2.11.x,你可以试着把 Scala 版本切换成 2.11.x 再编译一下。
Best,
tison.
苟刚 于2019年8月10日周六 下午11:08写道:
>
>
>
> Hi,All:
>
>
> 我再尝试编译flink 1.7的源码时,遇到如下错误,本人对scala不是很了解,不知道是不是版本问题引起,另外可以去掉sacla模块编译吗:
> 本机scala版本:2.13.0
> JDK 版本: 1.8.0_91
> [ERROR] Failed to execute goal
>
异常原因如上所说是 akka ask timeout 的问题,这个问题前两天有人在部署 k8s 的时候也遇过[1]
他的情况是配置资源过少导致 JM 未能及时响应。除了调整上述参数外也可看看是不是这个问题。
Best,
tison.
[1]
https://lists.apache.org/thread.html/84db9dca2e990dd0ebc30aa35390ac75a0e9c7cbfcdbc2029986d4d7@%3Cuser-zh.flink.apache.org%3E
Biao Liu 于2019年8月8日周四 下午8:00写道:
> 你好,
>
>
你好:
感谢你的回答,使用配置中心托管配置是可以解决这个问题。
其实我提问的初衷是想确认下flink自身在应用或部署层面上有没有相关的能力或使用技巧解决这个问题,或者是不是后续的演进已经考虑这方面的问题,
可能我还不知道,求社区大佬们指点。
我在用的版本是1.7.2
jinxiaolong_al...@163.com
发件人: huanqinghappy
发送时间: 2019-08-11 00:48
收件人: user-zh
主题: 回复:Flink命令提交任务时是否支持配置文件与任务jar包分离
你好:
是不是可以直接使用配置中心