补充一种使用Flink api提交方式,参考:https://github.com/todd5167/flink-spark-submiter。
任务提交、状态获取继承统一的接口,上层服务在引用时,通过spi的方式进行加载即可。
缺点:
- 需要对Flink client源码、类加载机制有了解。
优点:
- 良好的外部集成
- 不需要额外部署服务
--
Sent from: http://apache-flink.147419.n8.nabble.com/
好的,我先尝试使用一下,谢谢!
在 2021-06-13 10:43:12,"Jeff Zhang" 写道:
>如果不是native k8s的话,现在已经支持了,用remote模式就可以,
>https://www.yuque.com/jeffzhangjianfeng/gldg8w/engh3w
>native k8s的话,社区正在做,这是PR: https://github.com/apache/zeppelin/pull/4116
>
>
>casel.chen 于2021年6月13日周日 上午9:39写道:
>
>> 嗯,flink on
如果不是native k8s的话,现在已经支持了,用remote模式就可以,
https://www.yuque.com/jeffzhangjianfeng/gldg8w/engh3w
native k8s的话,社区正在做,这是PR: https://github.com/apache/zeppelin/pull/4116
casel.chen 于2021年6月13日周日 上午9:39写道:
> 嗯,flink on zeppelin也是一个不错的选择,只是因为现在flink on
>
嗯,flink on zeppelin也是一个不错的选择,只是因为现在flink on
zeppelin还不支持作业运行在kubernetes上,所以暂时还无法直接使用,未来支持后可以考虑引入。
谢谢大佬给的建议。
在 2021-06-13 07:21:46,"Jeff Zhang" 写道:
>另外一个选择是flink on zeppelin,可以调用flink on zeppelin的rest api,把zeppelin当做是flink
>job server, zeppelin天然支持flink 1.10之后的所有版本。钉钉群:32803524
>
另外一个选择是flink on zeppelin,可以调用flink on zeppelin的rest api,把zeppelin当做是flink
job server, zeppelin天然支持flink 1.10之后的所有版本。钉钉群:32803524
casel.chen 于2021年6月12日周六 下午5:56写道:
> 需求背景:
> 因为不同Flink版本SQL底层实现不相同,同一个带状态的Flink SQL作业目前跨版本升级社区还不支持。所以如果基于Flink
> SQL开发实时计算平台的话,平台需要支持不同Flink版本。早期的Flink
需求背景:
因为不同Flink版本SQL底层实现不相同,同一个带状态的Flink SQL作业目前跨版本升级社区还不支持。所以如果基于Flink
SQL开发实时计算平台的话,平台需要支持不同Flink版本。早期的Flink SQL作业用的是1.11,最新的Flink SQL作业采用的是1.13开发的。
而让平台支持不同Flink版本,我能想到有三种实现方案:
1. 平台直接调用 flink run 或 flink run-application 提交作业
优点:实现简单,每个flink版本都会带这个shell脚本