退订
退订 | | lei-tian | | totorobabyf...@163.com |
退订
退订 | | lei-tian | | totorobabyf...@163.com |
退订
退订 | | totorobabyf...@163.com | | 邮箱:totorobabyf...@163.com |
取消订阅
取消订阅 | | totorobabyf...@163.com | | 邮箱:totorobabyf...@163.com |
检查点和保存点
您好: flink的如果读hbase或者读文件,可以设置检查点和保存点么,我设置的手动保存点停止显示成功,但是去hdfs上看的savepoint的文件大小为0.从保存点启动的话文件也会从头开始执行而不是接着上次的处理进度进行,只有kafka才能设置保存点和检查点么。 | | lei-tian | | totorobabyf...@163.com | 签名由网易邮箱大师定制
回复:flink作业的停止
我不是用的sql,但是也是同样的问题 | | totorobabyfans | | 邮箱:totorobabyf...@163.com | 签名由 网易邮箱大师 定制 在2021年10月20日 16:21,Kenyore Woo 写道: 我遇到过和你一模一样的问题。 如果你使用的也是Flink SQL,你可以在configuration中增加table.dml_sync=true的配置。这个配置对我有用。 详见TableEnvironment.executeInternal On Oct 20, 2021 at 09:06:54, lei-tian wrote: > Hi , yuepeng-pan: > 你好,我这边提交的是数据yarn的per-job的模式,Flink的UI界面上在任务running状态下可以看到jobmanager的日志和taskmanager的日志,任务finished或者failed后它会出现在UI界面上的Completed > Job List,同时左边的tm的点击去后已经没有相关信息,只有jm有相关信息, > 应该是JM资源没有被释放。 > > > | | > lei-tian > | > | > totorobabyf...@163.com > | > 签名由网易邮箱大师定制 > 在2021年10月19日 10:53,Yuepeng Pan 写道: > Hi, > lei-tian. > 基于你的描述,我推测(flink-1.10+)会存在这几种可能。 > 1. 使用了 > flink的yarn-session模式,然后进行了相应的作业提交。这种情况表现为,作业最终完成后,yarn中对应flink集群的taskmanager > container能够被释放掉,但是只是保留了Jobmanager组件的容器没有释放。在 flink的yarn-session模式 > 的部署方式中,这是正常的。 > 2. 不论是在flink yarn 的per-job部署模式或者yarn-session部署模式中,如果负责hbase source/sink的 > 算子与其他任意一种流模式的算子进行connect或者union等多流的计算,那么将会导致hbase > IO结束后,剩余的流式算子还是处于正常运行状态,这种情况下的大概表现为 yarn中 flink taskmanager > container和jobmanager container 都未释放。 > 3.其他。 > 如果作业所有的souce都是读取"批模式"的数据源,比如 mysql/hbase 而非包含kafka/pulsar等,那么你可以尝试flink on > yarn 的per-job的部署方式运行任务。 > > > > > 祝好。 > Roc > > > > > > > > > > > > 在 2021-10-18 21:31:21,"lei-tian" 写道: > 您好: > > 我用flink读取hbase或者文件的数据,读完数据之后页面显示状态为finished,但是这个任务在yarn上的资源还没有被释放,仍然在yarn的running列表里面,需要通过命令行kill掉这个任务,有什么解决的方法么。我没有设置batch或者streaming的模式,用的是默认的。 > > > | | > lei-tian > | > | > totorobabyf...@163.com > | > 签名由网易邮箱大师定制 >
回复:flink作业的停止
Hi , yuepeng-pan: 你好,我这边提交的是数据yarn的per-job的模式,Flink的UI界面上在任务running状态下可以看到jobmanager的日志和taskmanager的日志,任务finished或者failed后它会出现在UI界面上的Completed Job List,同时左边的tm的点击去后已经没有相关信息,只有jm有相关信息, 应该是JM资源没有被释放。 | | lei-tian | | totorobabyf...@163.com | 签名由网易邮箱大师定制 在2021年10月19日 10:53,Yuepeng Pan 写道: Hi, lei-tian. 基于你的描述,我推测(flink-1.10+)会存在这几种可能。 1. 使用了 flink的yarn-session模式,然后进行了相应的作业提交。这种情况表现为,作业最终完成后,yarn中对应flink集群的taskmanager container能够被释放掉,但是只是保留了Jobmanager组件的容器没有释放。在 flink的yarn-session模式 的部署方式中,这是正常的。 2. 不论是在flink yarn 的per-job部署模式或者yarn-session部署模式中,如果负责hbase source/sink的 算子与其他任意一种流模式的算子进行connect或者union等多流的计算,那么将会导致hbase IO结束后,剩余的流式算子还是处于正常运行状态,这种情况下的大概表现为 yarn中 flink taskmanager container和jobmanager container 都未释放。 3.其他。 如果作业所有的souce都是读取"批模式"的数据源,比如 mysql/hbase 而非包含kafka/pulsar等,那么你可以尝试flink on yarn 的per-job的部署方式运行任务。 祝好。 Roc 在 2021-10-18 21:31:21,"lei-tian" 写道: 您好: 我用flink读取hbase或者文件的数据,读完数据之后页面显示状态为finished,但是这个任务在yarn上的资源还没有被释放,仍然在yarn的running列表里面,需要通过命令行kill掉这个任务,有什么解决的方法么。我没有设置batch或者streaming的模式,用的是默认的。 | | lei-tian | | totorobabyf...@163.com | 签名由网易邮箱大师定制
flink作业的停止
您好: 我用flink读取hbase或者文件的数据,读完数据之后页面显示状态为finished,但是这个任务在yarn上的资源还没有被释放,仍然在yarn的running列表里面,需要通过命令行kill掉这个任务,有什么解决的方法么。我没有设置batch或者streaming的模式,用的是默认的。 | | lei-tian | | totorobabyf...@163.com | 签名由网易邮箱大师定制
Re:回复:Flink的api停止方式
因为要在代码里面判断是否停止的条件,停止的时候还是要在代码里面停止吧。 在 2021-10-11 09:06:17,"995626544" <995626...@qq.com.INVALID> 写道: >hi: >这个借助外部脚本应该比较容易实现吧。stop后再启动。 > > > >---原始邮件--- >发件人: "lei-tian"发送时间: 2021年10月11日(周一) 上午9:02 >收件人: "user-zh"主题: Flink的api停止方式 > > >您好: > >我这边现在有个flink读hbase的程序需要每天在固定的时间段内调用接口,然后如果在指定时间以外或者处理的数据量达到一个阈值的时候停止,在第二天的重复第一天的操作。现在有个问题,就是如何在代码里面可以像UI界面那样将jobcancel掉,而且第二天可以接着第一天的处理进度接着处理剩下的数据。有个savepoint的方案,需要jobid和applicationid但是目前好像在代码里面获取不到,有人有解决思路吗?
Flink的api停止方式
您好: 我这边现在有个flink读hbase的程序需要每天在固定的时间段内调用接口,然后如果在指定时间以外或者处理的数据量达到一个阈值的时候停止,在第二天的重复第一天的操作。现在有个问题,就是如何在代码里面可以像UI界面那样将jobcancel掉,而且第二天可以接着第一天的处理进度接着处理剩下的数据。有个savepoint的方案,需要jobid和applicationid但是目前好像在代码里面获取不到,有人有解决思路吗?