退订
| |
lei-tian
|
|
totorobabyf...@163.com
|
退订
| |
lei-tian
|
|
totorobabyf...@163.com
|
退订
| |
totorobabyf...@163.com
|
|
邮箱：totorobabyf...@163.com
|
取消订阅
| |
totorobabyf...@163.com
|
|
邮箱：totorobabyf...@163.com
|
您好：
flink的如果读hbase或者读文件，可以设置检查点和保存点么，我设置的手动保存点停止显示成功，但是去hdfs上看的savepoint的文件大小为0.从保存点启动的话文件也会从头开始执行而不是接着上次的处理进度进行，只有kafka才能设置保存点和检查点么。
| |
lei-tian
|
|
totorobabyf...@163.com
|
签名由网易邮箱大师定制
我不是用的sql，但是也是同样的问题
| |
totorobabyfans
|
|
邮箱：totorobabyf...@163.com
|
签名由 网易邮箱大师 定制
在2021年10月20日 16:21，Kenyore Woo 写道：
我遇到过和你一模一样的问题。
如果你使用的也是Flink SQL，你可以在configuration中增加table.dml_sync=true的配置。这个配置对我有用。
详见TableEnvironment.executeInternal
On Oct 20, 2021 at 09:06:54, lei-tian wrote:
>
Hi , yuepeng-pan:
你好，我这边提交的是数据yarn的per-job的模式，Flink的UI界面上在任务running状态下可以看到jobmanager的日志和taskmanager的日志，任务finished或者failed后它会出现在UI界面上的Completed
Job List，同时左边的tm的点击去后已经没有相关信息，只有jm有相关信息，
应该是JM资源没有被释放。
| |
lei-tian
|
|
totorobabyf...@163.com
|
签名由网易邮箱大师定制
在2021年10月19日 10:53，Yuepeng Pan 写道：
Hi,
lei
您好：
我用flink读取hbase或者文件的数据，读完数据之后页面显示状态为finished，但是这个任务在yarn上的资源还没有被释放，仍然在yarn的running列表里面，需要通过命令行kill掉这个任务，有什么解决的方法么。我没有设置batch或者streaming的模式，用的是默认的。
| |
lei-tian
|
|
totorobabyf...@163.com
|
签名由网易邮箱大师定制
因为要在代码里面判断是否停止的条件，停止的时候还是要在代码里面停止吧。
在 2021-10-11 09:06:17，"995626544" <995626...@qq.com.INVALID> 写道：
>hi:
>这个借助外部脚本应该比较容易实现吧。stop后再启动。
>
>
>
>---原始邮件---
>发件人: "lei-tian"发送时间: 2021年10月11日(周一) 上午9:02
>收件人: "user-zh"主题: Flin
您好：
我这边现在有个flink读hbase的程序需要每天在固定的时间段内调用接口，然后如果在指定时间以外或者处理的数据量达到一个阈值的时候停止，在第二天的重复第一天的操作。现在有个问题，就是如何在代码里面可以像UI界面那样将jobcancel掉，而且第二天可以接着第一天的处理进度接着处理剩下的数据。有个savepoint的方案，需要jobid和applicationid但是目前好像在代码里面获取不到，有人有解决思路吗？
10 matches
Mail list logo
