Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[Henry]

哦哦，太感谢了，我刚注意到链接是 http://slave1:41921/#/overview 。 
但是有俩小疑问哈，第一个是，这个“41921”端口号是在哪里看到的呢？ 
第二个是，假如我只有slave1、slave2两台机器，但是我现在写好了三个Flink程序，然后
要提交到 yarn 上运行，那么我是不是最多也就可以看到两个 running job ？ 
还是虽然其中两个程序虽然在同一个节点上，但是他们的端口号是不同的，可能是 slave1:1000 
对应一个程序，slave2:2000对应一个程序，通过链接进入不同
的页面查看？






在 2019-11-18 13:44:09，"aihua li"  写道：
>看了你的截图，链接中是id为0018的application，里面确实只有一个job，另一个job是在id为0019的application里，你变更下链接中的applicationId，应该就能看到另一个作业了
>
>> 在 2019年11月17日，下午4:14，Henry  写道：
>> 
>> 
>> 
>> 是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job 
>> 中只有最后提交的那个
>> 程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。
>> 
>> 
>> 
>> 
>> 
>> 在 2019-11-17 16:05:29，18612537...@163.com 写道：
>>> 提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。
>>> 
>>> 发自我的iPhone
>>> 
 在 2019年11月17日，下午2:51，Henry  写道：
 
 
 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
 xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 
 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 
 1 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
 详情图片如下：
 https://img-blog.csdnimg.cn/20191115175027258.png
 
 
 
 
 
 
 
 
 
>

Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[aihua li]

看了你的截图，链接中是id为0018的application，里面确实只有一个job，另一个job是在id为0019的application里，你变更下链接中的applicationId，应该就能看到另一个作业了

> 在 2019年11月17日，下午4:14，Henry  写道：
> 
> 
> 
> 是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job 
> 中只有最后提交的那个
> 程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。
> 
> 
> 
> 
> 
> 在 2019-11-17 16:05:29，18612537...@163.com 写道：
>> 提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。
>> 
>> 发自我的iPhone
>> 
>>> 在 2019年11月17日，下午2:51，Henry  写道：
>>> 
>>> 
>>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
>>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 
>>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 
>>> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
>>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
>>> 详情图片如下：
>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>> 
>>> 
>>> 
>>> 
>>> 
>>> 
>>> 
>>> 
>>> 

Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[18612537914]

我还是没有搞明白你的意思，你job里面已经是两个了。打开每一个都是对应的信息。因为你启动的是同一个class所以相当于是同一个任务只是消费数据不用。你可以换一个class
 ，不知道是不是我说的这个意思。

发自我的iPhone

> 在 2019年11月18日，上午10:06，"lh...@126.com"  写道：
> 
> 提交了两个job，分别在两个不同的application上，注意切换一下flink web dashboard的地址。
> 
> 
> 
> 
> lh...@126.com
> 
> 发件人： Henry
> 发送时间： 2019-11-18 08:59
> 收件人： user-zh
> 主题： Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务
> 
> 谢谢您的帮助，您贴的图碎了，看不到呢。 然后我按您说的试了一下，还是不行呢，您看我操作的对不对哈。谢谢
> 截图：
> https://img-blog.csdnimg.cn/20191118085832554.png
> 
> 
> 
> 
> 在 2019-11-17 16:30:46，"allanQin" <18612537...@163.com> 写道：
> 
> 你的job running 
> 中确实是两个job，但是name都是一样的，我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字，就可以看出来了。 -ynm 
> YourJobName,你再观察一下。
> 
> 
> 
> 
> 
>> 在 2019-11-17 16:14:32，"Henry"  写道：
>> 
>> 
>> 是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job 
>> 中只有最后提交的那个
>> 程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。
>> 
>> 
>> 
>> 
>> 
>>> 在 2019-11-17 16:05:29，18612537...@163.com 写道：
>>> 提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。
>>> 
>>> 发自我的iPhone
>>> 
 在 2019年11月17日，下午2:51，Henry  写道：
 
 
 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
 xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 
 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 
 1 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
 详情图片如下：
 https://img-blog.csdnimg.cn/20191115175027258.png
 
 
 
 
 
 
 
 
 
> 
> 
> 
> 
> 
> 
> 
> 

Fwd: RocksDB state on HDFS seems not being cleanned up

[shuwen zhou]

Forward to user group again since mail server was rejecting for last time

-- Forwarded message -
From: shuwen zhou 
Date: Wed, 13 Nov 2019 at 13:33
Subject: Re: RocksDB state on HDFS seems not being cleanned up
To: Yun Tang 
Cc: user 


Hi Yun,
After my investigation, I found out the files are not orphan files, they
are still being recorded in latest checkpoint's _metadata file.
I looked through the API you mentioned
https://ci.apache.org/projects/flink/flink-docs-stable/dev/libs/state_processor_api.html
,
seems like the state can be accessed is limited to user defined state. I am
thinking that the outdated state might be belonged to a window reduce
state, thus I would like to access window reduce state. Seems this API
cannot provide such functionality, does it?

On Thu, 7 Nov 2019 at 18:08, Yun Tang  wrote:

> Yes, just sum all file size within checkpoint meta to get the full
> checkpoint size (this would omit some byte stream state handles, but nearly
> accurate).
>
>
>
> BTW, I think user-mail list is the better place for this email-thread,
> already sent this mail to user-mail list.
>
>
>
> Best
>
> Yun Tang
>
>
>
> *From: *shuwen zhou 
> *Date: *Thursday, November 7, 2019 at 12:02 PM
> *To: *Yun Tang 
> *Cc: *dev , Till Rohrmann 
> *Subject: *Re: RocksDB state on HDFS seems not being cleanned up
>
>
>
> Hi Yun,
>
> Thank you for your detailed explanation,It brings me a lot to research. I
> think
>
> 1. I should try reduce number of "*state.checkpoints.num-retained", *maybe
> to 3, which could decrease amount of shared folder.
>
> 2. Does Flink 1.9.0 has the possibility of orphan files? Seems the answer
> is yes, maybe. I could have use the state process API you mentioned to
> figure it out and get back to you.
>
> 3. I have a look in file 
> /flink/c344b61c456af743e4568a70b626837b/chk-172/_metadata,
> there are a lot file names
> like 
> hdfs://hadoop/flink/c344b61c456af743e4568a70b626837b/shared/e9e10c8a-6d73-48e4-9e17-45838d276b03,
> sum those file's size up is the total size of each chekpoint, am I correct?
>
> 4. My checkpoint interval is 16 minutes.
>
>
>
>
>
>
>
>
>
>
>
> On Wed, 6 Nov 2019 at 15:57, Yun Tang  wrote:
>
> Hi Shuwen
>
>
>
> Since you just have 10 “chk-“ folders as expected and when subsuming
> checkpoints, the “chk-” folder would be removed after we successfully
> removed shared state [1]. That is to say, I think you might not have too
> many orphan states files left. To ensure this, you could use state process
> API [2] to load your checkpoints and compare all the files under “shared”
> folder to see whether there existed too many orphan files. If this is true,
> we might think of the custom compaction filter future of FRocksDB.
>
>
>
> Secondly, your judgment of “20GB each checkpoint” might not be accurate
> when RocksDB incremental checkpoint is enabled, the UI showed is only the
> incremental size [3], I suggest you to count your files’s size within your
> checkpoint meta to know the accurate checkpoint size for each checkpoint.
>
>
>
> Last but not least, RocksDB’s future of compaction filter to delete
> expired data only happened during compaction [4], I’m afraid you might need
> to look up your rocksDB’s LOG file to see the frequency of compaction on
> task managers. And I think the increasing size might be related with the
> interval of your checkpoints, what the interval when you executing
> checkpoints?
>
>
>
>
>
> [1]
> https://github.com/apache/flink/blob/2ea14169a1997434d45d6f1da6dfe9acd6bd8da3/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/CompletedCheckpoint.java#L264
> 
>
> [2]
> https://ci.apache.org/projects/flink/flink-docs-stable/dev/libs/state_processor_api.html
> 
>
> [3] https://issues.apache.org/jira/browse/FLINK-13390
> 
>
> [4]
> https://github.com/facebook/rocksdb/blob/834feaff05a4bf7ae49c736305d5eb180aed4011/include/rocksdb/compaction_filter.h#L61
> 

FLINK WEEKLY 2019/46

[tison]

FLINK WEEKLY 2019/46 用户问题

   -

   关于从savepoint启动作业报错 migration for MapState currently isn't supported.
   
:
   1.10 中支持了 RocksDB StateBackend 的 MapState 演化
   -

   flink里删除cassandra的记录
   

   -

   Queryable State 查询反序列化问题
   

   -

   flink ScalarFunction 重写 getParameterTypes 方法不生效
   

   -

   编写 keyed raw state 的例子
   

   -

   手动从 checkpoint 中恢复的方法
   

   -

   Operator name and uuid best practices
   

   -

   how to setup a ha flink cluster on k8s?
   

   -

   How to unsubscribe the Apache projects and jira issues notification
   
:
   取消订阅的方式是发送任意邮件到 unsubscribe-@.apache.org
   -

   Checkpoint 完成速度慢的问题
   
:
   可能是由于 back pressure 导致的
   -

   Initialization of broadcast state before processing main stream
   

   -

   Flink-JDBC JDBCUpsertTableSink keyFields Problem
   

   -

   Propagating event time field from nested query
   

   -

   Monitor rocksDB memory usage
   


已知缺陷

   -

   Starting a TaskExecutor blocks the YarnResourceManager's main thread
   : 目前，YARN 上启动 FLINK
   集群可能由于同步申请 slot 的耗时而阻塞 FLINK RM 相当长的一段时间，这会导致 FLINK RM 和 TM 心跳超时。Yang Wang
   采取的修复是异步的申请 slot 以保证 FLINK RM 的可用性。目前 PR 正在 review 中，预计将会在 1.8.3 1.9.2 和
   1.10.0 中上线
   -

   Pyflink building failure in master and 1.9.0 version
   : Windows 上的 PyFlink
   编译不通过，这是因为路径配置采用了操作系统敏感的方法的原因

开发讨论

   -

   [DISCUSS] FLIP-27: Refactor Source Interface
   
:
   Source 接口的重构正在开发中，有可能在 1.10 里包括它的一个初步实现
   -

   [DISCUSS] FLIP-86: Improve Connector Properties
   
:
   Jark Wu 的 FLIP-86 旨在提升 Table API/SQL 连接器的配置格式
   -

   [[DISCUSSION] Kafka Metrics Reporter]: Gyula Fóra 提出了在 FLINK 中加入 Kafka
   实现的 Metrics Report 的讨论

社区发展

   -

   [DISCUSS] Releasing Flink 1.8.3
   
:
   来自阿里的工程师 Hequn Cheng 成为了 1.8.3 的 Release Manager
   -

   [DISCUSS] Release flink-shaded 9.0
   
:
   Chesnay Schepler 发起了发布 flink-shaded 9.0 的讨论

Re: Keyed raw state - example

[Congxian Qiu]

Hi
   Currently, I think you can ref the implementation of timerservice[1]
which used the raw keyed state, the snapshot happens in
AbstractStreamOperator#snapshotState(), for using Raw State you need to
implement a new operator[2]. There is an issue wants to give some example
for raw state[2]

[1]
https://github.com/apache/flink/blob/master/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/operators/InternalTimeServiceManager.java
[2]
https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/state/state.html#raw-and-managed-state
[3] https://issues.apache.org/jira/browse/FLINK-14379

Best,
Congxian


bastien dine  于2019年11月16日周六 上午5:57写道：

> Hello everyone,
>
> I would like to know if anybody has a working example on how to declare a
> keyed raw state ( in my case a keyedprocessoperator) and how to use  it in
> my UDF (keyedprocessfunction)?
>
> Basicaly we have a huge problem with a ValueState w Rocksdb, getting
> serialized for every element ( need to access it and update) so it's taking
> a crazy amount of time and we would like to have it serialized only on
> snapshot, so using Raw state is a possible good solution,
> But i cannot find anyexample of it :/
>
> Thanks and best regards,
>
> Bastien DINE
> Freelance
> Data Architect / Software Engineer / Sysadmin
> http://bastiendine.io
>
>
>

Re: Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[lh...@126.com]

提交了两个job，分别在两个不同的application上，注意切换一下flink web dashboard的地址。




lh...@126.com
 
发件人： Henry
发送时间： 2019-11-18 08:59
收件人： user-zh
主题： Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

谢谢您的帮助，您贴的图碎了，看不到呢。 然后我按您说的试了一下，还是不行呢，您看我操作的对不对哈。谢谢
截图：
https://img-blog.csdnimg.cn/20191118085832554.png




在 2019-11-17 16:30:46，"allanQin" <18612537...@163.com> 写道：

你的job running 中确实是两个job，但是name都是一样的，我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字，就可以看出来了。 
-ynm YourJobName,你再观察一下。





在 2019-11-17 16:14:32，"Henry"  写道：
>
>
>是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job 
>中只有最后提交的那个
>程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。
>
>
>
>
>
>在 2019-11-17 16:05:29，18612537...@163.com 写道：
>>提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。
>>
>>发自我的iPhone
>>
>>> 在 2019年11月17日，下午2:51，Henry  写道：
>>> 
>>> 
>>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
>>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 
>>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 
>>> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
>>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
>>> 详情图片如下：
>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>> 
>>> 
>>> 
>>> 
>>>  
>>> 
>>> 
>>> 
>>>  




 


 

Re: Apache Airflow - Question about checkpointing and re-run a job

[Congxian Qiu]

Hi
Yes, checkpoint data locates under jobid dir. you can try to restore from
the retained checkpoint[1]
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.9/ops/state/checkpoints.html#resuming-from-a-retained-checkpoint
Best,
Congxian


M Singh  于2019年11月18日周一 上午2:54写道：

> Folks - Please let me know if you have any advice on this question.  Thanks
>
> On Saturday, November 16, 2019, 02:39:18 PM EST, M Singh <
> mans2si...@yahoo.com> wrote:
>
>
> Hi:
>
> I have a Flink job and sometimes I need to cancel and re run it.  From
> what I understand the checkpoints for a job are saved under the job id
> directory at the checkpoint location. If I run the same job again, it will
> get a new job id and the checkpoint saved from the previous run job (which
> is saved under the previous job's id dir) will not be used for this new
> run. Is that a correct understanding ?  If I need to re-run the job from
> the previous checkpoint - is there any way to do that automatically without
> using a savepoint ?
>
> Also, I believe the internal job restarts do not change the job id so in
> those cases where the job restarts will pick the state from the saved
> checkpoint.  Is my understanding correct ?
>
> Thanks
>
> Mans
>

Re:Re:Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[Henry]

谢谢您的帮助，您贴的图碎了，看不到呢。 然后我按您说的试了一下，还是不行呢，您看我操作的对不对哈。谢谢
截图：
https://img-blog.csdnimg.cn/20191118085832554.png





在 2019-11-17 16:30:46，"allanQin" <18612537...@163.com> 写道：



你的job running 中确实是两个job，但是name都是一样的，我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字，就可以看出来了。 
-ynm YourJobName,你再观察一下。







在 2019-11-17 16:14:32，"Henry"  写道：
>
>
>是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job 
>中只有最后提交的那个
>程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。
>
>
>
>
>
>在 2019-11-17 16:05:29，18612537...@163.com 写道：
>>提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。
>>
>>发自我的iPhone
>>
>>> 在 2019年11月17日，下午2:51，Henry  写道：
>>> 
>>> 
>>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
>>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 
>>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 
>>> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
>>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
>>> 详情图片如下：
>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>> 
>>> 
>>> 
>>> 
>>>  
>>> 
>>> 
>>> 
>>>  






 

Weekly Community Update 2019/46

[Konstantin Knauf]

Dear community,

happy to share this week's community update. While slowly approaching the
planned feature freeze for Flink 1.10, things have calmed down a bit on the
dev mailing list. Stil there are couple of interesting topics to cover.
This week's digest includes an update on the Flink 1.8.3 release, a
proposal for a KafkaMetricsReporter, a FLIP to improve the configuration of
Table API connectors and a bit more.

Flink Development
==

* [releases] With respect to the release of *Flink 1.8.3* the main
questions seems to be whether to wait for flink-shaded 9.0. If not, a first
release candidate can be expected within the next week. [1]

* [releases] Chesnay proposes to release *flink-shaded 9.0* soon and is
looking for someone to manage this release. [2]

* [connectors] Stephan has shared a quick update on the progress of *FLIP-27
(New Source Interface)*: a first version will likely be available in 1.10,
but it will probably take another release until connectors are migrated and
things settle down a bit. [3]

* [connectors, sql] Jark has started a FLIP discussion to* improve the
properties format* of Table API/SQL connectors. It contains a whole list of
smaller and larger improvements and it seems this will be targeted for the
1.11 release. [4]

* [metrics] Gyula has started a discussion on contributing a
*MetricsReporter* to write Flink's metrics to *Apache Kafka*. [5]

* [development process] Dian Fu proposes to introduce a *security@f.a.o*
mailing list for users to report security-related issues. There is a lot of
positive feedback, but also some concerns,  e.g. because there is already a
cross-project secur...@apache.org mailing list. [6]

[1]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Releasing-Flink-1-8-3-tp34811.html
[2]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Release-flink-shaded-9-0-tp35041.html
[3]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-27-Refactor-Source-Interface-tp24952.html
[4]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-FLIP-86-Improve-Connector-Properties-tp34922.html
[5]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSSION-Kafka-Metrics-Reporter-tp35067.html
[6]
http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Expose-or-setup-a-security-flink-apache-org-mailing-list-for-security-report-and-discussion-tp34950p34951.html

Notable Bugs
==

Not much happening here. So, let's look at two edge cases, which might help
one or the other user.

* [FLINK-13184] [1.9.1] [1.8.2] If you are deploying to YARN and start a
lot of Taskmanagers (1000s), the Resourcemanager might be
blocked/unresponsive quite some time, so that heartbeats of Taskmanagers
start timing out. Yang Wang is working on a fix, which might get into
1.8.3. [7]

* [FLINK-14066] If you try to *build* PyFlink on Windows, this will fail as
we use a UNIX specific path to the local Flink distribution's build target.
The fix is contained in this ticket. [8]

[7] https://issues.apache.org/jira/browse/FLINK-13184
[8] https://issues.apache.org/jira/browse/FLINK-14066

Events, Blog Posts, Misc
===

* A missed this excellent *Flink Foward Europe *recap by my colleagues
*Robert* and* Fabian* published 1st of November on the Ververica blog in
the last weeks, so here it is. [9]

* Upcoming Meetups
* *Bowen Li* will speak about "The Rise of Apache Flink and Stream
Processing" at the next Big Data Bellevue in Seattle on the 20th of
November. [10]
* The next edition of the Bay Area Apache Flink meetup will happen on
the 20th of November with talks by *Gyula Fora (Cloudera)* and *Lakshmi Rao
(Lyft)*.[11]
* We will have our next Apache Flink Meetup in Munich on November 27th
with talks by *Heiko Udluft & Giuseppe Sirigu*, Airbus, and *Konstantin
Knauf* (on Stateful Functions). [12]
* There will be an introduction to Apache Flink, use cases and best
practices at the next Uber Engineering meeup in Toronto. If you live in
Toronto, its an excellent opportunity to get started with Flink or to meet
local Flink users. [13]

[9] https://www.ververica.com/blog/flink-forward-europe-2019-recap
[10] https://www.meetup.com/Big-Data-Bellevue-BDB/events/fxbnllyzpbbc/
[11] https://www.meetup.com/Bay-Area-Apache-Flink-Meetup/events/266226960/
[12] https://www.meetup.com/Apache-Flink-Meetup-Munich/events/266072196/
[13]
https://www.meetup.com/Uber-Engineering-Events-Toronto/events/266264176/

Cheers,

Konstantin (@snntrable)

-- 

Konstantin Knauf | Solutions Architect

+49 160 91394525


Follow us @VervericaData Ververica 


--

Join Flink Forward  - The Apache Flink
Conference

Stream Processing | Event Driven | Real Time

--

Ververica GmbH | Invalidenstrasse 115, 10115 Berlin, Germany

--
Ververica GmbH
Registered at Amtsgericht Charlottenburg: HRB 158244 B
Managing Directors: Timothy Alexander 

Re: Apache Airflow - Question about checkpointing and re-run a job

[M Singh]

 Folks - Please let me know if you have any advice on this question.  Thanks
On Saturday, November 16, 2019, 02:39:18 PM EST, M Singh 
 wrote:  
 
 Hi:
I have a Flink job and sometimes I need to cancel and re run it.  From what I 
understand the checkpoints for a job are saved under the job id directory at 
the checkpoint location. If I run the same job again, it will get a new job id 
and the checkpoint saved from the previous run job (which is saved under the 
previous job's id dir) will not be used for this new run. Is that a correct 
understanding ?  If I need to re-run the job from the previous checkpoint - is 
there any way to do that automatically without using a savepoint ?
Also, I believe the internal job restarts do not change the job id so in those 
cases where the job restarts will pick the state from the saved checkpoint.  Is 
my understanding correct ?
Thanks
Mans  

Hdfs -> hdfs ends up with .progress files

[Johan Rask]

Hi!

I am quite new to Apache Flink but we have been evaluating it for some
weeks to read from kafka and transform and write to hdfs. With kafka to
hdfs with exactly-once configured this works as expected but when we
replace the source with kafka to hdfs files hangs in .in-progress.

We first experienced this also with kafka but after properly configuring
checkpoints we got expected results.

We have simply changed kafka source to hdfs source and kept streaming mode
although this is obviously a bounded data set so there might be some issue
with this that we do not understand.

Any help with this is highly appreciated!

Regards /Johan Rask

I have created a small gist of our program here
https://gist.github.com/jrask/ef4a8531b0563f1420ce276e7b0f59ce

And I also copy of the gist here.

 public static void main(String[] args) throws Exception {

final StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
env.enableCheckpointing(TimeUnit.MINUTES.toMillis(1),
CheckpointingMode.EXACTLY_ONCE);
env.setStateBackend(new
FsStateBackend("hdfs:///checkpoints",true));
env.getCheckpointConfig().setTolerableCheckpointFailureNumber(1);

StreamingFileSink hdfsSink = StreamingFileSink
.forRowFormat(new
Path("hdfs:///"), new SimpleStringEncoder<>("UTF-8"))
.withBucketAssigner(new
EventTimeDateTimeBuckerAssigner<>("'/year'=/'month'=MM/'day'=dd/'hour'=HH"))
.build();

env.readTextFile("hdfs://")
.map(Parser::parse)
.addSink(hdfsSink);

env.execute("some-pipeline");
}


hdfs -> hdfs results in the following. However if I use kafka as
source, it works properly.

rw-rw+  3 someuser supergroup   87792789 2019-11-16 20:57
/data/some_dir/year=2019/month=05/day=21/hour=23/.part-0-62.inprogress.8f9c6104-4c6c-4eee-8650-dd5d1d12d668
-rw-rw+  3 someuser supergroup   64696413 2019-11-16 20:58
/data/some_dir/year=2019/month=05/day=21/hour=23/.part-0-63.inprogress.42589a04-601b-496d-ae20-7db1d56089dc

... rest is removed for clarity

Re:Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[allanQin]

你的job running 中确实是两个job，但是name都是一样的，我建议你在启动flink作业时候可以加个参数给你启动的作业起个名字，就可以看出来了。 
-ynm YourJobName,你再观察一下。







在 2019-11-17 16:14:32，"Henry"  写道：
>
>
>是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job 
>中只有最后提交的那个
>程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。
>
>
>
>
>
>在 2019-11-17 16:05:29，18612537...@163.com 写道：
>>提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。
>>
>>发自我的iPhone
>>
>>> 在 2019年11月17日，下午2:51，Henry  写道：
>>> 
>>> 
>>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
>>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 
>>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 
>>> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
>>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
>>> 详情图片如下：
>>> https://img-blog.csdnimg.cn/20191115175027258.png
>>> 
>>> 
>>> 
>>> 
>>>  
>>> 
>>> 
>>> 
>>>  

Re:Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[Henry]

是的，两个程序确实也都在运行，俩程序往数据库里写的数据是不同的，都在更新，所以运行木有问题。但是在 Flink Web 页面里的 Running Job 
中只有最后提交的那个
程序，没有先提交的那个程序，确实有问题。您看下那个链接，是我截的图，谢谢。





在 2019-11-17 16:05:29，18612537...@163.com 写道：
>提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。
>
>发自我的iPhone
>
>> 在 2019年11月17日，下午2:51，Henry  写道：
>> 
>> 
>> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
>> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 
>> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 
>> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
>> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
>> 详情图片如下：
>> https://img-blog.csdnimg.cn/20191115175027258.png
>> 
>> 
>> 
>> 
>>  
>> 
>> 
>> 
>>  

Re: 通过 yarn-cluster 提交多个任务，Flink 页面只显示最后一个提交的任务

[18612537914]

提交两个是两个进程，所以是两个job。我觉得没有任何问题，你点进去flink的页面肯定各是各的。

发自我的iPhone

> 在 2019年11月17日，下午2:51，Henry  写道：
> 
> 
> 大家好，我想请教一个问题哈。 就是我通过 ./flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 
> xxx.jar 的方式提交了两个不同的任务程序，在yarn界面里也能看到两个正在运行的 app ，但是点击 对应的 ApplicationMater 
> 跳转到 Flink-Dashboard 页面之后，在 Running job 页面只看到一个运行的最后提交的程序呢？ Task Slot 也只用了 1 
> 个，这是啥情况呢？ 也木有报错。yarn 页面显示两个任务都是 Running 
> 状态，而且先提交的哪个程序任务确实是在运行中的，因为数据库中的数据也是在增加呢。  谢谢大家。
> 详情图片如下：
> https://img-blog.csdnimg.cn/20191115175027258.png
> 
> 
> 
> 
>  
> 
> 
> 
>