Re: Re:Re: Re: Flink RocksDBStateBackend 问题

2019-08-06 文章 Yun Tang
,RocksDBKeyedStateBackend自然也会退出。 祝好 唐云 From: lvwenyuan Sent: Tuesday, August 6, 2019 14:53 To: user-zh@flink.apache.org Subject: Re:Re: Re: Flink RocksDBStateBackend 问题 唐老师您好: 我这里指的是checkpoint时存储数据的file system,这里我用的是HDFS。 按照老师的说法,我可不可以这样理解(在Flink

Re:Re: Re: Flink RocksDBStateBackend 问题

2019-08-06 文章 lvwenyuan
e/flink/runtime/state/heap/StateMap.java >[3] https://github.com/facebook/rocksdb/wiki/Memory-usage-in-RocksDB > > >祝好 >唐云 > > >From: 戴嘉诚 >Sent: Tuesday, August 6, 2019 12:01 >To: user-zh@flink.apache.org >Subject: 答复: Re: Flink Rock

Re: Re: Flink RocksDBStateBackend 问题

2019-08-05 文章 Yun Tang
ava [3] https://github.com/facebook/rocksdb/wiki/Memory-usage-in-RocksDB 祝好 唐云 From: 戴嘉诚 Sent: Tuesday, August 6, 2019 12:01 To: user-zh@flink.apache.org Subject: 答复: Re: Flink RocksDBStateBackend 问题 不是,文档上有说,filesystem是会把正在运行的数据存储在tm的内存中,然后触发checkpoint后,才会写

Re: Re: Flink RocksDBStateBackend 问题

2019-08-05 文章 athlon...@gmail.com
你说的是memsystem的状态数据存在jm内存中的filesystem是存到文件系统上的 athlon...@gmail.com 发件人: 戴嘉诚 发送时间: 2019-08-06 11:42 收件人: user-zh 主题: Re: Flink RocksDBStateBackend 问题 FileSystem 我记得是存储的大小是不能超过tm的内存还是jm的内存,而rocksdb上存储的数据是可以无限的,不过相对来说, FileSystem的吞吐就会比rocksdb会高 lvwenyuan 于2019年8月6日周二 上午11:39写道: > 请

Re: Flink RocksDBStateBackend 问题

2019-08-05 文章 戴嘉诚
FileSystem 我记得是存储的大小是不能超过tm的内存还是jm的内存,而rocksdb上存储的数据是可以无限的,不过相对来说, FileSystem的吞吐就会比rocksdb会高 lvwenyuan 于2019年8月6日周二 上午11:39写道: > 请教各位: >RocksDBStateBackend > 中,rocksdb上存储的内如和FileSystem上存储的数据内容是一样的?如果不一样,那么分别是什么呢?感谢回答 > > > >