Hi

TiKV 本身就是分布式的,多副本的,可以类比HBase,所以不是将其向Flink内置的state 
backend靠拢,而是向Flink读写HBase靠拢,这样若干写TiKV的Flink作业就做到了数据共享。

如果想将TiKV向Flink 
state-backend靠拢,TiKV本身的分布式架构,多副本机制,网络传输(而不是本地磁盘访问)都是缺点或者说不再必要存在的特性。
最后就会演化成现在Flink + RocksDB state-backend的架构,更何况TiKV就是基于RocksDB的,整体意义不是很大。

祝好
唐云
________________________________
From: Congxian Qiu <qcx978132...@gmail.com>
Sent: Monday, August 24, 2020 20:17
To: user-zh <user-zh@flink.apache.org>
Subject: Re: 有没有可能使用tikv作为flink 分布式的backend

Hi
   StateBackend 可以理解为 一个 KV 存储加上一个 snapshot 过程,其中 snapshot 过程负责将当前 KV
存储的数据进行备份。理论上任何的 KV 存储都是有可能作为 StateBackend 的,不过增加一种 StateBackend 的话,需要实现相应的
snapshot/restore 逻辑。

   但是在多个 Flink 作业中实现共享的 state 这个在 Flink 中是不支持的。
Best,
Congxian


wxpcc <wxp4...@outlook.com> 于2020年8月21日周五 下午6:33写道:

> 项目里有部分需要进行状态共享的需求,多个flink 任务之间
>
> 如题,tikv本身基于rocksdb 是否有可能扩展成为分布式 backend
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

Reply via email to