kafka在我们这边场景上除了用来存放实时流式数据,还会用作临时大数据量的存储,主要用于:
1. 数据同步时,将全量数据同步到一个临时的kafka中,增量数据持续性同步到kafka中,目前我们都使用流模式消费其中的数据,就会有手动停止,或者借助指标等自动停止流式任务 2. 数据恢复时 3. 临时查看某个时间区间的数据 如果批模式 sql能够完成这些事情的话那该多好 -- Sent from: http://apache-flink.147419.n8.nabble.com/
kafka在我们这边场景上除了用来存放实时流式数据,还会用作临时大数据量的存储,主要用于:
1. 数据同步时,将全量数据同步到一个临时的kafka中,增量数据持续性同步到kafka中,目前我们都使用流模式消费其中的数据,就会有手动停止,或者借助指标等自动停止流式任务 2. 数据恢复时 3. 临时查看某个时间区间的数据 如果批模式 sql能够完成这些事情的话那该多好 -- Sent from: http://apache-flink.147419.n8.nabble.com/