Re: Flink作业修改时State的兼容性

2022-07-29 文章 tison
这个同样可以看两份材料 * https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/datastream/fault-tolerance/serialization/schema_evolution/ * https://zhuanlan.zhihu.com/p/119305376 简单说来只是改并发的话 Key state 比较好迁移,operator state 各有各的特性。如果明显改了逻辑就需要手动跑出新状态。 Best, tison. m18814122325 于2022年7月30日周六 1

Re: Flink内部如何做到消息不丢失?

2022-07-29 文章 tison
可以看下这两份材料 * https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/datastream/fault-tolerance/checkpointing/ * https://zhuanlan.zhihu.com/p/102607983 其实就是 Flink 里 Exactly-once 的实现方式,简单说来就是分布式快照批量提交,上游数据可以回放。 Best, tison. m18814122325 于2022年7月30日周六 14:22写道: > > 在Storm中会有ack机制来保证消

Flink内部如何做到消息不丢失?

2022-07-29 文章 m18814122325
在Storm中会有ack机制来保证消息是否被下个算子是否被处理,那么请问在Flink框架内部中上游算子通过Netty发送消息到下游时,如何做到消息不会因为网络原因等各种异常情况产生丢失情况? 谢谢

Flink作业修改时State的兼容性

2022-07-29 文章 m18814122325
当Flink作业在业务变更修改时,在用checkpoint或者savepoint进行状态恢复时,兼容性如何?有相关文档吗? 我在阿里云找到SQL修改和兼容性的文档https://help.aliyun.com/document_detail/403317.html。 但不知道文档说明的是阿里云里的Flink版本还是开源版本。