Re: Flink connector 是否支持忽略delete message

Hi, shi franke. 你可以尝试自己实现一个 DynamicTableSink，在里面添加参数 “sink.ignore-delete”。 你可以参考 github 上的一些实现，例如 clickhouse： https://github.com/liekkassmile/flink-connector-clickhouse-1.13 shi franke 于2023年7月7日周五 19:24写道： > >

Re: flink1.17.1使用kafka source异常

Hi, aiden. 看起来是类冲突，按照官方的文档，使用 kafka 时，你应该是不需要引入 flink-core 和 flink-connector-base 的（ https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/connectors/table/kafka/）。如果是因为其他原因需要使用这两个 jar， 你可以使用 mvn dependency::tree 查看一下 "org/apache/kafka/clients/consumer/ConsumerRecord"

Re: Flink 1.16 流表 join 的 FilterPushDown 及并行

Hi, Chai Kelun, 你的 filter condition 里面包含了你自定义的 UDF，是不满足 filter push down 的条件的，因为对于优化器来说 UDF 是不确定的，优化器不能从里面提取到可以下推的条件, 如果你想实现下推，可以尝试抽取下确定性的 condition，如 product.id > 10 etc.。另外，Flink 是支持 broadcast hash join 的，如果你想控制某两个表的 join type，你可以通过 join hint 来指定 join 类型为 broadcast。() Chai Kelun 于2023年7月3日周一

Re: flink cdc能否同步DDL语句?

目前，社区的 Flink CDC，是可以读取到 binlog 中的 DDL 语句的，但是不会传递给下游，即下游无法感知 schema 的变化。 Xuyang 于2022年10月10日周一 16:46写道： > Hi， 目前应该是不行的 > 在 2022-09-26 23:27:05，"casel.chen" 写道： > >flink cdc能否同步DDL语句以实现schema同步? 例如create table , create index, truncate > table等 >

Re: flink 的数据传输,是上游算子推给下游, 还是下游算子拉取上游, 设计的考虑是啥?

你好。 Flink 采用的是 pull 模型。pull 模型的优点在于：1. 其具有更好的扩展性（下游的消费者可以根据需求增加，只需要获取到上游的消费位点）； 2. 下游的消费者可以根据需求来调整消费速率； 3.网络传输，flink 以前也尝试使用过push模型，且为了节约开销，进程间是复用 TCP连接，一个 task 线程的性能瓶颈将导致整条链路的所有 task 线程不能接收数据，影响整体的数据消费速率。 push模型的优点：消耗较小，不需要设计机制来一直轮训观察上游节点的数据情况。 Xuyang 于2022年9月9日周五 20:35写道： >

Re: flink hybrid source问题

你好，hybrid source 现在需要基于 FLIP-27 source 来实现(如：FileSource, KafkaSource)，对于非 FLIP-27 source 需要做一些修改后才可以使用。如果想参与 hybird source 的扩展，可以在 slack 中加入flink社群，并发起讨论。 关于 source 相关的文档，可以查看官网和 flip 设计和讨论页面（ https://cwiki.apache.org/confluence/display/FLINK/FLIP-150%3A+Introduce+Hybrid+Source ）（

Re: 这里为什么会报null指针错误，和源表数据有关系吗？

Hi，看起来是需要一个脏数据处理的逻辑的，可以在jira上建一个issue，并给出更加详细的报错信息和可能的脏数据信息呀。建立issue后，可以在邮件里回复下。 Asahi Lee 于2022年9月14日周三 09:33写道： > 是的，运行一段时间后发生错误，null指针的代码哪里是不是要非空处理？ > > > > > --原始邮件-- > 发件人: > "user-zh" >

Re: 关于flink table store的疑问

你好，从我个人的角度出发，我认为 flink-table-store 与 hudi, iceberg 的定位是不同的。 hudi 和 iceberg 更多的是一种 format 格式，通过这个格式来管理 schema 信息和解决行业痛点，其不与特定计算引擎绑定。其中， hudi 解决了超大数据量下的 upsert 问题， iceberg 解决了 oss 存储和上云的问题，但是他们本质上还是一种存储格式（format），这是其优势也是其劣势，优势在于不受引擎约束，专注于format层本身；缺点是无法参与主流引擎的未来规划，不易扩展，且发展受限，不能很快的参与到 olap等领域。 而

Re: 触发savepoint后, source算子会从对应offset处停止消费吗?

hi, 在我的理解里，savePoint 的作用和 checkPoint 是类似的，只是在 flink 1.16 以前 savePoint 只支持全量的 savePoint，底层都是采用的 barrier 实现机制。但是在1.16的规划文档里（ https://cwiki.apache.org/confluence/display/FLINK/FLIP-203%3A+Incremental+savepoints），savepoint 也将支持增量的模式。 当 savepoint 触发时， source 会去保存状态，是会停止消费的。 郑 致远 于2022年9月8日周四 19:39写道：

Re: hello flink

Hello yh z 于2022年9月2日周五 11:51写道： > hello flink >