Hi
暂时还不支持,你看到的应该是未来规划的内容。
casel.chen 于2021年12月24日周五 20:50写道:
> 看文章介绍说Flink CDC 2.0 支持整库同步,见 https://www.jianshu.com/p/b81859d67fec
> 整库同步:用户要同步整个数据库只需一行 SQL 语法即可完成,而不用每张表定义一个 DDL 和 query。
> 想知道Flink CDC 2.0 整库同步如何实现?有没有例子?谢谢!
Hi!
ExecutionEnvironment 与 StreamExecutionEnvironment 均有 registerJobListener 方法
[1][2],可以传进一个 JobListener
[3],在作业提交以及完成的时候调用对应方法。当然,这需要你提交作业的客户端程序一直存在,直到作业完成并且对应函数被调用。
[1]
Dear Member
That is my bad and I do not edit the report function.
No more question about this case. Sorry to bother you~
Best regards
Zhen ZHANG(Allen) Finance Accounting and Management(FAM) Functional (FIN)
Department Enactus-Entrepreneurial Action Us (Former name: SIFE) TB114, The
Dear Member
I just get start learning flink and try the case, "Real Time Reporting with the
Table API "
(https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/try-flink/table_api/)
When I ran docker-compose, all containers worked except jobmanager which is
exited with 2.
The
Dear Member
I just get start learning flink and try the case, "Real Time Reporting with the
Table API"
(https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/try-flink/table_api/)
When I ran docker-compose, all containers worked except jobmanager which is
exited with 2.
I
你说的是upsert-kafka的这两个参数吗?
sink.buffer-flush.max-rows
sink.buffer-flush.interval
确实能达到我想要的效果,但是会引入额外的kafka sink,另外还是从sink
kafka消费再写入mysql,链路有点长,最好是能在原来作业的基础上在sink前添加一个聚合算子。
在 2021-12-25 22:54:19,"郭伟权" 写道:
jdbc sink的buffer-flush不会减少写入的数据量,只是变成微批写入而已,mysql写入的压力并没有减少。
而我想要实现的效果是会减少写的数据量,因为同一个key的数据被聚合成最后一条。
在 2021-12-26 09:43:47,"Zhiwen Sun" 写道:
>不用那么复杂,正常的 insert select group by 即可, 一分钟写一次 mysql 就行。
>
>参考 JDBC sink [1] 中的 sink.buffer-flush.interval 和 sink.buffer-flush.max-rows
>参数
>
拿如下提交命令举例,pod-temlate.yaml是在和运行run-application这个命令相同的机器上面。Flink
client会自动把这个文件存放到ConfigMap,然后挂载给JM的
user jar(StateMachineExample.jar)是需要在镜像里面
注意:一般需要在镜像里面的都会使用local://这个schema,本地文件则不需要
bin/flink run-application -t kubernetes-application \
-Dkubernetes.cluster-id=my-flink-cluster \