Re: Flink CDC 2.0 整库同步如何实现?

2021-12-26 文章 Qishang
Hi 暂时还不支持,你看到的应该是未来规划的内容。 casel.chen 于2021年12月24日周五 20:50写道: > 看文章介绍说Flink CDC 2.0 支持整库同步,见 https://www.jianshu.com/p/b81859d67fec > 整库同步:用户要同步整个数据库只需一行 SQL 语法即可完成,而不用每张表定义一个 DDL 和 query。 > 想知道Flink CDC 2.0 整库同步如何实现?有没有例子?谢谢!

Re: flinksql钩子函数

2021-12-26 文章 Caizhi Weng
Hi! ExecutionEnvironment 与 StreamExecutionEnvironment 均有 registerJobListener 方法 [1][2],可以传进一个 JobListener [3],在作业提交以及完成的时候调用对应方法。当然,这需要你提交作业的客户端程序一直存在,直到作业完成并且对应函数被调用。 [1]

Re:Ask for help about run "Real Time Reporting with the Table API"

2021-12-26 文章 张震
Dear Member That is my bad and I do not edit the report function. No more question about this case. Sorry to bother you~ Best regards Zhen ZHANG(Allen) Finance Accounting and Management(FAM) Functional (FIN) Department Enactus-Entrepreneurial Action Us (Former name: SIFE) TB114, The

Ask for help about run "Real Time Reporting with the Table API"

2021-12-26 文章 张震
Dear Member I just get start learning flink and try the case, "Real Time Reporting with the Table API " (https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/try-flink/table_api/) When I ran docker-compose, all containers worked except jobmanager which is exited with 2. The

Ask for help about run "Real Time Reporting with the Table API"

2021-12-26 文章 张震
Dear Member I just get start learning flink and try the case, "Real Time Reporting with the Table API" (https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/try-flink/table_api/) When I ran docker-compose, all containers worked except jobmanager which is exited with 2. I

Re:Re: flink sql回撤流sink优化问题

2021-12-26 文章 casel.chen
你说的是upsert-kafka的这两个参数吗? sink.buffer-flush.max-rows sink.buffer-flush.interval 确实能达到我想要的效果,但是会引入额外的kafka sink,另外还是从sink kafka消费再写入mysql,链路有点长,最好是能在原来作业的基础上在sink前添加一个聚合算子。 在 2021-12-25 22:54:19,"郭伟权" 写道:

Re:Re: flink sql回撤流sink优化问题

2021-12-26 文章 casel.chen
jdbc sink的buffer-flush不会减少写入的数据量,只是变成微批写入而已,mysql写入的压力并没有减少。 而我想要实现的效果是会减少写的数据量,因为同一个key的数据被聚合成最后一条。 在 2021-12-26 09:43:47,"Zhiwen Sun" 写道: >不用那么复杂,正常的 insert select group by 即可, 一分钟写一次 mysql 就行。 > >参考 JDBC sink [1] 中的 sink.buffer-flush.interval 和 sink.buffer-flush.max-rows >参数 >

Re: Flink on Native K8s 部署模式下Tm和Jm容器配置Hosts问题

2021-12-26 文章 Yang Wang
拿如下提交命令举例,pod-temlate.yaml是在和运行run-application这个命令相同的机器上面。Flink client会自动把这个文件存放到ConfigMap,然后挂载给JM的 user jar(StateMachineExample.jar)是需要在镜像里面 注意:一般需要在镜像里面的都会使用local://这个schema,本地文件则不需要 bin/flink run-application -t kubernetes-application \ -Dkubernetes.cluster-id=my-flink-cluster \