Re: flink mysql cdc同步字段不识别

这个报错日志应该没有关系，是 rest client 的报错，不是正常数据处理流程的报错。 mysql-cdc 没有 jackson json 解析相关的代码。 On Wed, 5 Jan 2022 at 17:09, Fei Han wrote: > > @all: > Flink mysql cdc同步数据报字段不识别，是什么原因造成的？难道是关键字不识别？报错日志如下： > > httpResponseStatus=200 OK} > org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.exc.Unr

Re: 邮件归档访问不了

nabble 服务挂了，用这个地址吧：https://lists.apache.org/list.html?d...@flink.apache.org On Fri, 31 Dec 2021 at 18:29, Ada Wong wrote: > 想看当时的讨论情况，但是这个访问不了。 > > > http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/DISCUSS-Move-Flink-ML-pipeline-API-and-library-code-to-a-separate-repository-named-

Re: flinkCDC2.1.1

Flink CDC 的问题可以 report 到 https://github.com/ververica/flink-cdc-connectors/issues到 On Thu, 30 Dec 2021 at 14:08, Liu Join wrote: > 使用flinkCDC2.1.1读取MySQL数据，一段时间后报错 > 图床链接：报错图片 > > > > 从 Windows 版邮件 发送 > > >

回复：邮件归档访问不了

我单独私聊下，钉钉。现在有几个问题，帮忙看下拉 -- 发件人：Jark Wu 发送时间：2022年1月6日(星期四) 16:43 收件人：user-zh 主　题：Re: 邮件归档访问不了 nabble 服务挂了，用这个地址吧：https://lists.apache.org/list.html?d...@flink.apache.org On Fri, 31 Dec 2021 at 18:29, Ada Wong wrote: > 想看当时的讨论情况

回复：flinkCDC2.1.1

flink cdc 数据同步作业无法提交（standalone）,issues也提交了。报错如下 WARN org.apache.flink.table.client.cli.CliClient [] - Could not execute SQL statement. org.apache.flink.table.client.gateway.SqlExecutionException: Could not execute SQL statement. at org.apache.flink.table.client.gateway

退订

退订

Re: Re: flink sql回撤流sink优化问题

这个问题可以用mini-batch[1]来解决呀 [1] https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/tuning/#minibatch-aggregation casel.chen 于2021年12月26日周日 18:01写道： > 你说的是upsert-kafka的这两个参数吗？ > > sink.buffer-flush.max-rows > sink.buffer-flush.interval > 确实能达到我想要的效果，但是会引入额外的kafka sink，另外还是从sink > k

Re: 咨询个Flink SQL的问题，如何去除null的字段

我们内部是给json format加了一个功能，允许不把null字段进行序列化。主要解决的也是es这个写入的场景。 你们也可以试一下。 RS 于2021年12月29日周三 16:41写道： > Hi， > 使用Flink SQL消费Kafka写ES，有时候有的字段不存在，不存在的不想写入ES，这种情况怎么处理呢？ > > > 比如：源数据有3个字段，a,b,c > insert into table2 > select > a,b,c > from table1 > 当b=null的时候，只希望写入a和c > 当c=null的时候，只希望写入a和b > > -- Best, Be

Re:Re: Re: flink sql回撤流sink优化问题

mini-batch优化针对sink算子也有效吗？我是直接aggregate without window然后将聚合结果输出到sink算子。 在 2022-01-06 20:43:00，"Benchao Li" 写道： >这个问题可以用mini-batch[1]来解决呀 > >[1] >https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/tuning/#minibatch-aggregation > >casel.chen 于2021年12月26日周日 18:01写道：

Re: Re: Re: flink sql回撤流sink优化问题

mini-batch对aggregate算子是有效的，开启了之后它的输出会降低一些，从而降低了sink的输出压力。 casel.chen 于2022年1月7日周五 07:42写道： > mini-batch优化针对sink算子也有效吗？我是直接aggregate without window然后将聚合结果输出到sink算子。 > > > > > > > > > > > > > > > > > > 在 2022-01-06 20:43:00，"Benchao Li" 写道： > >这个问题可以用mini-batch[1]来解决呀 > > > >[1] > > > https://nig

Re:Re: 咨询个Flink SQL的问题，如何去除null的字段

Hi， 感谢回复，我也测试过这类方法， 我给json format加了个参数，在序列化的时候，row里面去除null，但是这个要修改代码，单独更新flink-json的jar包了，后期维护可能会有问题 这种很适合写ES和写文件，不会有冗余的字段 如果社区能新增这个功能或者合并进去就方便了 在 2022-01-06 21:18:37，"Benchao Li" 写道： >我们内部是给json format加了一个功能，允许不把null字段进行序列化。主要解决的也是es这个写入的场景。 >你们也可以试一下。 > >RS 于2021年12月29日周三 16:41写道： > >> Hi， >>

Re: [DISCUSS] Change some default config values of blocking shuffle

Hi all, Thanks very much for all of the feedbacks. It seems that we have reached a consensus. I will start a vote soon. Best, Yingjie Yun Gao 于2022年1月5日周三 16:08写道： > Very thanks @Yingjie for completing the experiments! > > Also +1 for changing the default config values. From the experiments, >