退订
541122...@qq.com
1. watermark的问题需要检查一下source,比如watermark是如何定义的、是不是source没数据导致watermark不前进等。
2. 小文件合并的功能Hive跟FileSystem connector都是支持的,可以参考这个文档配置一下试试:
https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/filesystem.html#file-compaction
On Fri, Apr 9, 2021 at 1:04 PM HunterXHunter <13564
使用flink 1.11.2
启动任务的时候报
getMetricGroup is not supported when optimizing
请问各位大佬,怎么解决好?
发自我的iPhone
Hi Luna Wong.
RichOutputFormat 实现的最终是由 Flink 提供的 OutputFormatSinkFunction 再包装成
SinkFunction。 OutputFormatSinkFunction 很早就 Deprecated 了,没有实现
CheckpointedFunction 。
jdbc 的是实现了 RichOutputFormat ,但是最后用 GenericJdbcSinkFunction 包装了一次,
GenericJdbcSinkFunction 实现了 CheckpointedFunction,
刚好最近遇到 https://issu
我使用UDAF的方式解决了
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi guoxb.
没有全部代码,我猜你 addSink() 走了两次,调试看下。
guoxb__...@sina.com 于2021年4月9日周五 下午2:36写道:
> hi:
>情景:
> 我在用flink通过FlinkKafkaConsumer消费kafka的数据并写入到mysql的时候,在sink端我继承
> RichSinkFunction ,并重写了open(),close()方法,以及实现了invoke(),方法
> 个人理解:
> 1. open()方法在程序启动的时候只走一次,我在该方法中初始化了数据库连接
>