Congratulations !
Thanks for all contributors.
Best,
Zhongqiang Gong
Qingsheng Ren 于 2024年5月17日周五 17:33写道:
> The Apache Flink community is very happy to announce the release of
> Apache Flink CDC 3.1.0.
>
> Apache Flink CDC is a distributed data integration tool for real time
> data and batch
你好,
可以通过使用 globalState / windowState 获取之前的状态进行增量计算。
下面这个 demo 可以方便理解:
public class ProcessWindowFunctionDemo {
public static void main(String[] args) throws Exception {
final StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
// 使用处理时间
你好:
如果想长期保留已完成的任务,推荐使用 History Server :
https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#history-server
Best,
Zhongqiang Gong
ha.fen...@aisino.com 于2024年4月9日周二 10:39写道:
> 在WEBUI里面,已完成的任务会在completed jobs里面能够看到,过了一会再进去看数据就没有了,是有什么配置自动删除吗?
>
可以尝试的解决办法:
- 调大 JM 内存 (如 Shawn Huang 所说)
- 调整快照期间批读的大小,以降低 state 大小从而减轻 checkpiont 过程中 JM 内存压力
Best,
Zhongqiang Gong
wyk 于2024年4月9日周二 16:56写道:
>
> 是的,分片比较大,有一万七千多个分片
>
> jm内存目前是2g,我调整到4g之后还是会有这么问题,我在想如果我一直调整jm内存,后面增量的时候内存会有所浪费,在flink官网上找到了flink堆内存的相关参数,但是对这个不太了解,不知道具体该怎么调试合适,麻烦帮忙看一下如下图
你好:
当前 flink 1.19 版本只是标识为过时,在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink
版本考虑,可以将这些SourceFunction用Source重新实现。
ha.fen...@aisino.com 于2024年3月28日周四 14:18写道:
>
> 原来是继承SourceFunction实现一些简单的自动生成数据的方法,在1.19中已经标识为过期,好像是使用Source接口,这个和原来的SourceFunction完全不同,应该怎么样生成测试使用的自定义数据源呢?
>
Hi, scott
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自
user-zh@flink.apache.org
邮件组的邮件,你可以参考[1][2]
管理你的邮件订阅。
Best,
Zhongqiang Gong
[1]
https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8
[2] https://flink.apache.org/community.html#mailing-lists
己巳 于 202
Congrattulations! Thanks for the great work!
Best,
Zhongqiang Gong
Leonard Xu 于2024年3月20日周三 21:36写道:
> Hi devs and users,
>
> We are thrilled to announce that the donation of Flink CDC as a
> sub-project of Apache Flink has completed. We invite you to explore the new
> resources available:
>
>
Congrats! Thanks to everyone involved!
Best,
Zhongqiang Gong
Lincoln Lee 于2024年3月18日周一 16:27写道:
> The Apache Flink community is very happy to announce the release of Apache
> Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19 series.
>
> Apache Flink® is an open-source stream pr
hi, 东树
隐藏sql中的敏感信息,这个需要外部的大数据平台来做。
比如:StreamPark 的变量管理,可以提前维护好配置信息,编写sql时引用配置,由平台提交至flink时解析sql并替换变量。
Best,
Zhongqiang Gong
杨东树 于2024年3月10日周日 21:50写道:
> 各位好,
>考虑到数据库用户、密码安全性问题,使用FlinkSQL connector
> jdbc时,请问如何对数据库的用户密码进行加密/隐藏呢。例如如下常用sql中的password:
> CREATE TABLE wordcount_sink (
> w