Re: [ANNOUNCE] Apache Flink CDC 3.1.0 released

2024-05-17 文章 gongzhongqiang
Congratulations ! Thanks for all contributors. Best, Zhongqiang Gong Qingsheng Ren 于 2024年5月17日周五 17:33写道: > The Apache Flink community is very happy to announce the release of > Apache Flink CDC 3.1.0. > > Apache Flink CDC is a distributed data integration tool for real time > data and

Re: [ANNOUNCE] Apache Flink CDC 3.1.0 released

2024-05-17 文章 Hang Ruan
Congratulations! Thanks for the great work. Best, Hang Qingsheng Ren 于2024年5月17日周五 17:33写道: > The Apache Flink community is very happy to announce the release of > Apache Flink CDC 3.1.0. > > Apache Flink CDC is a distributed data integration tool for real time > data and batch data, bringing

Re: [ANNOUNCE] Apache Flink CDC 3.1.0 released

2024-05-17 文章 Leonard Xu
Congratulations ! Thanks Qingsheng for the great work and all contributors involved !! Best, Leonard > 2024年5月17日 下午5:32,Qingsheng Ren 写道: > > The Apache Flink community is very happy to announce the release of > Apache Flink CDC 3.1.0. > > Apache Flink CDC is a distributed data integration

[ANNOUNCE] Apache Flink CDC 3.1.0 released

2024-05-17 文章 Qingsheng Ren
The Apache Flink community is very happy to announce the release of Apache Flink CDC 3.1.0. Apache Flink CDC is a distributed data integration tool for real time data and batch data, bringing the simplicity and elegance of data integration via YAML to describe the data movement and transformation

Re: Flink 1.18.1 ,重启状态恢复

2024-05-16 文章 Yanfei Lei
看起来和 FLINK-34063 / FLINK-33863 是同样的问题,您可以升级到1.18.2 试试看。 [1] https://issues.apache.org/jira/browse/FLINK-33863 [2] https://issues.apache.org/jira/browse/FLINK-34063 陈叶超 于2024年5月16日周四 16:38写道: > > 升级到 flink 1.18.1 ,任务重启状态恢复的话,遇到如下报错: > 2024-04-09 13:03:48 > java.lang.Exception: Exception while

Get access to unmatching events in Apache Flink Cep

2024-05-16 文章 Anton Sidorov
Hello! I have a Flink Job with CEP pattern. Pattern example: // Strict Contiguity // a b+ c d e Pattern.begin("a", AfterMatchSkipStrategy.skipPastLastEvent()).where(...) .next("b").where(...).oneOrMore() .next("c").where(...) .next("d").where(...)

Flink 1.18.1 ,重启状态恢复

2024-05-16 文章 陈叶超
升级到 flink 1.18.1 ,任务重启状态恢复的话,遇到如下报错: 2024-04-09 13:03:48 java.lang.Exception: Exception while creating StreamOperatorStateContext. at org.apache.flink.streaming.api.operators.StreamTaskStateInitializerImpl.streamOperatorStateContext(StreamTaskStateInitializerImpl.java:258) at

Re:Re: use flink 1.19 JDBC Driver can find jdbc connector

2024-05-15 文章 Xuyang
Hi, > 现在可以用中文了? 我看你发的是中文答疑邮箱 > 就是opt目录里面的gateway.jar直接编辑Factory文件把connector注册就行了 你的意思是,之前报错类似"找不到一个jdbc connector",然后直接在gateway的jar包里的META-INF/services内的Factory文件(SPI文件)内加入jdbc connector的Factory实现类就好了吗? 如果是这个问题就有点奇怪,因为本身flink-connector-jdbc的spi文件就已经将相关的类写进去了[1],按理说放到lib目录下,就会spi发现的

Re: use flink 1.19 JDBC Driver can find jdbc connector

2024-05-15 文章 abc15606
现在可以用中文了?就是opt目录里面的gateway.jar直接编辑Factory文件把connector注册就行了 > 在 2024年5月15日,15:36,Xuyang 写道: > > Hi, 看起来你之前的问题是jdbc driver找不到,可以简单描述下你的解决的方法吗?“注册connection数的数量”有点不太好理解。 > > > > > 如果确实有类似的问题、并且通过这种手段解决了的话,可以建一个improvement的jira issue[1]来帮助社区跟踪、改善这个问题,感谢! > > > > > [1]

Re:请问如何贡献Flink Hologres连接器?

2024-05-15 文章 Xuyang
Hi, 我觉得如果只是从贡献的角度来说,支持flink hologres connector是没问题的,hologres目前作为比较热门的数据库,肯定是有很多需求的,并且现在aliyun github官方也基于此提供了开源的flink hologres connector[1]。 但是涉及到aliyun等公司商业化的ververica-connector-hologres包,如果想直接开源的话,在我的角度最好事先确认下面几点,不然可能会隐含一些法律风险 1.

Re:Re: use flink 1.19 JDBC Driver can find jdbc connector

2024-05-15 文章 Xuyang
Hi, 看起来你之前的问题是jdbc driver找不到,可以简单描述下你的解决的方法吗?“注册connection数的数量”有点不太好理解。 如果确实有类似的问题、并且通过这种手段解决了的话,可以建一个improvement的jira issue[1]来帮助社区跟踪、改善这个问题,感谢! [1] https://issues.apache.org/jira/projects/FLINK/summary -- Best! Xuyang 在 2024-05-10 12:26:22,abc15...@163.com 写道: >I've

请问如何贡献Flink Hologres连接器?

2024-05-13 文章 casel.chen
我们有使用阿里云商业版Hologres数据库,同时我们有自研的Flink实时计算平台,为了实现在Hologres上实时建仓,我们基于开源Apache Flink 1.17.1结合阿里云maven仓库的ververica-connector-hologres包[1]和开源的holo client[2]开发了hologres connector,修复了一些jar依赖问题。目前我们已经在生产环境使用了一段时间,暂时没有发现问题,现在想将它贡献给社区。 请问: 1. 贡献Flink Hologres连接器是否合规? 2. 如果合规的话,PR应该提到哪个项目代码仓库? 3. 还是说要像

Re: 使用Kafka记录自身的时间戳问题

2024-05-13 文章 Biao Geng
Hi, >>> 那这个时间戳是kafka接收到数据自动生成的时间吗?还是说消息发送给kafka的时候需要怎么设置把业务时间附上去? 这个时间戳来自Kafka record里的时间戳,可以参考代码

Re: use flink 1.19 JDBC Driver can find jdbc connector

2024-05-13 文章 kellygeorg...@163.com
退订 Replied Message | From | abc15...@163.com | | Date | 05/10/2024 12:26 | | To | user-zh@flink.apache.org | | Cc | | | Subject | Re: use flink 1.19 JDBC Driver can find jdbc connector | I've solved it. You need to register the number of connections in the jar of gateway. But this is

Re: 退订

2024-05-11 文章 Hang Ruan
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件,你可以参考[1][2] 管理你的邮件订阅。 Best, Hang [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists 爱看书不识字 于2024年5月11日周六 10:06写道:

Re: use flink 1.19 JDBC Driver can find jdbc connector

2024-05-09 文章 abc15606
I've solved it. You need to register the number of connections in the jar of gateway. But this is inconvenient, and I still hope to improve it. 发自我的 iPhone > 在 2024年5月10日,11:56,Xuyang 写道: > > Hi, can you print the classloader and verify if the jdbc connector exists in > it? > > > > > --

Re:use flink 1.19 JDBC Driver can find jdbc connector

2024-05-09 文章 Xuyang
Hi, can you print the classloader and verify if the jdbc connector exists in it? -- Best! Xuyang At 2024-05-09 17:48:33, "McClone" wrote: >I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can not >find jdbc connector,but use sql-client is normal.

请问有没有公司可以提供开源Flink维保服务?

2024-05-09 文章 LIU Xiao
如题

Re: 退订

2024-05-09 文章 Yunfeng Zhou
Hi, 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, yunfeng On Thu, May 9, 2024 at 5:58 PM xpfei0811 wrote: > > 退订 > > 回复的原邮件 > | 发件人 | wangfengyang | > | 发送日期 | 2024年04月23日 18:10 | > | 收件人 | user-zh | > | 主题 | 退订 | > 退订

??????????

2024-05-09 文章 xpfei0811
| ?? | wangfengyang | | | 2024??04??23?? 18:10 | | ?? | user-zh | | | |

回复:退订

2024-05-09 文章 xpfei0811
退订 回复的原邮件 | 发件人 | jh...@163.com | | 发送日期 | 2024年04月20日 22:01 | | 收件人 | user-zh | | 主题 | Re: 退订 | | | jhg22 | | jh...@163.com | jh...@163.com 发件人: 冮雪程 发送时间: 2024-04-19 18:01 收件人: user-zh@flink.apache.org 主题: 退订 | | 冮雪程 | | gxc_bigd...@163.com | 回复的原邮件 | 发件人 |

use flink 1.19 JDBC Driver can find jdbc connector

2024-05-09 文章 McClone
I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can not find jdbc connector,but use sql-client is normal.

Re: Re: java.io.IOException: Could not load the native RocksDB library

2024-05-06 文章 Yanfei Lei
或许您可以尝试参考下[1] 再验证下加载的问题。 BTW,目前看起来是有些依赖库找不到,librocksdbjni-win64.dll 当时是基于 VS2022 编译出来的,您也尝试下在本地安装下VS2022后重试。 [1] https://github.com/facebook/rocksdb/issues/2531#issuecomment-313209314 ha.fen...@aisino.com 于2024年5月7日周二 10:22写道: > > idea工具,win10操作系统 > java.io.IOException: Could not load the

Re: java.io.IOException: Could not load the native RocksDB library

2024-05-06 文章 Yanfei Lei
请问是什么开发环境呢? windows吗? 可以分享一下更详细的报错吗?比如.dll 找不到 ha.fen...@aisino.com 于2024年5月7日周二 09:34写道: > > Configuration config = new Configuration(); > config.set(StateBackendOptions.STATE_BACKEND, "rocksdb"); > config.set(CheckpointingOptions.CHECKPOINT_STORAGE, "filesystem"); >

Re: Flink sql retract to append

2024-04-30 文章 Zijun Zhao
以处理时间为升序,处理结果肯定不会出现回撤的,因为往后的时间不会比当前时间小了,你可以在试试这个去重 On Tue, Apr 30, 2024 at 3:35 PM 焦童 wrote: > 谢谢你的建议 但是top-1也会产生回撤信息 > > > 2024年4月30日 15:27,ha.fen...@aisino.com 写道: > > > > 可以参考这个 > > > https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/dev/table/sql/queries/deduplication/ > >

Re:Re: 在idea中用CliFrontend提交job 报错 java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;

2024-04-30 文章 z_mmG
您好,根据您的指点,配置之后,重启了StandaloneSessionClusterEntrypoint和TaskManagerrunner,这个问题解决了,谢谢您 在 2024-04-30 15:45:18,"Biao Geng" 写道: >Hi, > >这个报错一般是JDK版本不一致导致的。建议统一build flink和执行flink作业时的Java版本,(都用JDK8 或者 都用JDK11)。 >用JDK11时没有sun.misc的问题可以试试勾选掉Idea的Settings-> Build, Execution and Deployment

Re:Re: 在idea中用CliFrontend提交job 报错 java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;

2024-04-30 文章 z_mmG
您好,按照您的指点,现在运行和编译都用的jdk11,已经没有sun.misc的报错了,但是提交job 还是报相同的错误 D:\software\jdk-11.0.7\bin\java.exe -agentlib:jdwp=transport=dt_socket,address=127.0.0.1:11039,suspend=y,server=n -Dlog.file=./log/flink-client.log -Dlog4j.configuration=./conf/log4j-cli.properties

Re: 在idea中用CliFrontend提交job 报错 java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;

2024-04-30 文章 Biao Geng
Hi, 这个报错一般是JDK版本不一致导致的。建议统一build flink和执行flink作业时的Java版本,(都用JDK8 或者 都用JDK11)。 用JDK11时没有sun.misc的问题可以试试勾选掉Idea的Settings-> Build, Execution and Deployment -> Compiler-> Java Compiler的Use '--release' option for cross-compilation' 选项。 Best, Biao Geng z_mmG <13520871...@163.com> 于2024年4月30日周二

Re: Flink sql retract to append

2024-04-30 文章 焦童
谢谢你的建议 但是top-1也会产生回撤信息 > 2024年4月30日 15:27,ha.fen...@aisino.com 写道: > > 可以参考这个 > https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/dev/table/sql/queries/deduplication/ > 1.11版本不知道是不是支持 > > From: 焦童 > Date: 2024-04-30 11:25 > To: user-zh > Subject: Flink sql retract to append

在idea中用CliFrontend提交job 报错 java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;

2024-04-30 文章 z_mmG
JDK11 编译的flink1.19的源码 因为他说没有sun.misc,所以启动用的jdk8 已连接到地址为 ''127.0.0.1:8339',传输: '套接字'' 的目标虚拟机 Job has been submitted with JobID 0975ec264edfd11d236dd190e7708d70 The program finished with the following exception:

Flink sql retract to append

2024-04-29 文章 焦童
Hello , 我使用Flink 1.11 版本 sql 进行数据去重(通过 group by 形式)但是这会产生回撤流,下游存储不支持回撤流信息仅支持append,在DataStream 中我可以通过状态进行去重,但是在sql中如何做到去重且不产生回撤流呢。谢谢各位

Re:Flink 截止到1.18,是否有办法在Table API上添加uid?

2024-04-24 文章 Xuyang
Hi, 如果在中间添加了op,或者修改了处理逻辑,那么代表拓扑图会变,那么基于拓扑序所确定的uid也会变,从状态恢复就可能失败。具体可以参考[1] 目前table api应该是没有开放自定义uid的能力,可以在jira[2]上新建一个feature的jira,然后在dev邮件里发起讨论下。 [1]

Flink 截止到1.18,是否有办法在Table API上添加uid?

2024-04-24 文章 Guanlin Zhang
Hi Team, 我们这边的业务使用 Flink MySQL CDC到 OpenSearch并且使用TABLE API: INSERT INTO t1 SELECT * FROM t2 这种方式。 由于我们这边可能会在运行过程中添加额外的Operator,我们有办法在使用snapshot 恢复后保留之前src和sink operator的状态么?我看到在DataStream API可以通过设定uid。Table API有同样的方法吗?我看到Flink jira:https://issues.apache.org/jira/browse/FLINK-28861

Re:处理时间的滚动窗口提前触发

2024-04-23 文章 Xuyang
Hi, 我看你使用了System.currentTimeMillis(),有可能是分布式的情况下,多台TM上的机器时间不一致导致的吗? -- Best! Xuyang 在 2024-04-20 19:04:14,"hhq" <424028...@qq.com.INVALID> 写道: >我使用了一个基于处理时间的滚动窗口,窗口大小设置为60s,但是我在窗口的处理函数中比较窗口的结束时间和系统时间,偶尔会发现获取到的系统时间早于窗口结束时间(这里的提前量不大,只有几毫秒,但是我不清楚,这是flink窗口本身的原因还是我代码的问题)我没有找到原因,请求帮助

申请退订邮件

2024-04-21 文章 Steven Shi
退订 > 下面是被转发的邮件: > > 发件人: Biao Geng > 主题: 回复:申请退订邮件申请,谢谢 > 日期: 2024年4月2日 GMT+8 10:17:20 > 收件人: user-zh@flink.apache.org > 回复-收件人: user-zh@flink.apache.org > > Hi, > > 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org > . > > > Best, > Biao Geng > > 于2024年3月31日周日 22:20写道: > >>

处理时间的滚动窗口提前触发

2024-04-20 文章 hhq
我使用了一个基于处理时间的滚动窗口,窗口大小设置为60s,但是我在窗口的处理函数中比较窗口的结束时间和系统时间,偶尔会发现获取到的系统时间早于窗口结束时间(这里的提前量不大,只有几毫秒,但是我不清楚,这是flink窗口本身的原因还是我代码的问题)我没有找到原因,请求帮助 public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

退订

2024-04-19 文章 冮雪程
| | 冮雪程 | | gxc_bigd...@163.com | 回复的原邮件 | 发件人 | jh...@163.com | | 发送日期 | 2024年04月18日 16:17 | | 收件人 | user-zh | | 主题 | Re: 回复:退订 | 退订 jh...@163.com 发件人: 我的意中人是个盖世英雄 发送时间: 2024-04-18 16:03 收件人: user-zh 主题: 回复:退订 退订 ---原始邮件--- 发件人: "willluzheng"

Re: Flink流批一体应用在实时数仓数据核对场景下有哪些注意事项?

2024-04-18 文章 Yunfeng Zhou
流模式和批模式在watermark和一些算子语义等方面上有一些不同,但没看到Join和Window算子上有什么差异,这方面应该在batch mode下应该是支持的。具体的两种模式的比较可以看一下这个文档 https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/datastream/execution_mode/ On Thu, Apr 18, 2024 at 9:44 AM casel.chen wrote: > > 有人尝试这么实践过么?可以给一些建议么?谢谢! > > > > > > > > > > > >

Re:Flink流批一体应用在实时数仓数据核对场景下有哪些注意事项?

2024-04-17 文章 casel.chen
有人尝试这么实践过么?可以给一些建议么?谢谢! 在 2024-04-15 11:15:34,"casel.chen" 写道: >我最近在调研Flink实时数仓数据质量保障,需要定期(每10/20/30分钟)跑批核对实时数仓产生的数据,传统方式是通过spark作业跑批,如Apache >DolphinScheduler的数据质量模块。 >但这种方式的最大缺点是需要使用spark sql重写flink >sql业务逻辑,难以确保二者一致性。所以我在考虑能否使用Flink流批一体特性,复用flink

Flink流批一体应用在实时数仓数据核对场景下有哪些注意事项?

2024-04-14 文章 casel.chen
我最近在调研Flink实时数仓数据质量保障,需要定期(每10/20/30分钟)跑批核对实时数仓产生的数据,传统方式是通过spark作业跑批,如Apache DolphinScheduler的数据质量模块。 但这种方式的最大缺点是需要使用spark sql重写flink sql业务逻辑,难以确保二者一致性。所以我在考虑能否使用Flink流批一体特性,复用flink sql,只需要将数据源从cdc或kafka换成hologres或starrocks表,再新建跑批结果表,最后只需要比较相同时间段内实时结果表和跑批结果表的数据即可。不过有几点疑问: 1. 原实时flink

回复:退订

2024-04-14 文章 willluzheng
退订 回复的原邮件 | 发件人 | jimandlice | | 发送日期 | 2024年04月13日 19:50 | | 收件人 | user-zh | | 主题 | 退订 | 退订 jimandlice jimandl...@163.com

退订

2024-04-13 文章 jimandlice
退订 jimandlice jimandl...@163.com

Re: ProcessWindowFunction中使用per-window state

2024-04-12 文章 gongzhongqiang
你好, 可以通过使用 globalState / windowState 获取之前的状态进行增量计算。 下面这个 demo 可以方便理解: public class ProcessWindowFunctionDemo { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 使用处理时间

Re:Unable to use Table API in AWS Managed Flink 1.18

2024-04-10 文章 Xuyang
Hi, Perez. Flink use SPI to find the jdbc connector in the classloader and when starting, the dir '${FLINK_ROOT}/lib' will be added into the classpath. That is why in AWS the exception throws. IMO there are two ways to solve this question. 1. upload the connector jar to AWS to let the

Unable to use Table API in AWS Managed Flink 1.18

2024-04-10 文章 Enrique Alberto Perez Delgado
Hi all, I am using AWS Managed Flink 1.18, where I am getting this error when trying to submit my job: ``` Caused by: org.apache.flink.table.api.ValidationException: Cannot discover a connector using option: 'connector'='jdbc' at

Re: flink 已完成job等一段时间会消失

2024-04-09 文章 gongzhongqiang
你好: 如果想长期保留已完成的任务,推荐使用 History Server : https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#history-server Best, Zhongqiang Gong ha.fen...@aisino.com 于2024年4月9日周二 10:39写道: > 在WEBUI里面,已完成的任务会在completed jobs里面能够看到,过了一会再进去看数据就没有了,是有什么配置自动删除吗? >

Re: Re: 采集mysql全量的时候出现oom问题

2024-04-09 文章 gongzhongqiang
可以尝试的解决办法: - 调大 JM 内存 (如 Shawn Huang 所说) - 调整快照期间批读的大小,以降低 state 大小从而减轻 checkpiont 过程中 JM 内存压力 Best, Zhongqiang Gong wyk 于2024年4月9日周二 16:56写道: > > 是的,分片比较大,有一万七千多个分片 > >

Re:Re: 采集mysql全量的时候出现oom问题

2024-04-09 文章 wyk
是的,分片比较大,有一万七千多个分片 jm内存目前是2g,我调整到4g之后还是会有这么问题,我在想如果我一直调整jm内存,后面增量的时候内存会有所浪费,在flink官网上找到了flink堆内存的相关参数,但是对这个不太了解,不知道具体该怎么调试合适,麻烦帮忙看一下如下图这些参数调整那个合适呢? flink官网地址为: https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/memory/mem_setup_jobmanager/ | Component |

Re: 采集mysql全量的时候出现oom问题

2024-04-08 文章 Shawn Huang
从报错信息看,是由于JM的堆内存不够,可以尝试把JM内存调大,一种可能的原因是mysql表全量阶段分片较多,导致SourceEnumerator状态较大。 Best, Shawn Huang wyk 于2024年4月8日周一 17:46写道: > > > 开发者们好: > flink版本1.14.5 > flink-cdc版本 2.2.0 > > 在使用flink-cdc-mysql采集全量的时候,全量阶段会做checkpoint,但是checkpoint的时候会出现oom问题,这个有什么办法吗? >

回复:flink 已完成job等一段时间会消失

2024-04-08 文章 spoon_lz
有一个过期时间的配置 https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#jobstore-expiration-time | | spoon_lz | | spoon...@126.com | 回复的原邮件 | 发件人 | ha.fen...@aisino.com | | 发送日期 | 2024年04月9日 10:38 | | 收件人 | user-zh | | 主题 | flink 已完成job等一段时间会消失 |

Re: flink cdc metrics 问题

2024-04-07 文章 Shawn Huang
你好,目前flink cdc没有提供未消费binlog数据条数这样的指标,你可以通过 currentFetchEventTimeLag 这个指标(表示消费到的binlog数据中时间与当前时间延迟)来判断当前消费情况。 [1]

flink cdc metrics 问题

2024-04-07 文章 casel.chen
请问flink cdc对外有暴露一些监控metrics么? 我希望能够监控到使用flink cdc的实时作业当前未消费的binlog数据条数,类似于kafka topic消费积压监控。 想通过这个监控防止flink cdc实时作业消费慢而被套圈(最大binlog条数如何获取?)

Re: 退订

2024-04-07 文章 Biao Geng
Hi, If you want to unsubscribe to user-zh mailing list, please send an email with any content to user-zh-unsubscr...@flink.apache.org . 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 995626544 <995626...@qq.com.invalid> 于2024年4月7日周日 16:06写道: > 退订 > > > > > 995626544 >

Re: HBase SQL连接器为啥不支持ARRAY/MAP/ROW类型

2024-04-06 文章 Yunfeng Zhou
应该是由于这些复杂集合在HBase中没有一个直接与之对应的数据类型,所以Flink SQL没有直接支持的。 一种思路是把这些数据类型按照某种格式(比如json)转换成字符串/序列化成byte array,把字符串存到HBase中,读取出来的时候也再解析/反序列化。 On Mon, Apr 1, 2024 at 7:38 PM 王广邦 wrote: > > HBase SQL 连接器(flink-connector-hbase_2.11) 为啥不支持数据类型:ARRAY、MAP / MULTISET、ROW > 不支持? >

Re: 配置hadoop依赖问题

2024-04-01 文章 Biao Geng
Hi fengqi, “Hadoop is not in the classpath/dependencies.”报错说明org.apache.hadoop.conf.Configuration和org.apache.hadoop.fs.FileSystem这些hdfs所需的类没有找到。 如果你的系统环境中有hadoop的话,通常是用这种方式来设置classpath: export HADOOP_CLASSPATH=`hadoop classpath`

Re: 退订

2024-04-01 文章 Biao Geng
Hi, 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng CloudFunny 于2024年3月31日周日 22:25写道: > >

Re: 退订

2024-04-01 文章 Biao Geng
Hi, 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 戴少 于2024年4月1日周一 11:09写道: > 退订 > > -- > > Best Regards, > > > > > 回复的原邮件 > | 发件人 | wangfengyang | > | 发送日期 | 2024年03月22日 17:28 | > | 收件人 | user-zh | > | 主题 | 退订 | > 退订

Re: 退订

2024-04-01 文章 Biao Geng
Hi, 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 杨东树 于2024年3月31日周日 20:23写道: > 申请退订邮件通知,谢谢!

Re: 申请退订邮件申请,谢谢

2024-04-01 文章 Biao Geng
Hi, 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 于2024年3月31日周日 22:20写道: > 申请退订邮件申请,谢谢

退订

2024-04-01 文章 薛礼彬
退订

Re: 回复:退订

2024-03-31 文章 Zhanghao Chen
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅。你可以参考[1] 来管理你的邮件订阅。 [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 Best, Zhanghao Chen From: 戴少 Sent: Monday, April 1, 2024 11:10 To: user-zh Cc:

Re: 退订

2024-03-31 文章 Zhanghao Chen
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅。你可以参考[1] 来管理你的邮件订阅。 [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 Best, Zhanghao Chen From: zjw Sent: Monday, April 1, 2024 11:05 To: user-zh@flink.apache.org Subject: 退订

Re: Re:Re: Re: 1.19自定义数据源

2024-03-31 文章 Zhanghao Chen
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅。你可以参考[1] 来管理你的邮件订阅。 [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 Best, Zhanghao Chen From: 熊柱 <18428358...@163.com> Sent: Monday, April 1, 2024 11:14 To:

Re:Re: Re: 1.19自定义数据源

2024-03-31 文章 熊柱
退订 在 2024-03-28 19:56:06,"Zhanghao Chen" 写道: >如果是用的 DataStream API 的话,也可以看下新增的 DataGen Connector [1] 是否能直接满足你的测试数据生成需求。 > > >[1] >https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/connectors/datastream/datagen/ > >Best, >Zhanghao Chen

回复:退订

2024-03-31 文章 戴少
退订 -- Best Regards, 回复的原邮件 | 发件人 | 李一飞 | | 发送日期 | 2024年03月14日 00:09 | | 收件人 | user-zh-sc.1618840368.ibekedaekejgeemingfn-kurisu_li=163.com, user-zh-subscribe , user-zh | | 主题 | 退订 | 退订

??????????

2024-03-31 文章 ????
-- Best Regards, | ?? | wangfengyang | | | 2024??03??22?? 17:28 | | ?? | user-zh | | | |

退订

2024-03-31 文章 zjw

退订

2024-03-31 文章 CloudFunny

申请退订邮件申请,谢谢

2024-03-31 文章 wangwj03
申请退订邮件申请,谢谢

退订

2024-03-31 文章 杨东树
申请退订邮件通知,谢谢!

Re: Re: 1.19自定义数据源

2024-03-28 文章 Zhanghao Chen
如果是用的 DataStream API 的话,也可以看下新增的 DataGen Connector [1] 是否能直接满足你的测试数据生成需求。 [1] https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/connectors/datastream/datagen/ Best, Zhanghao Chen From: ha.fen...@aisino.com Sent: Thursday, March 28, 2024 15:34 To:

Re: Re: 1.19自定义数据源

2024-03-28 文章 Shawn Huang
你好,关于如何实现source接口可以参考以下资料: [1] FLIP-27: Refactor Source Interface - Apache Flink - Apache Software Foundation [2] 如何高效接入 Flink:Connecter / Catalog API 核心设计与社区进展 (qq.com)

Re: 1.19自定义数据源

2024-03-28 文章 gongzhongqiang
你好: 当前 flink 1.19 版本只是标识为过时,在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink 版本考虑,可以将这些SourceFunction用Source重新实现。 ha.fen...@aisino.com 于2024年3月28日周四 14:18写道: > > 原来是继承SourceFunction实现一些简单的自动生成数据的方法,在1.19中已经标识为过期,好像是使用Source接口,这个和原来的SourceFunction完全不同,应该怎么样生成测试使用的自定义数据源呢? >

Re: [ANNOUNCE] Apache Flink Kubernetes Operator 1.8.0 released

2024-03-25 文章 Rui Fan
Congratulations! Thanks Max for the release and all involved for the great work! A gentle reminder to users: the maven artifact has just been released and will take some time to complete. Best, Rui On Mon, Mar 25, 2024 at 6:35 PM Maximilian Michels wrote: > The Apache Flink community is very

[ANNOUNCE] Apache Flink Kubernetes Operator 1.8.0 released

2024-03-25 文章 Maximilian Michels
The Apache Flink community is very happy to announce the release of the Apache Flink Kubernetes Operator version 1.8.0. The Flink Kubernetes Operator allows users to manage their Apache Flink applications on Kubernetes through all aspects of their lifecycle. Release highlights: - Flink

Re: 退订

2024-03-21 文章 gongzhongqiang
Hi, scott 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件,你可以参考[1][2] 管理你的邮件订阅。 Best, Zhongqiang Gong [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists 己巳 于

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-21 文章 gongzhongqiang
Congrattulations! Thanks for the great work! Best, Zhongqiang Gong Leonard Xu 于2024年3月20日周三 21:36写道: > Hi devs and users, > > We are thrilled to announce that the donation of Flink CDC as a > sub-project of Apache Flink has completed. We invite you to explore the new > resources available: >

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 Zakelly Lan
Congratulations! Best, Zakelly On Thu, Mar 21, 2024 at 12:05 PM weijie guo wrote: > Congratulations! Well done. > > > Best regards, > > Weijie > > > Feng Jin 于2024年3月21日周四 11:40写道: > >> Congratulations! >> >> >> Best, >> Feng >> >> >> On Thu, Mar 21, 2024 at 11:37 AM Ron liu wrote: >> >> >

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 weijie guo
Congratulations! Well done. Best regards, Weijie Feng Jin 于2024年3月21日周四 11:40写道: > Congratulations! > > > Best, > Feng > > > On Thu, Mar 21, 2024 at 11:37 AM Ron liu wrote: > > > Congratulations! > > > > Best, > > Ron > > > > Jark Wu 于2024年3月21日周四 10:46写道: > > > > > Congratulations and

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 Feng Jin
Congratulations! Best, Feng On Thu, Mar 21, 2024 at 11:37 AM Ron liu wrote: > Congratulations! > > Best, > Ron > > Jark Wu 于2024年3月21日周四 10:46写道: > > > Congratulations and welcome! > > > > Best, > > Jark > > > > On Thu, 21 Mar 2024 at 10:35, Rui Fan <1996fan...@gmail.com> wrote: > > > > >

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 Ron liu
Congratulations! Best, Ron Jark Wu 于2024年3月21日周四 10:46写道: > Congratulations and welcome! > > Best, > Jark > > On Thu, 21 Mar 2024 at 10:35, Rui Fan <1996fan...@gmail.com> wrote: > > > Congratulations! > > > > Best, > > Rui > > > > On Thu, Mar 21, 2024 at 10:25 AM Hang Ruan > wrote: > > > > >

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 shuai xu
Congratulations! Best! Xushuai > 2024年3月21日 10:54,Yanquan Lv 写道: > > Congratulations and Looking forward to future versions! > > Jark Wu 于2024年3月21日周四 10:47写道: > >> Congratulations and welcome! >> >> Best, >> Jark >> >> On Thu, 21 Mar 2024 at 10:35, Rui Fan <1996fan...@gmail.com> wrote:

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 Yanquan Lv
Congratulations and Looking forward to future versions! Jark Wu 于2024年3月21日周四 10:47写道: > Congratulations and welcome! > > Best, > Jark > > On Thu, 21 Mar 2024 at 10:35, Rui Fan <1996fan...@gmail.com> wrote: > > > Congratulations! > > > > Best, > > Rui > > > > On Thu, Mar 21, 2024 at 10:25 AM

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 Jark Wu
Congratulations and welcome! Best, Jark On Thu, 21 Mar 2024 at 10:35, Rui Fan <1996fan...@gmail.com> wrote: > Congratulations! > > Best, > Rui > > On Thu, Mar 21, 2024 at 10:25 AM Hang Ruan wrote: > > > Congrattulations! > > > > Best, > > Hang > > > > Lincoln Lee 于2024年3月21日周四 09:54写道: > > >

Re:Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 Xuyang
Cheers! -- Best! Xuyang 在 2024-03-21 10:28:45,"Rui Fan" <1996fan...@gmail.com> 写道: >Congratulations! > >Best, >Rui > >On Thu, Mar 21, 2024 at 10:25 AM Hang Ruan wrote: > >> Congrattulations! >> >> Best, >> Hang >> >> Lincoln Lee 于2024年3月21日周四 09:54写道: >> >>> >>> Congrats, thanks

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 Rui Fan
Congratulations! Best, Rui On Thu, Mar 21, 2024 at 10:25 AM Hang Ruan wrote: > Congrattulations! > > Best, > Hang > > Lincoln Lee 于2024年3月21日周四 09:54写道: > >> >> Congrats, thanks for the great work! >> >> >> Best, >> Lincoln Lee >> >> >> Peter Huang 于2024年3月20日周三 22:48写道: >> >>>

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 Hang Ruan
Congrattulations! Best, Hang Lincoln Lee 于2024年3月21日周四 09:54写道: > > Congrats, thanks for the great work! > > > Best, > Lincoln Lee > > > Peter Huang 于2024年3月20日周三 22:48写道: > >> Congratulations >> >> >> Best Regards >> Peter Huang >> >> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang wrote: >>

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 Lincoln Lee
Congrats, thanks for the great work! Best, Lincoln Lee Peter Huang 于2024年3月20日周三 22:48写道: > Congratulations > > > Best Regards > Peter Huang > > On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang wrote: > >> >> Congratulations >> >> >> >> Best, >> Huajie Wang >> >> >> >> Leonard Xu 于2024年3月20日周三

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 Huajie Wang
Congratulations Best, Huajie Wang Leonard Xu 于2024年3月20日周三 21:36写道: > Hi devs and users, > > We are thrilled to announce that the donation of Flink CDC as a > sub-project of Apache Flink has completed. We invite you to explore the new > resources available: > > - GitHub Repository:

[ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

2024-03-20 文章 Leonard Xu
Hi devs and users, We are thrilled to announce that the donation of Flink CDC as a sub-project of Apache Flink has completed. We invite you to explore the new resources available: - GitHub Repository: https://github.com/apache/flink-cdc - Flink CDC Documentation:

Re: flink operator 高可用任务偶发性报错unable to update ConfigMapLock

2024-03-20 文章 Yang Wang
这种一般是因为APIServer那边有问题导致单次的ConfigMap renew lease annotation的操作失败,Flink默认会重试的 如果你发现因为这个SocketTimeoutException原因导致了任务Failover,可以把下面两个参数调大 high-availability.kubernetes.leader-election.lease-duration: 60s high-availability.kubernetes.leader-election.renew-deadline: 60s Best, Yang On Tue, Mar 12,

退订

2024-03-19 文章 1
退订

Re: [ANNOUNCE] Apache Flink 1.19.0 released

2024-03-18 文章 Yu Li
Congrats and thanks all for the efforts! Best Regards, Yu On Tue, 19 Mar 2024 at 11:51, gongzhongqiang wrote: > > Congrats! Thanks to everyone involved! > > Best, > Zhongqiang Gong > > Lincoln Lee 于2024年3月18日周一 16:27写道: >> >> The Apache Flink community is very happy to announce the release of

Re: [ANNOUNCE] Apache Flink 1.19.0 released

2024-03-18 文章 gongzhongqiang
Congrats! Thanks to everyone involved! Best, Zhongqiang Gong Lincoln Lee 于2024年3月18日周一 16:27写道: > The Apache Flink community is very happy to announce the release of Apache > Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19 series. > > Apache Flink® is an open-source stream

Re: [ANNOUNCE] Apache Flink 1.19.0 released

2024-03-18 文章 Weihua Hu
Congratulations Best, Weihua On Tue, Mar 19, 2024 at 10:56 AM Rodrigo Meneses wrote: > Congratulations > > On Mon, Mar 18, 2024 at 7:43 PM Yu Chen wrote: > > > Congratulations! > > Thanks to release managers and everyone involved! > > > > Best, > > Yu Chen > > > > > > > 2024年3月19日

Re: [ANNOUNCE] Apache Flink 1.19.0 released

2024-03-18 文章 Yu Chen
Congratulations! Thanks to release managers and everyone involved! Best, Yu Chen > 2024年3月19日 01:01,Jeyhun Karimov 写道: > > Congrats! > Thanks to release managers and everyone involved. > > Regards, > Jeyhun > > On Mon, Mar 18, 2024 at 9:25 AM Lincoln Lee wrote: > >> The Apache Flink

Re: [ANNOUNCE] Apache Flink 1.19.0 released

2024-03-18 文章 Ron liu
Congratulations Best, Ron Yanfei Lei 于2024年3月18日周一 20:01写道: > Congrats, thanks for the great work! > > Sergey Nuyanzin 于2024年3月18日周一 19:30写道: > > > > Congratulations, thanks release managers and everyone involved for the > great work! > > > > On Mon, Mar 18, 2024 at 12:15 PM Benchao Li >

Re: [ANNOUNCE] Apache Flink 1.19.0 released

2024-03-18 文章 Yanfei Lei
Congrats, thanks for the great work! Sergey Nuyanzin 于2024年3月18日周一 19:30写道: > > Congratulations, thanks release managers and everyone involved for the great > work! > > On Mon, Mar 18, 2024 at 12:15 PM Benchao Li wrote: >> >> Congratulations! And thanks to all release managers and everyone >>

Re: [ANNOUNCE] Apache Flink 1.19.0 released

2024-03-18 文章 Sergey Nuyanzin
Congratulations, thanks release managers and everyone involved for the great work! On Mon, Mar 18, 2024 at 12:15 PM Benchao Li wrote: > Congratulations! And thanks to all release managers and everyone > involved in this release! > > Yubin Li 于2024年3月18日周一 18:11写道: > > > > Congratulations! > >

Re: [ANNOUNCE] Apache Flink 1.19.0 released

2024-03-18 文章 Benchao Li
Congratulations! And thanks to all release managers and everyone involved in this release! Yubin Li 于2024年3月18日周一 18:11写道: > > Congratulations! > > Thanks to release managers and everyone involved. > > On Mon, Mar 18, 2024 at 5:55 PM Hangxiang Yu wrote: > > > > Congratulations! > > Thanks

  1   2   3   4   5   6   7   8   9   10   >