Re: [DISCUSS] Is it a bug that the AdaptiveScheduler does not prioritize releasing TaskManagers during downscaling in Application mode?

Thanks Yuepeng for the PR and starting this discussion! And thanks Gyula and Yuanfeng for the input! I also agree to fix this behaviour in the 1.x line. The adaptive scheduler and rescaling API provide powerful capabilities to increase or decrease parallelism. The main benefit I understand of d

Re: [ANNOUNCE] Apache Flink 2.0 Preview released

Hi Benoit, Please find the result here[1]. The Nexmark repo[2] does not officially support the flink 2.0 preview version. However, we have made a PR[3] for this and once it is merged, we will offer a guide to run Nexmark Q20 with disaggregated state management. [1] https://github.com/ververica/

Re: [DISCUSS] Is it a bug that the AdaptiveScheduler does not prioritize releasing TaskManagers during downscaling in Application mode?

> Is it considered an error if the adaptive scheduler fails to release the task manager during scaling? +1 . When we enable adaptive mode and perform scaling operations on tasks, a significant part of the goal is to reduce resource usage for the tasks. However, due to some logic in the adaptive sc

Re: [DISCUSS] Is it a bug that the AdaptiveScheduler does not prioritize releasing TaskManagers during downscaling in Application mode?

Hey All! The main purpose of the adaptive scheduler is to be able to adapt to changing resource availability and requirements. Originally it was designed to work based on resource availability (with reactive scaling) so when we have more resources we scale up, if we have less scale down, at that p

Re: cumulate函数和比较函数连用报错

抱歉挖了这么旧的邮件。请问这个问题解决了吗？我在 flink 1.14 上遇到相同的问题。 Best, Paul Lam > 2021年8月20日 10:56，李航飞 写道： > > 你好： > 具体场景是对agg结果之前进行过滤，现在通过create view进行提取过滤了 > 现在我想通过DynameicTable的方式，以upsert写入redis里面 > > > > > 在 2021-08-20 10:31:18，"Caizhi Weng" 写道： >> Hi！ >> >> 具体的条件是什么样的呢？理论上如果是和原本的 group by ... having ..

Re: [ANNOUNCE] Apache Flink 2.0 Preview released

Hi Enric I clone the code from apache/flink repo and import it to Idea, But there was nothing unexpected. 在 2024年10月23日星期三，Enric Ott <243816...@qq.com> 写道： > How to import the source code(from github) to Intelligent Idea,seems that > a project descriptor is missing. > > > -- 原始邮件

Re: 关于如何根据参数条件动态生成join的关联的sql

%BC&icon=http%3A%2F%2Fthirdqq.qlogo.cn%2Fg%3Fb%3Dsdk%26k%3DYiaI7kvDORpPP1623Fzbtyg%26s%3D100%26t%3D525%3Frand%3D1641396237&mail=1227581167%40qq.com&code=> > > > > -- 原始邮件 -- > *发件人:* "user-zh" ; > *发送时间:* 2024年10月21日(星期一) 晚上10:04 > *收件人:*

Re: 关于如何根据参数条件动态生成join的关联的sql

hi, 先计算所有的 join 结果，结果中把相关的 join 字段带上， 再去基于 join 的结果去选择需要的结果是否可以？ Best, Feng On Wed, Oct 16, 2024 at 10:42 AM 斗鱼 <1227581...@qq.com.invalid> wrote: > 大佬们，目前我遇到一个业务场景的问题， > 有如下四张表，其中一张事实表tableFact和三张维度表tableDimA、tableDimDetailB、tableDimDetailC进行left > join关联，这四张表根据userId、actPkId、bId、cType、c

Re: pyflink fromsource调用自定义source 报错

你好，Xiao Zhang. 你的代码中的这一行需要替换： ds = env.from_source(source=myTestSourceFunction, watermark_strategy=WatermarkStrategy.for_monotonous_timestamps(), source_name="websocket source") 替换成： ds = env.from_source(source=myTestSourceFunction, watermark_strategy=WatermarkStrategy.for_monotonous_timestamps(),

Re: We found a deadlock problem when a single piece of data is too large on Flink1.13.2, do not continue to process the data, which more understand the data transmission piece, welcome to comment.

The process stack is as follows： "Map (1/10)#4" #346 prio=5 os_prio=0 tid=0x023e9800 nid=0x5a7f waiting on condition [0x7fc291fd8000] java.lang.Thread.State: WAITING (parking) at sun.misc.Unsafe.park(Native Method) - parking to wait for <0x00079c54dce8> (a java.util.concurrent.

Re: Flink has a large number of data and appears to be suspended after restarting.

TM上没有报错，在监控上看不处理数据了，cp也超时。 Xuyang 于2024年9月30日周一 10:18写道： > Hi, chen. > > 你可以把TM日志报错的栈和上下文贴上来吗？ > > > > > -- > > Best！ > Xuyang > > > > > > At 2024-09-29 10:00:44, "rui chen" wrote: > >1.A single piece of data is 500kb > >2.The job restarts after a tm fails >

Re: 退订

请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1]来管理你的邮件订阅。 [1]https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 Best, Zhanghao Chen From: 技安 <359502...@qq.com.INVALID> Sent: Saturday, Se

Re: 开源flink cep是否支持动态规则配置

目前还未支持。 https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=195730308 Best, Feng On Thu, Sep 12, 2024 at 10:20 AM 王凯 <2813732...@qq.com.invalid> wrote: > 请问下各位大佬开源flink CEP是否支持动态规则配置 > > > > > 王凯 > 2813732...@qq.com > > > >  

Re: 退订

退订 On Mon, Sep 9, 2024 at 3:14 PM au wrote: > 退订 > > > > > > -- 原始邮件 -- > 发件人: Xavier 发送时间: 2024年9月5日 16:36 > 收件人: user-zh 主题: Re: 退订 > > > > 退订 > > > -- > > Best Regards, > *Xavier*

Re:回复：flink对象重用问题询问

Hi, 应该是可以的。 -- Best！ Xuyang 在 2024-08-29 15:00:54，"刘仲诺" <2313678...@qq.com.INVALID> 写道： >您好，我目前使用的是DataStream API，代码如下： >public class BytesProcessor extends ProcessWindowFunctionLong>, BytesResult, String, TimeWindow> { >    private final BytesResult bytesResult = new BytesResult

Re: 数据大小倾斜，数据量不倾斜

可以考虑增加一层预聚合，参考这里的count distinct： https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/tuning/ 焦童 于2024年8月27日周二 11:07写道： > hello all， > 我在使用flink sql 进行数据处理的时候遇到了如下问题：Flink > 算子节点存在数据倾斜，但是并非数据量倾斜，而是数据大小倾斜，这是因为每天会存在一些特殊的数据，此类数据是相同分组 id，因此会进入同一个 > subtask 中，从而导致 subtask busy，但是并非每天相同

Re: Flink SQL 中如何将回撤流转为append流

修改下游的sink connector，在execute的时候把-D、-U的record去掉

Re: flink on yarn 模式，在jar任务中，怎么获取rest port

通过yarn提交时，提交成功后，yarn client会返回 application master的地址和端口，从返回信息里面获取就可以 wjw_bigdata 于2024年8月1日周四 14:24写道： > 退订 > > > > > > > 回复的原邮件 > | 发件人 | Lei Wang | > | 发送日期 | 2024年8月1日 14:08 | > | 收件人 | | > | 主题 | Re: flink on yarn 模式，在jar任务中，怎么获取rest port | >

Re: flink on yarn 模式，在jar任务中，怎么获取rest port

在 flink-conf.yaml 中可以指定 rest.port， 可指定一个范围 On Wed, Jul 31, 2024 at 8:44 PM melin li wrote: > flink on yarn 模式, rest port 是随机的，需要获取rest port，有什么好办法？ >

Re: 如何基于FLIP-384扩展对业务数据全链路延时情况的监控

退订 Yubin Li 于2024年7月18日周四 14:23写道： > Hi, all > > 目前FLIP-384[1]支持了检查点、任务恢复的trace可观测，但实际业务场景中常需要监测每条业务数据在数据链路的各个节点流转过程中的延时情况，请问有什么好的思路吗 > > [1] > https://cwiki.apache.org/confluence/display/FLINK/FLIP-384%3A+Introduce+TraceReporter+and+use+it+to+create+checkpointing+and+recovery+traces > > Best, >

Re: flink 任务运行抛ClassNotFoundException

< > decq12y...@gmail.com>; > 发送时间: 2024年7月18日(星期四) 晚上7:55 > 收件人: "user-zh" > 主题: Re: flink 任务运行抛ClassNotFoundException > > > > 你好，这个类被 shade 了，但是调用这个类的其他类可能在不同的 jar 包，没有都被 shade 处理。可以 grep -rn > 'org.apache.hudi.com.xx.xx.xxx.A' 看看所有调用这个类的包是

Re: flink 任务运行抛ClassNotFoundException

你好，这个类被 shade 了，但是调用这个类的其他类可能在不同的 jar 包，没有都被 shade 处理。可以 grep -rn 'org.apache.hudi.com.xx.xx.xxx.A' 看看所有调用这个类的包是不是都做了 shade 处理。 ℡小新的蜡笔不见嘞、 <1515827...@qq.com.invalid> 于2024年7月18日周四 18:31写道： > 请问，Flink 任务运行期间 偶尔会抛出 ClassNotFoundException 异常，这个一般是什么原因，以及怎么解决呢？信息如下： > * 这个类确实存在于 任务Jar 里面 > * 这个类是经过

Re:回复：回复：使用hive的catalog问题

L> select * from mykafka; [ERROR] Could not execute SQL statement. >Reason: java.lang.ClassNotFoundException: >org.apache.kafka.clients.consumer.OffsetResetStrategy >-- >发件人：Feng Jin >发送时间：2024年7月16日(星期二) 19:30 >收件人：&quo

Re: 通过 InputFormatSourceFunction 实现flink 实时读取 ftp 的文件时，获取下一个 split 切片失败，

退订 Px New <15701181132mr@gmail.com> 于2024年7月16日周二 22:52写道： > 通过老的API 也就是 InputFormatSourceFunction、InputFormat > 实现了一版，但发现第一批文件(任务启动时也已存在的文件)会正常处理，但我新上传文件后，这里一直为空，有解决思路吗？请问 > > [image: image.png] > > 或者有其他实现 ftp 目录实时读取的实现吗？尽可能满足 > 1. 实时读取 ftp 文件 > 2. 支持持续监测目录及递归子目录与文件3. > 3. 支持并行读取以及大文件的

Re: 回复：使用hive的catalog问题

ar > paimon-flink-1.19-0.9-20240628.002224-23.jar > >------ > >发件人：Xuyang > >发送时间：2024年7月16日(星期二) 11:43 > >收件人："user-zh" > >主 题：Re:使用hive的catalog问题 > >Hi, 可以check一下是否将hive sql connector的依赖[1]放入l

Re:回复：使用hive的catalog问题

-1.19.0.jar log4j-slf4j-impl-2.17.1.jar >flink-json-1.19.0.jar mysql-connector-java-8.0.28.jar >flink-scala_2.12-1.19.0.jar paimon-flink-1.19-0.9-20240628.002224-23.jar >-- >发件人：Xuyang >发送时间：2024年7月16日(星期二) 11:43 >收件人：&q

Re:使用hive的catalog问题

Hi, 可以check一下是否将hive sql connector的依赖[1]放入lib目录下或者add jar了吗？ [1] https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/hive/overview/ -- Best！ Xuyang At 2024-07-15 17:09:45, "冯奇" wrote: >Flink SQL> USE CATALOG myhive; >Flink SQL> CREATE TABLE mykafka (na

Re:来自kingdomad的邮件

R 发自139邮箱 The following is the content of the forwarded email From：kingdomad To：user-zh Date：2024-07-15 09:36:43 Subject：来自kingdomad的邮件 (无)

Re:来自kingdomad的邮件

-- kingdomad At 2024-07-15 09:36:43, "kingdomad" wrote: >

Re: Flink Standalone-ZK-HA模式下，CLi任务提交

从日志看，ZK 集群滚动的时候发生了切主，两个 JM 都先后成为过 Leader，但是并没有同时是 Leader。 Best, Zhanghao Chen From: love_h1...@126.com Sent: Friday, July 12, 2024 17:17 To: user-zh@flink.apache.org Subject: Flink Standalone-ZK-HA模式下，CLi任务提交 版本：Flink 1.11.6版本，Standalone HA模式，ZooKeeper 3.5.8版本 操

Re: [ANNOUNCE] Apache Flink Kubernetes Operator 1.9.0 released

Thank you, Gyula! 🥳 Cheers On Wed, Jul 3, 2024 at 8:00 AM Gyula Fóra wrote: > The Apache Flink community is very happy to announce the release of Apache > Flink Kubernetes Operator 1.9.0. > > The Flink Kubernetes Operator allows users to manage their Apache Flink > applications and their lifecycl

回复: Re:回复: Re:flink1.18 on yarn提交任务生成多个application

谢谢！！！ 祝好运， Liu 发件人: Xuyang 发送时间: 2024年7月2日 14:00 收件人: user-zh@flink.apache.org 主题: Re:回复: Re:flink1.18 on yarn提交任务生成多个application 可以参考下这[1] Tips: 社区新语法EXECUTESTATEMENTSET BEGIN ... END; ,也可以用 begin statement set; ... end; [1]https

Re:回复: Re:flink1.18 on yarn提交任务生成多个application

可以参考下这[1] Tips: 社区新语法EXECUTESTATEMENTSET BEGIN ... END; ,也可以用 begin statement set; ... end; [1]https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/table/sql/insert/#insert-into-multiple-tables -- Best！ Xuyang 在 2024-07-02 11:42:32，"Liu Join" 写道： >你好，感谢

Re: 这绝对算是bug

退订 On Mon, Jul 1, 2024 at 10:22 PM wjw_bigd...@163.com wrote: > 退订 > > > > 回复的原邮件 > | 发件人 | Cuixb | > | 日期 | 2024年07月01日 22:16 | > | 收件人 | user-zh@flink.apache.org | > | 抄送至 | | > | 主题 | Re: 这绝对算是bug | > GC不能说长，也绝对不短，大概计算了一下，24G内存，得有10秒左右无响应，多数在10秒内 &

Re: 这绝对算是bug

>> | 收件人 | user-zh | >> | 抄送至 | | >> | 主题 | 回复： 这绝对算是bug | >> 退订 >> >> >> -- 原始邮件 -- >> 发件人: >> "user-zh" >>< &g

Re: 这绝对算是bug

< > cfso3...@126.com>;退订 > 发送时间: 2024年6月29日(星期六) 晚上8:24 > 收件人: "user-zh" > 主题: Re: 这绝对算是bug > > > > 连接没问题，主要是tm一直在处理写入流，我也看了一下负载，其实不高，但就是不相应，导致报timeout，然后就是最开始那个错误！ > 发自我的 i

Re: 这绝对算是bug

连接没问题，主要是tm一直在处理写入流，我也看了一下负载，其实不高，但就是不相应，导致报timeout，然后就是最开始那个错误！ 发自我的 iPhone > 在 2024年6月29日，16:49，Zhanghao Chen 写道： > > Hi，从报错看是 JM 丢主了，导致 TM 上 task 全部关停。看下 JM 侧是不是 HA 连接有问题呢？ > > Best, > Zhanghao Chen > > From: Cuixb > Sent: Saturday, June 29, 2024 10:31 > To

Re: 这绝对算是bug

Hi，从报错看是 JM 丢主了，导致 TM 上 task 全部关停。看下 JM 侧是不是 HA 连接有问题呢？ Best, Zhanghao Chen From: Cuixb Sent: Saturday, June 29, 2024 10:31 To: user-zh@flink.apache.org Subject: 这绝对算是bug 生产环境Flink 1.16.2 2024-06-29 09:17:23 java.lang.Exception: Job leader for job id 8ccdd29919

Re: Re：cdc读取oracle数据如何解析

uot;:[{"type":"struct","fields":[{"type":"int32","optional":false,"field":"scale"},{"type":"bytes","optional":false,"field":"value"}],"optional":false,"name"

Re: 回复：cdc读取oracle数据如何解析

你好，你的 ID 和 PRINCE 字段类型是 decimal 吗，decimal 默认的展示方式是使用 BASE64 处理 可以通过添加下面代码来让展示信息更直观。 Map customConverterConfigs = new HashMap<>(); customConverterConfigs.put(JsonConverterConfig.DECIMAL_FORMAT_CONFIG, "numeric"); JsonDebeziumDeserializationSchema schema = new JsonDebeziumDeserializationSchema(incl

Re: 使用hbase连接器插入数据，一个列族下有多列时如何只更新其中一列

flink在写入时需要所有DDL中定义的字段都必须被同时写入，不支持sql中只使用部分字段。 如果你确定只需写入部分数据，在DDL中只定义你用到的部分 zboyu0104 于2024年6月14日周五 15:43写道： > 怎么退订 > from 阿里邮箱 > iPhone-- > 发件人：谢县东 > 日 期：2024年06月06日 16:07:05 > 收件人： > 主 题：使用hbase连接器插入数据，一个列族下有多列时如何只更新其中一列 > > 各位好：

Re: Flink如何做到动态关联join多张维度表中的n张表？

> > > > > -- 原始邮件 -- > 发件人: > "user-zh" > < > xhzhang...@gmail.com>; > 发送时间: 2024年6月19日(星期三) 下午5:55 > 收件人: "

Re: Flink如何做到动态关联join多张维度表中的n张表？

维表更新后要刷新历史的事实表吗？这个用flink来做的话，几乎不太可能实现，尤其是涉及到多个维表，相当于每次维表又更新了，就要从整个历史数据里面找到关联的数据，重新写入。不管是状态存储，还是更新数据量，需要的资源都太高，无法处理。 在我们目前的实时宽表应用里面，实时表部分一般都是流水类的，取到的维表信息，就应该是业务事实发生时的数据。 维表更新后刷新事实的，一般都是夜间批量再更新。如果有强实时更新需求的，只能在查询时再关联维表取最新值 王旭 于2024年6月16日周日 21:20写道： > 互相交流哈，我们也在做类似的改造 > 1.不确定需要关联几张维表的话，是否可以直接都关联了，然后

Re: [ANNOUNCE] Apache Flink CDC 3.1.1 released

Well done! Thanks a lot for your hard work! Best, Paul Lam > 2024年6月19日 09:47，Leonard Xu 写道： > > Congratulations! Thanks Qingsheng for the release work and all contributors > involved. > > Best, > Leonard > >> 2024年6月18日 下午11:50，Qingsheng Ren 写道： >> >> The Apache Flink community is very h

Re: [ANNOUNCE] Apache Flink CDC 3.1.1 released

Congratulations! Thanks Qingsheng for the release work and all contributors involved. Best, Leonard > 2024年6月18日 下午11:50，Qingsheng Ren 写道： > > The Apache Flink community is very happy to announce the release of Apache > Flink CDC 3.1.1. > > Apache Flink CDC is a distributed data integration

Re:使用hbase连接器插入数据，一个列族下有多列时如何只更新其中一列

怎么退订 from 阿里邮箱 iPhone-- 发件人：谢县东 日　期：2024年06月06日 16:07:05 收件人： 主　题：使用hbase连接器插入数据，一个列族下有多列时如何只更新其中一列 各位好： flink版本: 1.13.6 我在使用 flink-connector-hbase 连接器，通过flinkSQL 将数据写入hbase，hbase 建表如下： CREATE TABLE hbase_test_db_test_table_xxd (

Re: flink cdc 3.0 schema变更问题

你好，DataStream 的方式需要设置 includeSchemaChanges(true) 参数，并且设置自定义的 deserializer，参考这个链接[1]。 如果不想使用 json 的方式，希望自定义 deserializer，从 SourceRecord 里提取 ddl 的方式可以参考这个链接[2]提供的方案。 [1] https://nightlies.apache.org/flink/flink-cdc-docs-master/docs/faq/faq/#q6-i-want-to-get-ddl-events-in-the-database-what-should-i-d

Re: flink cdc 3.0 schema变更问题

Zapjone 好， 目前的 Schema Evolution 的实现依赖传递 CDC Event 事件的 Pipeline 连接器和框架。如果您希望插入自定义算子逻辑，建议参考 flink-cdc-composer 模块中的 FlinkPipelineComposer 类构建算子链作业的方式，并在其中插入自定义的 Operator 以实现您的业务逻辑。 另外，对于一些简单的处理逻辑，如果能够使用 YAML 作业的 Route（路由）、Transform（变换）功能表述的话，直接编写对应的 YAML 规则会更简单。 祝好！ Regards, yux De : zapjone

Re: 请问flink sql作业如何给kafka source table消费限速?

从代码上看，Flink 内部是有限速的组件的。org.apache.flink.api.common.io.ratelimiting.GuavaFlinkConnectorRateLimiter， 但是并没有在connector中使用。 casel.chen 于2024年6月5日周三 14:36写道： > kafka本身是支持消费限流的[1]，但这些消费限流参数在flink kafka sql > connector中不起作用，请问这是为什么？如何才能给flink kafka source table消费限速? 谢谢！ > > > [1] https://blog.csdn.net/q

Re: 【求助】关于 Flink ML 迭代中使用keyBy算子报错

您好！ 看起来这个问题与 FLINK-35066[1] 有关，该问题描述了在 IterationBody 内实现自定义的RichCoProcessFunction 或 CoFlatMapFunction 算子时遇到的拆包问题，可以追溯到这个[2]邮件列表中的问题报告。看起来这个问题也同样影响您使用的 RichCoMapFunction 算子。 该问题已被此 Pull Request[3] 解决，并已合入 master 主分支。按照文档[4]尝试在本地编译 2.4-SNAPSHOT 快照版本并执行您的代码，看起来能够正常工作。 鉴于这是一个 Flink ML 2.3 版本中的已知问题，您

Re: Re:Flink SQL消费kafka topic有办法限速么？

应该是可以的。另外在老版本的 Kafka connector 上，曾经也实现过限速逻辑 [1]，可以参考下。这个需求我觉得还比较通用，可以提一个 JIRA。 [1] https://issues.apache.org/jira/browse/FLINK-11501 Best, Zhanghao Chen From: casel.chen Sent: Tuesday, May 28, 2024 22:00 To: user-zh@flink.apache.org Subject: Re:Flink SQL消费kafka

Re: 关于 mongo db 的splitVector 权限问题

Hi, splitVector 是 MongoDB 计算分片的内部命令，在副本集部署模式下也可以使用此命令来计算 chunk 区间。 如果没有 splitVector 权限，会自动降级为 sample 切分策略。 Best, Jiabao evio12...@gmail.com 于2024年5月23日周四 16:57写道： > > hello~ > > > 我正在使用 flink-cdc mongodb connector 2.3.0 >

Re:咨询Flink 1.19文档中关于iterate操作

Hi, 目前Iterate api在1.19版本上废弃了，不再支持，具体可以参考[1][2]。Flip[1]中提供了另一种替代的办法[3] [1] https://cwiki.apache.org/confluence/display/FLINK/FLIP-357%3A+Deprecate+Iteration+API+of+DataStream [2] https://issues.apache.org/jira/browse/FLINK-33144 [3] https://cwiki.apache.org/confluence/pages/viewpage.action?

Re: flinksql 经过优化后，group by字段少了

flink中是仍然存在这个问题。 > > > > > -- 原始邮件 -- > 发件人: > "user-zh" > < > libenc...@apache.org>; > 发送时间: 2024年5月20日(星期一) 中午12:51 > 收件人

Re: flinksql 经过优化后，group by字段少了

> 发送时间: 2024年5月20日(星期一) 上午10:32 > 收件人: "user-zh" > 主题: Re: flinksql 经过优化后，group by字段少了 > > > > 看起来像是因为 "dt = cast(CURRENT_DATE  as string)" 推导 dt 这个字段是个常量，进而被优化掉了。 > > 将 CURRENT_DATE 优化为常量的行为应该只在 batch 模式下才是这样的，你这个 SQL 是跑在 batch 模式下的嘛

Re: flinksql 经过优化后，group by字段少了

看起来像是因为 "dt = cast(CURRENT_DATE as string)" 推导 dt 这个字段是个常量，进而被优化掉了。 将 CURRENT_DATE 优化为常量的行为应该只在 batch 模式下才是这样的，你这个 SQL 是跑在 batch 模式下的嘛？ ℡小新的蜡笔不见嘞、 <1515827...@qq.com.invalid> 于2024年5月19日周日 01:01写道： > > create view tmp_view as > SELECT > dt, -- 2 > uid, -- 0 > uname, -- 1 > uage -

Re: Re: [ANNOUNCE] Apache Flink CDC 3.1.0 released

> > > > > > > > > > Original Email > > > > > > > > Sender:"gongzhongqiang"< gongzhongqi...@apache.org >; > > > > Sent Time:2024/5/17 23:10 > > > > To:"Qingsheng Ren"< re...@apache.org

Re: Re: [ANNOUNCE] Apache Flink CDC 3.1.0 released

Amazing, congrats! Best, Jingsong On Sat, May 18, 2024 at 3:10 PM 大卫415 <2446566...@qq.com.invalid> wrote: > > 退订 > > > > > > > > Original Email > > > > Sender:"gongzhongqiang"< gongzhongqi...@apache.org >; > > Sent T

Re: [ANNOUNCE] Apache Flink CDC 3.1.0 released

Congratulations ! Thanks for all contributors. Best, Zhongqiang Gong Qingsheng Ren 于 2024年5月17日周五 17:33写道： > The Apache Flink community is very happy to announce the release of > Apache Flink CDC 3.1.0. > > Apache Flink CDC is a distributed data integration tool for real time > data and batch

Re: [ANNOUNCE] Apache Flink CDC 3.1.0 released

Congratulations! Thanks for the great work. Best, Hang Qingsheng Ren 于2024年5月17日周五 17:33写道： > The Apache Flink community is very happy to announce the release of > Apache Flink CDC 3.1.0. > > Apache Flink CDC is a distributed data integration tool for real time > data and batch data, bringing

Re: [ANNOUNCE] Apache Flink CDC 3.1.0 released

Congratulations ! Thanks Qingsheng for the great work and all contributors involved !! Best, Leonard > 2024年5月17日 下午5:32，Qingsheng Ren 写道： > > The Apache Flink community is very happy to announce the release of > Apache Flink CDC 3.1.0. > > Apache Flink CDC is a distributed data integration

Re: Flink 1.18.1 ，重启状态恢复

看起来和 FLINK-34063 / FLINK-33863 是同样的问题，您可以升级到1.18.2 试试看。 [1] https://issues.apache.org/jira/browse/FLINK-33863 [2] https://issues.apache.org/jira/browse/FLINK-34063 陈叶超 于2024年5月16日周四 16:38写道： > > 升级到 flink 1.18.1 ，任务重启状态恢复的话，遇到如下报错： > 2024-04-09 13:03:48 > java.lang.Exception: Exception while crea

Re: use flink 1.19 JDBC Driver can find jdbc connector

现在可以用中文了？就是opt目录里面的gateway.jar直接编辑Factory文件把connector注册就行了 > 在 2024年5月15日，15:36，Xuyang 写道： > > Hi, 看起来你之前的问题是jdbc driver找不到，可以简单描述下你的解决的方法吗？“注册connection数的数量”有点不太好理解。 > > > > > 如果确实有类似的问题、并且通过这种手段解决了的话，可以建一个improvement的jira issue[1]来帮助社区跟踪、改善这个问题，感谢！ > > > > > [1] https://issues.apache

Re:请问如何贡献Flink Hologres连接器?

Hi, 我觉得如果只是从贡献的角度来说，支持flink hologres connector是没问题的，hologres目前作为比较热门的数据库，肯定是有很多需求的，并且现在aliyun github官方也基于此提供了开源的flink hologres connector[1]。 但是涉及到aliyun等公司商业化的ververica-connector-hologres包，如果想直接开源的话，在我的角度最好事先确认下面几点，不然可能会隐含一些法律风险 1. jar包的提供方（aliyun等公司）是否知情、且愿意开源，不然直接拿着商业化的东西给出来有点

Re: 使用Kafka记录自身的时间戳问题

Hi, >>> 那这个时间戳是kafka接收到数据自动生成的时间吗？还是说消息发送给kafka的时候需要怎么设置把业务时间附上去？ 这个时间戳来自Kafka record里的时间戳，可以参考代码

Re: use flink 1.19 JDBC Driver can find jdbc connector

退订 Replied Message | From | abc15...@163.com | | Date | 05/10/2024 12:26 | | To | user-zh@flink.apache.org | | Cc | | | Subject | Re: use flink 1.19 JDBC Driver can find jdbc connector | I've solved it. You need to register the number of connections in the jar of gateway. But th

Re: 退订

请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Best, Hang [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists 爱看书不识字 于2024年5月11日周六 10:06写道：

Re: use flink 1.19 JDBC Driver can find jdbc connector

I've solved it. You need to register the number of connections in the jar of gateway. But this is inconvenient, and I still hope to improve it. 发自我的 iPhone > 在 2024年5月10日，11:56，Xuyang 写道： > > Hi, can you print the classloader and verify if the jdbc connector exists in > it? > > > > > -- >

Re: 退订

Hi, 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, yunfeng On Thu, May 9, 2024 at 5:58 PM xpfei0811 wrote: > > 退订 > > 回复的原邮件 > | 发件人 | wangfengyang | > | 发送日期 | 2024年04月23日 18:10 | > | 收件人 | user-zh | > | 主题 | 退订 | > 退订

Re: Re: java.io.IOException: Could not load the native RocksDB library

streaming-java-1.19.0.jar:1.19.0] > at > org.apache.flink.streaming.api.operators.StreamTaskStateInitializerImpl.keyedStatedBackend(StreamTaskStateInitializerImpl.java:399) > ~[flink-streaming-java-1.19.0.jar:1.19.0] > at > org.apache.flink.streaming.api.operators.StreamTas

Re: java.io.IOException: Could not load the native RocksDB library

请问是什么开发环境呢？ windows吗？ 可以分享一下更详细的报错吗？比如.dll 找不到 ha.fen...@aisino.com 于2024年5月7日周二 09:34写道： > > Configuration config = new Configuration(); > config.set(StateBackendOptions.STATE_BACKEND, "rocksdb"); > config.set(CheckpointingOptions.CHECKPOINT_STORAGE, "filesystem"); > config.set(Checkpointing

Re: Flink sql retract to append

以处理时间为升序，处理结果肯定不会出现回撤的，因为往后的时间不会比当前时间小了，你可以在试试这个去重 On Tue, Apr 30, 2024 at 3:35 PM 焦童 wrote: > 谢谢你的建议 但是top-1也会产生回撤信息 > > > 2024年4月30日 15:27，ha.fen...@aisino.com 写道： > > > > 可以参考这个 > > > https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/dev/table/sql/queries/deduplication/ > >

Re: 在idea中用CliFrontend提交job 报错 java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer;

Hi, 这个报错一般是JDK版本不一致导致的。建议统一build flink和执行flink作业时的Java版本，（都用JDK8 或者 都用JDK11）。 用JDK11时没有sun.misc的问题可以试试勾选掉Idea的Settings-> Build, Execution and Deployment -> Compiler-> Java Compiler的Use '--release' option for cross-compilation' 选项。 Best, Biao Geng z_mmG <13520871...@163.com> 于2024年4月30日周二 15:08写

Re: Flink sql retract to append

谢谢你的建议 但是top-1也会产生回撤信息 > 2024年4月30日 15:27，ha.fen...@aisino.com 写道： > > 可以参考这个 > https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/dev/table/sql/queries/deduplication/ > 1.11版本不知道是不是支持 > > From: 焦童 > Date: 2024-04-30 11:25 > To: user-zh > Subject: Flink sql retract to append >

Re:处理时间的滚动窗口提前触发

Hi, 我看你使用了System.currentTimeMillis()，有可能是分布式的情况下，多台TM上的机器时间不一致导致的吗？ -- Best！ Xuyang 在 2024-04-20 19:04:14，"hhq" <424028...@qq.com.INVALID> 写道： >我使用了一个基于处理时间的滚动窗口，窗口大小设置为60s，但是我在窗口的处理函数中比较窗口的结束时间和系统时间，偶尔会发现获取到的系统时间早于窗口结束时间（这里的提前量不大，只有几毫秒，但是我不清楚，这是flink窗口本身的原因还是我代码的问题）我没有找到原因，请求帮助 >

Re: Flink流批一体应用在实时数仓数据核对场景下有哪些注意事项？

流模式和批模式在watermark和一些算子语义等方面上有一些不同，但没看到Join和Window算子上有什么差异，这方面应该在batch mode下应该是支持的。具体的两种模式的比较可以看一下这个文档 https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/datastream/execution_mode/ On Thu, Apr 18, 2024 at 9:44 AM casel.chen wrote: > > 有人尝试这么实践过么？可以给一些建议么？谢谢！ > > > > > > > > > > > >

Re: ProcessWindowFunction中使用per-window state

你好， 可以通过使用 globalState / windowState 获取之前的状态进行增量计算。 下面这个 demo 可以方便理解： public class ProcessWindowFunctionDemo { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 使用处理时间

Re: flink 已完成job等一段时间会消失

你好： 如果想长期保留已完成的任务，推荐使用 History Server : https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#history-server Best, Zhongqiang Gong ha.fen...@aisino.com 于2024年4月9日周二 10:39写道： > 在WEBUI里面，已完成的任务会在completed jobs里面能够看到，过了一会再进去看数据就没有了，是有什么配置自动删除吗？ >

Re: Re: 采集mysql全量的时候出现oom问题

可以尝试的解决办法： - 调大 JM 内存 （如 Shawn Huang 所说） - 调整快照期间批读的大小，以降低 state 大小从而减轻 checkpiont 过程中 JM 内存压力 Best, Zhongqiang Gong wyk 于2024年4月9日周二 16:56写道： > > 是的,分片比较大,有一万七千多个分片 > > jm内存目前是2g,我调整到4g之后还是会有这么问题,我在想如果我一直调整jm内存,后面增量的时候内存会有所浪费,在flink官网上找到了flink堆内存的相关参数,但是对这个不太了解,不知道具体该怎么调试合适,麻烦帮忙看一下如下图

Re: 采集mysql全量的时候出现oom问题

从报错信息看，是由于JM的堆内存不够，可以尝试把JM内存调大，一种可能的原因是mysql表全量阶段分片较多，导致SourceEnumerator状态较大。 Best, Shawn Huang wyk 于2024年4月8日周一 17:46写道： > > > 开发者们好: > flink版本1.14.5 > flink-cdc版本 2.2.0 > > 在使用flink-cdc-mysql采集全量的时候,全量阶段会做checkpoint,但是checkpoint的时候会出现oom问题,这个有什么办法吗? >具体报错如附件文本以及下图所示:

Re: flink cdc metrics 问题

你好，目前flink cdc没有提供未消费binlog数据条数这样的指标，你可以通过 currentFetchEventTimeLag 这个指标（表示消费到的binlog数据中时间与当前时间延迟）来判断当前消费情况。 [1] https://github.com/apache/flink-cdc/blob/master/flink-cdc-connect/flink-cdc-source-connectors/flink-connector-mysql-cdc/src/main/java/org/apache/flink/cdc/connectors/mysql/source/metric

Re: 退订

Hi， If you want to unsubscribe to user-zh mailing list, please send an email with any content to user-zh-unsubscr...@flink.apache.org . 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 995626544 <995626...@qq.com.invalid> 于2024年4月7日周日 16:06写道： > 退订 > > > > > 995626544 > 99

Re: HBase SQL连接器为啥不支持ARRAY/MAP/ROW类型

应该是由于这些复杂集合在HBase中没有一个直接与之对应的数据类型，所以Flink SQL没有直接支持的。 一种思路是把这些数据类型按照某种格式（比如json）转换成字符串/序列化成byte array，把字符串存到HBase中，读取出来的时候也再解析/反序列化。 On Mon, Apr 1, 2024 at 7:38 PM 王广邦 wrote: > > HBase SQL 连接器（flink-connector-hbase_2.11） 为啥不支持数据类型：ARRAY、MAP / MULTISET、ROW > 不支持？ > https://nightlies.apache.org/f

Re: 配置hadoop依赖问题

Hi fengqi, “Hadoop is not in the classpath/dependencies.”报错说明org.apache.hadoop.conf.Configuration和org.apache.hadoop.fs.FileSystem这些hdfs所需的类没有找到。 如果你的系统环境中有hadoop的话，通常是用这种方式来设置classpath： export HADOOP_CLASSPATH=`hadoop classpath` 如果你的提交方式是提交到本地一个standalone的flink集群的话，可以检查下flink生成的日志文件，里面会打印classpa

Re: 退订

Hi， 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng CloudFunny 于2024年3月31日周日 22:25写道： > >

Re: 退订

Hi， 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 戴少 于2024年4月1日周一 11:09写道： > 退订 > > -- > > Best Regards, > > > > > 回复的原邮件 > | 发件人 | wangfengyang | > | 发送日期 | 2024年03月22日 17:28 | > | 收件人 | user-zh | > | 主题 | 退订 | > 退订

Re: 退订

Hi， 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 杨东树 于2024年3月31日周日 20:23写道： > 申请退订邮件通知，谢谢！

Re: 申请退订邮件申请，谢谢

Hi， 退订请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org . Best, Biao Geng 于2024年3月31日周日 22:20写道： > 申请退订邮件申请，谢谢

Re: 回复：退订

请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅。你可以参考[1] 来管理你的邮件订阅。 [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 Best, Zhanghao Chen From: 戴少 Sent: Monday, April 1, 2024 11:10 To: user-zh Cc: user-zh-sc.1618840368.ibek

Re: 退订

请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅。你可以参考[1] 来管理你的邮件订阅。 [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 Best, Zhanghao Chen From: zjw Sent: Monday, April 1, 2024 11:05 To: user-zh@flink.apache.org Subject: 退订

Re: Re:Re: Re: 1.19自定义数据源

ser-zh@flink.apache.org Subject: Re:Re: Re: 1.19自定义数据源 退订 在 2024-03-28 19:56:06，"Zhanghao Chen" 写道： >如果是用的 DataStream API 的话，也可以看下新增的 DataGen Connector [1] 是否能直接满足你的测试数据生成需求。 > > >[1] >https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/connect

Re:Re: Re: 1.19自定义数据源

/ > >Best, >Zhanghao Chen > >From: ha.fen...@aisino.com >Sent: Thursday, March 28, 2024 15:34 >To: user-zh >Subject: Re: Re: 1.19自定义数据源 > >我想问的就是如果需要实现Source接口，应该怎么写，有没有具体的例子实现一个按照一定速度生成自定义的类？ > >发件人： gongzhongqiang >发送时间： 2024-03-28 15:05 >收件人： u

Re: Re: 1.19自定义数据源

: user-zh Subject: Re: Re: 1.19自定义数据源 我想问的就是如果需要实现Source接口，应该怎么写，有没有具体的例子实现一个按照一定速度生成自定义的类？ 发件人： gongzhongqiang 发送时间： 2024-03-28 15:05 收件人： user-zh 主题： Re: 1.19自定义数据源 你好： 当前 flink 1.19 版本只是标识为过时，在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink 版本考虑，可以将这些SourceFunction用Source重新实现。 ha.fen

Re: Re: 1.19自定义数据源

; "user-zh" > < > ha.fen...@aisino.com>; > 发送时间: 2024年3月28日(星期四) 下午3:34 > 收件人: "user-zh" > 主题: Re: Re: 1.19自定义数据源 > > > > 我想问的就是如果需要实现Source接口，应该怎么写，有没有具体的例子实现一个按照一定速度生成自

Re: 1.19自定义数据源

你好： 当前 flink 1.19 版本只是标识为过时，在未来版本会移除 SourceFunction。所以对于你的应用而言为了支持长期 flink 版本考虑，可以将这些SourceFunction用Source重新实现。 ha.fen...@aisino.com 于2024年3月28日周四 14:18写道： > > 原来是继承SourceFunction实现一些简单的自动生成数据的方法，在1.19中已经标识为过期，好像是使用Source接口，这个和原来的SourceFunction完全不同，应该怎么样生成测试使用的自定义数据源呢？ >

Re: [ANNOUNCE] Apache Flink Kubernetes Operator 1.8.0 released

Congratulations! Thanks Max for the release and all involved for the great work! A gentle reminder to users: the maven artifact has just been released and will take some time to complete. Best, Rui On Mon, Mar 25, 2024 at 6:35 PM Maximilian Michels wrote: > The Apache Flink community is very h

Re: 退订

Hi, scott 请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自 user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2] 管理你的邮件订阅。 Best, Zhongqiang Gong [1] https://flink.apache.org/zh/community/#%e9%82%ae%e4%bb%b6%e5%88%97%e8%a1%a8 [2] https://flink.apache.org/community.html#mailing-lists 己巳 于 202

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congrattulations! Thanks for the great work! Best, Zhongqiang Gong Leonard Xu 于2024年3月20日周三 21:36写道： > Hi devs and users, > > We are thrilled to announce that the donation of Flink CDC as a > sub-project of Apache Flink has completed. We invite you to explore the new > resources available: > >

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations! Best, Zakelly On Thu, Mar 21, 2024 at 12:05 PM weijie guo wrote: > Congratulations! Well done. > > > Best regards, > > Weijie > > > Feng Jin 于2024年3月21日周四 11:40写道： > >> Congratulations! >> >> >> Best, >> Feng >> >> >> On Thu, Mar 21, 2024 at 11:37 AM Ron liu wrote: >> >> > C

Re: [ANNOUNCE] Donation Flink CDC into Apache Flink has Completed

Congratulations! Well done. Best regards, Weijie Feng Jin 于2024年3月21日周四 11:40写道： > Congratulations! > > > Best, > Feng > > > On Thu, Mar 21, 2024 at 11:37 AM Ron liu wrote: > > > Congratulations! > > > > Best, > > Ron > > > > Jark Wu 于2024年3月21日周四 10:46写道： > > > > > Congratulations and wel

  1   2   3   4   5   6   7   8   9   10   >