Hi, 现在flink sql还没有办法限流。有需求的话可以建一个jira[1]，在社区推进下。
[1] https://issues.apache.org/jira/projects/FLINK/issues
--
Best！
Xuyang
在 2024-06-05 15:33:30，"casel.chen" 写道：
>flink sql作业要如何配置进行限流消费呢？以防止打爆存储系统
>
>
>
>
>
>
>
>
>
>
>
>
>
&
flink sql作业要如何配置进行限流消费呢？以防止打爆存储系统
在 2024-06-05 14:46:23，"Alex Ching" 写道：
>从代码上看，Flink
>内部是有限速的组件的。org.apache.flink.api.common.io.ratelimiting.GuavaFlinkConnectorRateLimiter，
>但是并没有在connector中使用。
>
>casel.chen 于2024年6月5日周三 14:36写道：
>
>> kafka本
从代码上看，Flink
内部是有限速的组件的。org.apache.flink.api.common.io.ratelimiting.GuavaFlinkConnectorRateLimiter，
但是并没有在connector中使用。
casel.chen 于2024年6月5日周三 14:36写道：
> kafka本身是支持消费限流的[1]，但这些消费限流参数在flink kafka sql
> connector中不起作用，请问这是为什么？如何才能给flink kafka source table消费限速? 谢谢！
>
>
> [1] https:
kafka本身是支持消费限流的[1]，但这些消费限流参数在flink kafka sql connector中不起作用，请问这是为什么？如何才能给flink
kafka source table消费限速? 谢谢！
[1] https://blog.csdn.net/qq_37774171/article/details/122816246
您好，
Iceberg 为 Flink 实现的 connector 同时支持 DataStream API 和 Table API[1]。其 DataStream
API 提供 Append（默认行为）、Overwrite、Upsert 三种可选的模式，您可以使用下面的 Java 代码片段实现：
首先创建对应数据行 Schema 格式的反序列化器，例如，可以使用 RowDataDebeziumDeserializeSchema 的生成器来快速构造一个：
private RowDataDebeziumDeserializeSchema getDeserializer
各位大佬好：
想请教下，在使用mysql-cdc到iceberg，通过sql方式可以实现自动更新和删除功能。但在使用datastream
api进行处理后，注册成临时表，怎么实现类似于sql方式的自动更新和删除呢？
您好！
看起来这个问题与 FLINK-35066[1] 有关，该问题描述了在 IterationBody 内实现自定义的RichCoProcessFunction 或
CoFlatMapFunction 算子时遇到的拆包问题，可以追溯到这个[2]邮件列表中的问题报告。看起来这个问题也同样影响您使用的
RichCoMapFunction 算子。
该问题已被此 Pull Request[3] 解决，并已合入 master 主分支。按照文档[4]尝试在本地编译 2.4-SNAPSHOT
快照版本并执行您的代码，看起来能够正常工作。
鉴于这是一个 Flink ML 2.3 版本中的已知问题
flink sqlgateway
提交sql作业，发现sqlgateway服务启动后，默认是当前机器的租户信息进行任务提交到yarn集群，由于公司的hadoop集群设置了租户权限，需要设置提交的用户信息，各位大佬，flink
sqlgateway 提交sql作业如何设置组账号
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
Flink SQL消费kafka topic有办法限速么？场景是消费kafka
topic数据写入下游mongodb，在业务高峰期时下游mongodb写入压力大，希望能够限速消费kafka，请问要如何实现？
Hi,
目前Iterate api在1.19版本上废弃了，不再支持，具体可以参考[1][2]。Flip[1]中提供了另一种替代的办法[3]
[1]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-357%3A+Deprecate+Iteration+API+of+DataStream
[2] https://issues.apache.org/jira/browse/FLINK-33144
[3] https://cwiki.apache.org/confluence/pages/viewpage.action
尊敬的Flink开发团队：
您好！
我目前正在学习如何使用Apache Flink的DataStream API实现迭代算法，例如图的单源最短路径。在Flink
1.18版本的文档中，我注意到有关于iterate操作的介绍，具体请见：https://nightlies.apache.org/flink/flink-docs-release-1.18/docs/dev/datastream/overview/#iterations
但是，我发现Flink
1.19版本的文档中不再提及iterate操作。这让我有些困惑。不知道在最新版本中，这是否意味着iterate操作不再被支持？如
gt; > Cc recipient:"dev"< d...@flink.apache.org ;"user"<
> > u...@flink.apache.org ;"user-zh"< user-zh@flink.apache.org ;"Apache
> > Announce List"< annou...@apache.org ;
> >
> > Subject:Re: [ANNOUNCE] Apache F
7 23:10
>
> To:"Qingsheng Ren"< re...@apache.org ;
>
> Cc recipient:"dev"< d...@flink.apache.org ;"user"< u...@flink.apache.org
> ;"user-zh"< user-zh@flink.apache.org ;"Apache Announce List"<
> annou...@apache.o
Congratulations !
Thanks for all contributors.
Best,
Zhongqiang Gong
Qingsheng Ren 于 2024年5月17日周五 17:33写道：
> The Apache Flink community is very happy to announce the release of
> Apache Flink CDC 3.1.0.
>
> Apache Flink CDC is a distributed data integration tool for real
Congratulations!
Thanks for the great work.
Best,
Hang
Qingsheng Ren 于2024年5月17日周五 17:33写道：
> The Apache Flink community is very happy to announce the release of
> Apache Flink CDC 3.1.0.
>
> Apache Flink CDC is a distributed data integration tool for real time
> data and batch
Congratulations !
Thanks Qingsheng for the great work and all contributors involved !!
Best,
Leonard
> 2024年5月17日 下午5:32，Qingsheng Ren 写道：
>
> The Apache Flink community is very happy to announce the release of
> Apache Flink CDC 3.1.0.
>
> Apache Flink CDC is a distribute
The Apache Flink community is very happy to announce the release of
Apache Flink CDC 3.1.0.
Apache Flink CDC is a distributed data integration tool for real time
data and batch data, bringing the simplicity and elegance of data
integration via YAML to describe the data movement and transformation
看起来和 FLINK-34063 / FLINK-33863 是同样的问题，您可以升级到1.18.2 试试看。
[1] https://issues.apache.org/jira/browse/FLINK-33863
[2] https://issues.apache.org/jira/browse/FLINK-34063
陈叶超 于2024年5月16日周四 16:38写道：
>
> 升级到 flink 1.18.1 ，任务重启状态恢复的话，遇到如下报错：
> 2024-04-09 13:03:48
> java.lang.Exception: Exc
Hello!
I have a Flink Job with CEP pattern.
Pattern example:
// Strict Contiguity
// a b+ c d e
Pattern.begin("a", AfterMatchSkipStrategy.skipPastLastEvent()).where(...)
.next("b").where(...).oneOrMore()
.next("c").where(...)
升级到 flink 1.18.1 ，任务重启状态恢复的话，遇到如下报错：
2024-04-09 13:03:48
java.lang.Exception: Exception while creating StreamOperatorStateContext.
at
org.apache.flink.streaming.api.operators.StreamTaskStateInitializerImpl.streamOperatorStateContext(StreamTaskStateInitializerImpl.java:258
Hi,
> 现在可以用中文了？
我看你发的是中文答疑邮箱
> 就是opt目录里面的gateway.jar直接编辑Factory文件把connector注册就行了
你的意思是，之前报错类似"找不到一个jdbc
connector"，然后直接在gateway的jar包里的META-INF/services内的Factory文件（SPI文件）内加入jdbc
connector的Factory实现类就好了吗？
如果是这个问题就有点奇怪，因为本身flink-connector-jdbc的spi文件就已经将相关的类写进去了[1]，按理说放
>
>
>
>
> [1] https://issues.apache.org/jira/projects/FLINK/summary
>
>
>
>
> --
>
>Best！
>Xuyang
>
>
>
>
>
>> 在 2024-05-10 12:26:22，abc15...@163.com 写道：
>> I've solved it. You need to register the number of connections in
Hi,
我觉得如果只是从贡献的角度来说，支持flink hologres
connector是没问题的，hologres目前作为比较热门的数据库，肯定是有很多需求的，并且现在aliyun
github官方也基于此提供了开源的flink hologres connector[1]。
但是涉及到aliyun等公司商业化的ververica-connector-hologres包，如果想直接开源的话，在我的角度最好事先确认下面几点，不然可能会隐含一些法律风险
1. jar包的提供方（aliyun等公司）是否知情、且愿意开源，不然直接拿着商业化的东西给出来有
Hi, 看起来你之前的问题是jdbc driver找不到，可以简单描述下你的解决的方法吗？“注册connection数的数量”有点不太好理解。
如果确实有类似的问题、并且通过这种手段解决了的话，可以建一个improvement的jira issue[1]来帮助社区跟踪、改善这个问题，感谢！
[1] https://issues.apache.org/jira/projects/FLINK/summary
--
Best！
Xuyang
在 2024-05-10 12:26:22，abc15...@163.com 写道：
>I
我们有使用阿里云商业版Hologres数据库，同时我们有自研的Flink实时计算平台，为了实现在Hologres上实时建仓，我们基于开源Apache
Flink 1.17.1结合阿里云maven仓库的ververica-connector-hologres包[1]和开源的holo
client[2]开发了hologres
connector，修复了一些jar依赖问题。目前我们已经在生产环境使用了一段时间，暂时没有发现问题，现在想将它贡献给社区。
请问：
1. 贡献Flink Hologres连接器是否合规？
2. 如果合规的话，PR应该提到哪个项目代码仓库？
3. 还是说要像
退订
Replied Message
| From | abc15...@163.com |
| Date | 05/10/2024 12:26 |
| To | user-zh@flink.apache.org |
| Cc | |
| Subject | Re: use flink 1.19 JDBC Driver can find jdbc connector |
I've solved it. You need to register the number of connections in the jar of
gateway
or exists in
> it?
>
>
>
>
> --
>
>Best！
>Xuyang
>
>
>
>
>
> At 2024-05-09 17:48:33, "McClone" wrote:
>> I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can not
>> find jdbc connector,but use sql-client is normal.
Hi, can you print the classloader and verify if the jdbc connector exists in it?
--
Best！
Xuyang
At 2024-05-09 17:48:33, "McClone" wrote:
>I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can not
>find jdbc connector,but use sql-client is normal.
如题
I put flink-connector-jdbc into flink\lib.use flink 1.19 JDBC Driver can not
find jdbc connector,but use sql-client is normal.
以处理时间为升序，处理结果肯定不会出现回撤的，因为往后的时间不会比当前时间小了，你可以在试试这个去重
On Tue, Apr 30, 2024 at 3:35 PM 焦童 wrote:
> 谢谢你的建议 但是top-1也会产生回撤信息
>
> > 2024年4月30日 15:27，ha.fen...@aisino.com 写道：
> >
> > 可以参考这个
> >
> https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/de
谢谢你的建议 但是top-1也会产生回撤信息
> 2024年4月30日 15:27，ha.fen...@aisino.com 写道：
>
> 可以参考这个
> https://nightlies.apache.org/flink/flink-docs-release-1.19/zh/docs/dev/table/sql/queries/deduplication/
> 1.11版本不知道是不是支持
>
> From: 焦童
> Date: 2024-04-30 11:25
> To: user-zh
> Subjec
Hello ,
我使用Flink 1.11 版本 sql 进行数据去重（通过 group by
形式）但是这会产生回撤流，下游存储不支持回撤流信息仅支持append，在DataStream
中我可以通过状态进行去重，但是在sql中如何做到去重且不产生回撤流呢。谢谢各位
Hi Team，
我们这边的业务使用 Flink MySQL CDC到 OpenSearch并且使用TABLE API： INSERT INTO t1 SELECT *
FROM t2 这种方式。
由于我们这边可能会在运行过程中添加额外的Operator，我们有办法在使用snapshot 恢复后保留之前src和sink
operator的状态么？我看到在DataStream API可以通过设定uid。Table API有同样的方法吗？我看到Flink
jira：https://issues.apache.org/jira/browse/FLINK-28861
可以设置
流模式和批模式在watermark和一些算子语义等方面上有一些不同，但没看到Join和Window算子上有什么差异，这方面应该在batch
mode下应该是支持的。具体的两种模式的比较可以看一下这个文档
https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/datastream/execution_mode/
On Thu, Apr 18, 2024 at 9:44 AM casel.chen wrote:
>
> 有人尝试这么实践过么？可以给一些
我最近在调研Flink实时数仓数据质量保障，需要定期（每10/20/30分钟）跑批核对实时数仓产生的数据，传统方式是通过spark作业跑批，如Apache
DolphinScheduler的数据质量模块。
但这种方式的最大缺点是需要使用spark sql重写flink sql业务逻辑，难以确保二者一致性。所以我在考虑能否使用Flink流批一体特性，复用flink
sql，只需要将数据源从cdc或kafka换成hologres或starrocks表，再新建跑批结果表，最后只需要比较相同时间段内实时结果表和跑批结果表的数据即可。不过有几点疑问：
1. 原实时flink sql表定义中包含的
Hi, Perez.
Flink use SPI to find the jdbc connector in the classloader and when starting,
the dir '${FLINK_ROOT}/lib' will be added
into the classpath. That is why in AWS the exception throws. IMO there are two
ways to solve this question.
1. upload the connector jar to AWS to let
Hi all,
I am using AWS Managed Flink 1.18, where I am getting this error when trying to
submit my job:
```
Caused by: org.apache.flink.table.api.ValidationException: Cannot discover a
connector using option: 'connector'='jdbc
你好：
如果想长期保留已完成的任务，推荐使用 History Server :
https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#history-server
Best,
Zhongqiang Gong
ha.fen...@aisino.com 于2024年4月9日周二 10:39写道：
> 在WEBUI里面，已完成的任务会在completed jobs里面能够看到，过了一会再进去看数据就没有了，是有什么配置自动删除吗？
>
有一个过期时间的配置
https://nightlies.apache.org/flink/flink-docs-release-1.19/docs/deployment/config/#jobstore-expiration-time
| |
spoon_lz
|
|
spoon...@126.com
|
回复的原邮件
| 发件人 | ha.fen...@aisino.com |
| 发送日期 | 2024年04月9日 10:38 |
| 收件人 | user-zh |
| 主题 | flink 已完成job等一段时间会消失 |
在WEBUI里面，已完成的任
你好，目前flink cdc没有提供未消费binlog数据条数这样的指标，你可以通过 currentFetchEventTimeLag
这个指标（表示消费到的binlog数据中时间与当前时间延迟）来判断当前消费情况。
[1]
https://github.com/apache/flink-cdc/blob/master/flink-cdc-connect/flink-cdc-source-connectors/flink-connector-mysql-cdc/src/main/java/org/apache/flink/cdc/connectors/mysql/source
请问flink cdc对外有暴露一些监控metrics么？
我希望能够监控到使用flink cdc的实时作业当前未消费的binlog数据条数，类似于kafka topic消费积压监控。
想通过这个监控防止flink cdc实时作业消费慢而被套圈（最大binlog条数如何获取？）
Congratulations! Thanks Max for the release and all involved for the great
work!
A gentle reminder to users: the maven artifact has just been released and
will take some time to complete.
Best,
Rui
On Mon, Mar 25, 2024 at 6:35 PM Maximilian Michels wrote:
> The Apache Flink community is v
The Apache Flink community is very happy to announce the release of
the Apache Flink Kubernetes Operator version 1.8.0.
The Flink Kubernetes Operator allows users to manage their Apache
Flink applications on Kubernetes through all aspects of their
lifecycle.
Release highlights:
- Flink
Congrattulations! Thanks for the great work!
Best,
Zhongqiang Gong
Leonard Xu 于2024年3月20日周三 21:36写道：
> Hi devs and users,
>
> We are thrilled to announce that the donation of Flink CDC as a
> sub-project of Apache Flink has completed. We invite you to explore the new
> reso
gt;>
>> > > > >> Best,
>> > > > >> Lincoln Lee
>> > > > >>
>> > > > >>
>> > > > >> Peter Huang 于2024年3月20日周三 22:48写道：
>> > > > >>
>> > > > &g
t; > > >> Best,
> > > > >> Lincoln Lee
> > > > >>
> > > > >>
> > > > >> Peter Huang 于2024年3月20日周三 22:48写道：
> > > > >>
> > > > >>> Congratulations
> > > > >>>
>
; > >>> Best Regards
> > > >>> Peter Huang
> > > >>>
> > > >>> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang
> > > wrote:
> > > >>>
> > > >>>>
> > > >>>&g
>>>
> > >>> Best Regards
> > >>> Peter Huang
> > >>>
> > >>> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang
> > wrote:
> > >>>
> > >>>>
> > >>>> Congratulations
> > >>>>
;>>>> Best,
>>>>> Lincoln Lee
>>>>>
>>>>>
>>>>> Peter Huang 于2024年3月20日周三 22:48写道：
>>>>>
>>>>>> Congratulations
>>>>>>
>>>>>>
>>>>>> Best Regards
>>>>&
;>>
> > >>>
> > >>> Best Regards
> > >>> Peter Huang
> > >>>
> > >>> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang
> > wrote:
> > >>>
> > >>>>
> > >>>> Cong
22:48写道：
> >>
> >>> Congratulations
> >>>
> >>>
> >>> Best Regards
> >>> Peter Huang
> >>>
> >>> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang
> wrote:
> >>>
> >>>>
> >>>> Congratulat
gratulations
>>>>
>>>>
>>>> Best Regards
>>>> Peter Huang
>>>>
>>>> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang wrote:
>>>>
>>>>>
>>>>> Congratulations
>>>>>
>>>>&g
;> Congratulations
>>>>
>>>>
>>>>
>>>> Best,
>>>> Huajie Wang
>>>>
>>>>
>>>>
>>>> Leonard Xu 于2024年3月20日周三 21:36写道：
>>>>
>>>>> Hi devs and users,
>>>>>
&
ang
>>
>> On Wed, Mar 20, 2024 at 6:56 AM Huajie Wang wrote:
>>
>>>
>>> Congratulations
>>>
>>>
>>>
>>> Best,
>>> Huajie Wang
>>>
>>>
>>>
>>> Leonard Xu 于2024年3月20日周三 21:36写道：
>&
; Best,
>> Huajie Wang
>>
>>
>>
>> Leonard Xu 于2024年3月20日周三 21:36写道：
>>
>>> Hi devs and users,
>>>
>>> We are thrilled to announce that the donation of Flink CDC as a
>>> sub-project of Apache Flink has completed. We inv
Congratulations
Best,
Huajie Wang
Leonard Xu 于2024年3月20日周三 21:36写道：
> Hi devs and users,
>
> We are thrilled to announce that the donation of Flink CDC as a
> sub-project of Apache Flink has completed. We invite you to explore the new
> resources available:
>
> - Git
Hi devs and users,
We are thrilled to announce that the donation of Flink CDC as a sub-project of
Apache Flink has completed. We invite you to explore the new resources
available:
- GitHub Repository: https://github.com/apache/flink-cdc
- Flink CDC Documentation:
https://nightlies.apache.org
这种一般是因为APIServer那边有问题导致单次的ConfigMap renew lease annotation的操作失败，Flink默认会重试的
如果你发现因为这个SocketTimeoutException原因导致了任务Failover，可以把下面两个参数调大
high-availability.kubernetes.leader-election.lease-duration: 60s
high-availability.kubernetes.leader-election.renew-deadline: 60s
Best,
Yang
On Tue, Mar 12
Congrats and thanks all for the efforts!
Best Regards,
Yu
On Tue, 19 Mar 2024 at 11:51, gongzhongqiang wrote:
>
> Congrats! Thanks to everyone involved!
>
> Best,
> Zhongqiang Gong
>
> Lincoln Lee 于2024年3月18日周一 16:27写道：
>>
>> The Apache Flink community is v
Congrats! Thanks to everyone involved!
Best,
Zhongqiang Gong
Lincoln Lee 于2024年3月18日周一 16:27写道：
> The Apache Flink community is very happy to announce the release of Apache
> Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19 series.
>
> Apache Flink® is an open-s
gt; Yu Chen
> >
> >
> > > 2024年3月19日 01:01，Jeyhun Karimov 写道：
> > >
> > > Congrats!
> > > Thanks to release managers and everyone involved.
> > >
> > > Regards,
> > > Jeyhun
> > >
> > > On Mon, Mar
Congratulations!
Thanks to release managers and everyone involved!
Best,
Yu Chen
> 2024年3月19日 01:01，Jeyhun Karimov 写道：
>
> Congrats!
> Thanks to release managers and everyone involved.
>
> Regards,
> Jeyhun
>
> On Mon, Mar 18, 2024 at 9:25 AM Lincoln Lee wr
m
> >> > > > >
> >> > > > > > 2024年3月18日 16:37，Samrat Deb 写道：
> >> > > > > >
> >> > > > > > Congratulations !
> >> > > > > >
> >> > > > > > On Mon, 18 M
Mon, 18 Mar 2024 at 2:07 PM, Jingsong Li
>> > > > > >
>> > > > > wrote:
>> > > > > >
>> > > > > >> Congratulations!
>> > > > > >>
>> > > > > >> On Mon, Mar 18, 2024 at 4:30 PM
t; > > > > >
> > > > > > On Mon, 18 Mar 2024 at 2:07 PM, Jingsong Li <
> jingsongl...@gmail.com>
> > > > > wrote:
> > > > > >
> > > > > >> Congratulations!
> > > > > >>
> > >
ratulations !
> > > > >
> > > > > On Mon, 18 Mar 2024 at 2:07 PM, Jingsong Li
> > > > wrote:
> > > > >
> > > > >> Congratulations!
> > > > >>
> > > > >> On Mon, Mar 18, 2024 at 4:30 PM Rui Fan <1996fan...@
t 4:30 PM Rui Fan <1996fan...@gmail.com> wrote:
> > > >>>
> > > >>> Congratulations, thanks for the great work!
> > > >>>
> > > >>> Best,
> > > >>> Rui
> > > >>>
> > > >>> On Mon, Mar 18, 2
; > Congratulations!
>> >
>> > On Mon, Mar 18, 2024 at 4:30 PM Rui Fan <1996fan...@gmail.com> wrote:
>> >>
>> >> Congratulations, thanks for the great work!
>> >>
>> >> Best,
>> >> Rui
>> >>
>> >>
月18日 下午4:32，Jingsong Li 写道：
> >
> > Congratulations!
> >
> > On Mon, Mar 18, 2024 at 4:30 PM Rui Fan <1996fan...@gmail.com> wrote:
> >>
> >> Congratulations, thanks for the great work!
> >>
> >> Best,
> >> Rui
> >>
> >>
s for the great work!
>>
>> Best,
>> Rui
>>
>> On Mon, Mar 18, 2024 at 4:26 PM Lincoln Lee wrote:
>>>
>>> The Apache Flink community is very happy to announce the release of Apache
>>> Flink 1.19.0, which is the fisrt release for the Apac
2024 at 4:26 PM Lincoln Lee
> wrote:
>
> > The Apache Flink community is very happy to announce the release of
> Apache
> > Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19
> series.
> >
> > Apache Flink® is an open-source stream processing fram
Congratulations!
On Mon, Mar 18, 2024 at 4:30 PM Rui Fan <1996fan...@gmail.com> wrote:
>
> Congratulations, thanks for the great work!
>
> Best,
> Rui
>
> On Mon, Mar 18, 2024 at 4:26 PM Lincoln Lee wrote:
>>
>> The Apache Flink community is very happy to a
Congratulations, thanks for the great work!
Best,
Rui
On Mon, Mar 18, 2024 at 4:26 PM Lincoln Lee wrote:
> The Apache Flink community is very happy to announce the release of Apache
> Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19 series.
>
> Apache Flink® is an
The Apache Flink community is very happy to announce the release of Apache
Flink 1.19.0, which is the fisrt release for the Apache Flink 1.19 series.
Apache Flink® is an open-source stream processing framework for
distributed, high-performing, always-available, and accurate data streaming
FLINK-34170 只是一个UI的展示问题，并不影响实际的运行。
JDBC Connector 维表下推的 filter 不生效问题，已经在 FLINK-33365 中修复了，最新的 JDBC
Connector 版本中已经带上了这个修复，你可以试一下~
casel.chen 于2024年3月15日周五 10:39写道：
>
> 我们最近在使用Flink 1.17.1开发flink sql作业维表关联使用复合主键时遇到FLINK-34170描述一样的问题，请问这个major
> issue什么时候在哪个版本后能够修复呢？谢谢！
>
>
&g
我们最近在使用Flink 1.17.1开发flink sql作业维表关联使用复合主键时遇到FLINK-34170描述一样的问题，请问这个major
issue什么时候在哪个版本后能够修复呢？谢谢！
select xxx from kafka_table as kt
left join phoenix_table FORSYSTEM_TIMEASOFphoenix_table.proctime as pt
on kt.trans_id=pt.trans_id and pt.trans_date =
DATE_FORMAT(CURRENT_TIMESTAMP,'MMdd
kcz
573693...@qq.com
比较好的提升写入吞吐的效果。不过在一些特殊情况下，比如如果你并发很高，单并发写入 QPS
极低，以致于单次攒批周期内甚至只有一两条消息，导致攒批效果差，打到 Kafka 写入瓶颈，那么降低并发可能反而能通过提升攒批效果的形式，配合写入压缩降低写入
Kafka 流量，提升写入吞吐。
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/kafka/#sink-partitioning
[2] https://www.cnblogs.com/huxi2b/p/12540092.html
比较简单的方式是启动一个filebeat进程，抓取 jobmanager.log 和t askmanager.log
Best,
Jiabao
kellygeorg...@163.com 于2024年3月13日周三 15:30写道：
> 有没有比较方便快捷的解决方案？
>
>
>
有没有比较方便快捷的解决方案？
您好：
flink将数据写入kafka【kafka为sink】，当kafka
topic分区数【设置的60】小于设置的并行度【设置的300】时，task是轮询写入这些分区吗，是否会影响写入效率？【是否存在遍历时的耗时情况】。
此时，如果扩大topic的分区数【添加至200，或者直接到300】，写入的效率是否会有明显的提升？
是否有相关的源码可以查看。
期待回复，祝好，谢谢！
有没有高手指点一二？？？在线等
回复的原邮件
| 发件人 | kellygeorg...@163.com |
| 日期 | 2024年03月11日 20:29 |
| 收件人 | user-zh |
| 抄送至 | |
| 主题 | flink operator 高可用任务偶发性报错unable to update ConfigMapLock |
jobmanager的报错如下所示，请问是什么原因？
Exception occurred while renewing lock:Unable to update ConfigMapLock
Caused
jobmanager的报错如下所示，请问是什么原因？
Exception occurred while renewing lock:Unable to update ConfigMapLock
Caused by:io.fabric8.kubernetes.client.Kubernetes Client
Exception:Operation:[replace] for kind:[ConfigMap] with name:[flink task
xx- configmap] in namespace:[default]
Caused
事实上是可行的。你可以直接修改 StreamExecutionEnvironment 的源码，默认给作业作业注册上一个你们定制的
listener，然后通过某种那个方式把这个信息透出来。在 FLIP-314 [1] 中，我们计划直接在 Flink 里原生提供一个这样的接口让你去注册自己的
listener 获取血缘信息，不过还没发布，可以先自己做。
[1]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-314:+Support+Customized+Job+Lineage+Listener
我们想修改源码 实现任意任务提交实时平台，初始化DAG的时候获取到血缘信息，StreamExecutionEnvironment注册 这种只能写在任务里
不满足需求
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2024年03月8日 18:23，Zhanghao Chen 写道：
你可以看下 OpenLineage 和 Flink 的集成方法 [1]，它是在 StreamExecutionEnvironment 里注册了一个
JobListener（通过这个可以拿到 JobClient 进而拿到 job id）。然后从
你可以看下 OpenLineage 和 Flink 的集成方法 [1]，它是在 StreamExecutionEnvironment 里注册了一个
JobListener（通过这个可以拿到 JobClient 进而拿到 job id）。然后从 execution environment 里可以抽取到
transformation 信息处理 [2]。
[1] https://openlineage.io/docs/integrations/flink/
[2]
https://github.com/OpenLineage/OpenLineage/blob/main
日 16:18，Zhanghao Chen 写道：
JobGraph 里有个字段就是 jobid。
Best,
Zhanghao Chen
From: 阿华田
Sent: Friday, March 8, 2024 14:14
To: user-zh@flink.apache.org
Subject: 回复： Flink DataStream 作业如何获取到作业血缘？
获取到Source 或者 DorisSink信息之后, 如何知道来自那个flink任务，好像不能获取到flinkJobId
| |
阿华田
JobGraph 里有个字段就是 jobid。
Best,
Zhanghao Chen
From: 阿华田
Sent: Friday, March 8, 2024 14:14
To: user-zh@flink.apache.org
Subject: 回复： Flink DataStream 作业如何获取到作业血缘？
获取到Source 或者 DorisSink信息之后, 如何知道来自那个flink任务，好像不能获取到flinkJobId
| |
阿华田
|
|
a15733178...@163.com
|
签名
获取到Source 或者 DorisSink信息之后, 如何知道来自那个flink任务，好像不能获取到flinkJobId
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
在2024年02月26日 20:04，Feng Jin 写道：
通过 JobGraph 可以获得 transformation 信息，可以获得具体的 Source 或者 Doris
Sink，之后再通过反射获取里面的 properties 信息进行提取。
可以参考 OpenLineage[1] 的实现.
1.
https://github.com
你好，我们用的是1.13.2和1.15.4版本的，看了下flink ui，这两种版本针对下面sql片段的lookup执行计划中的关联维表条件是一样的
在 2024-03-08 11:08:51，"Yu Chen" 写道：
>Hi iasiuide,
>方便share一下你使用的flink版本与jdbc connector的版本吗？据我所了解，jdbc
>connector在FLINK-33365[1]解决了lookup join条件丢失的相关问题。
>
>[1] https://issues.apache.org/jira
Hi iasiuide,
方便share一下你使用的flink版本与jdbc connector的版本吗？据我所了解，jdbc
connector在FLINK-33365[1]解决了lookup join条件丢失的相关问题。
[1] https://issues.apache.org/jira/browse/FLINK-33365
祝好~
> 2024年3月8日 11:02，iasiuide 写道：
>
>
>
>
> 图片可能加载不出来，下面是图片中的sql片段
> ..
&g
下面的sql片段中
ods_ymfz_prod_sys_divide_order 为kafka source表
dim_ymfz_prod_sys_trans_log 为mysql为表
dim_ptfz_ymfz_merchant_info 为mysql为表
flink web ui界面的执行计划片段如下：
[1]:TableSourceScan(table=[[default_catalog, default_database,
ods_ymfz_prod_sys_divide_order, watermark=[-(CASE(IS NULL
Hi， casel chan,
社区已经对增量框架实现动态加表（https://github.com/apache/flink-cdc/pull/3024
），预计3.1对mongodb和postgres暴露出来，但是Oracle和Sqlserver目前并没暴露，你可以去社区参照这两个框架，将参数打开，并且测试和适配。
Best,
Hongshun
Flink有一个端到端延迟的指标，可以参考以下文档[1]，看看是否有帮助。
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.18/zh/docs/ops/metrics/#end-to-end-latency-tracking
Best,
Shawn Huang
casel.chen 于2024年2月21日周三 15:31写道：
> flink sql作业从kafka消费mysql过来的canal
> json消息，经过复杂处理后写入doris，请问如何统计doris表记录的端到端时延？m
我在 Yanquan 的回答基础上补充下，通过 /jobs/:jobid/plan 实际上拿到的就是 JSON 表示的 JobGraph 信息（通过
JsonPlanGenerator 这个类生成，包含了绝大部分 jobgraph 里常用的信息），应该能满足你的需要
From: casel.chen
Sent: Saturday, March 2, 2024 14:17
To: user-zh@flink.apache.org
Subject: 根据flink job web url可以获取到JobGraph信息么
https://nightlies.apache.org/flink/flink-docs-master/docs/ops/rest_api/#jobs-jobid-plan
通过 /jobs/:jobid/plan 能获得 ExecutionGraph 的信息，不知道能不能包含你需要的信息。
casel.chen 于2024年3月2日周六 14:19写道：
> 正在运行的flink作业能够通过其对外暴露的web url获取到JobGraph信息么？
正在运行的flink作业能够通过其对外暴露的web url获取到JobGraph信息么？
Hi，casel.chen。
这个部分应该是在 CDC 项目里没有涉及到，CDC 依赖 debezium 的 engine 部分直接读取出变更数据，并没有像 debezium
本身一样去写入到 Kafka 中。
可以考虑去 Debezium 社区咨询一下这部分的内容，Debezium开发者们应该更熟悉这部分的内容。
祝好，
Hang
casel.chen 于2024年2月29日周四 18:11写道：
> 搜索了debezium源码但没有发现哪里有调用
> SchemaRegistryClient.register方法的地方，请问它是如何注册schema到confluent
搜索了debezium源码但没有发现哪里有调用
SchemaRegistryClient.register方法的地方，请问它是如何注册schema到confluent schema registry的？
共有 8293 项搜索結果，以下是第 1 - 100 matches
Mail list logo
