回复：控制台打印出流式数据

这个方法就可以打印在你本地的idea控制台里面，你试一下 | | Jason_H | | hyb_he...@163.com | 回复的原邮件 | 发件人 | 小昌同学 | | 发送日期 | 2023年4月19日 16:01 | | 收件人 | user-zh | | 抄送人 | user-zh | | 主题 | 回复：控制台打印出流式数据 | 这个print是将数据打印再flink的stud out吧，我现在是再本地进行调试，想在本地上打印出来结果 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件

回复：控制台打印出流式数据

这个print是将数据打印再flink的stud out吧，我现在是再本地进行调试，想在本地上打印出来结果 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | Jason_H | | 发送日期 | 2023年4月19日 15:58 | | 收件人 | flink中文邮件组 | | 主题 | 回复：控制台打印出流式数据 | hi，你好 你应该使用 stream.print() 来打印流中的数据 不要system out 输出 | | Jason_H | | hyb_he...@163.com |

回复：控制台打印出流式数据

hi，你好 你应该使用 stream.print() 来打印流中的数据 不要system out 输出 | | Jason_H | | hyb_he...@163.com | 回复的原邮件 | 发件人 | 小昌同学 | | 发送日期 | 2023年4月19日 15:51 | | 收件人 | user-zh | | 主题 | 控制台打印出流式数据 | 各位老师好，请教一个问题，就是上游的数据源是Kafka，编辑工具是idea，再new FlinkKafkaConsumer后，得到一条流stream，我想看一下流中的数据，直接

flink命令行提交作业读取不到properties配置文件

hi，大家好 我在使用命令行提交任务时，发现任务刚起来就会报错，根据错误发现没有读去到jar包中resource目录下的properties配置文件，导致在使用redis时，初始化报错 提交命令如下： flink run -c com.test..etl.OdsChangeApplication /opt/dobrain/app/etl/test-etl-0.0.2-SNAPSHOT.jar \ -p 4 \ -job-name test-etl \ 此处没有添加redis配置参数，但是配置文件中已经有默认的，提交运行后报错：

控制台打印出流式数据

各位老师好，请教一个问题，就是上游的数据源是Kafka，编辑工具是idea，再new FlinkKafkaConsumer后，得到一条流stream，我想看一下流中的数据，直接 System.out.println(stream.toString); 但是从控制台打印结果来看，打印出来的还是地址值，请各位老师指导一下 | | 小昌同学 | | ccc0606fight...@163.com |

Re: Re: Re: sink mysql id自增表数据会丢失

退订请发送任意邮件到 user-zh-unsubscr...@flink.apache.org ，可以参考 https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list On Wed, Apr 19, 2023 at 9:31 AM 王国成 wrote: > 退订 > > > > > > > > > > > > 在 2023-04-19 09:15:09，"Shammon FY" 写道： > >如果想让mysql生成自增主键，可以在flink

Re:Re: Re: sink mysql id自增表数据会丢失

退订 在 2023-04-19 09:15:09，"Shammon FY" 写道： >如果想让mysql生成自增主键，可以在flink ddl的table里不增加主键字段，然后flink作业直接写入数据到table就可以了 > >On Tue, Apr 18, 2023 at 5:38 PM Jeff wrote: > >> 在sink时指定字段不可以不包括自增主键的列。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2023-04-17 07:29:16，"Shammon FY" 写道： >>

Re: Re: sink mysql id自增表数据会丢失

如果想让mysql生成自增主键，可以在flink ddl的table里不增加主键字段，然后flink作业直接写入数据到table就可以了 On Tue, Apr 18, 2023 at 5:38 PM Jeff wrote: > 在sink时指定字段不可以不包括自增主键的列。 > > > > > > > > > > > > > > > > > > 在 2023-04-17 07:29:16，"Shammon FY" 写道： > >Hi > > > >如果想使用mysql的自增主键，应该是在插入的时候不要写自增主键的列吧，可以在insert的时候直接指定需要插入的列试试？ > > >

Re: flink api消费kafka（avro）数据出错

Hi 看着是解析数据错误，可以检查一下是不是source的schema和数据不匹配 On Tue, Apr 18, 2023 at 2:46 PM kcz <573693...@qq.com.invalid> wrote: > 版本：1.15.2 >1.首先是采用SQL方式，将json数据输入到kafka里面（avro格式） >2.然后采用DS api方式去接收解析kafka里面的avro数据 > --报错如下-- >

Re: 退订

Hi， 退订可以发送邮件到 user-zh-unsubscr...@flink.apache.org From: 杨伟伟 Date: Tuesday, April 18, 2023 at 9:32 AM To: user-zh@flink.apache.org Subject: 退订 退订

退订

Re:Re: sink mysql id自增表数据会丢失

在sink时指定字段不可以不包括自增主键的列。 在 2023-04-17 07:29:16，"Shammon FY" 写道： >Hi > >如果想使用mysql的自增主键，应该是在插入的时候不要写自增主键的列吧，可以在insert的时候直接指定需要插入的列试试？ > >On Sun, Apr 16, 2023 at 7:58 PM Jeff wrote: > >> sink数据到mysql catalog内的表时，当表只一个自增主键id无其唯一索引时，同一批写入的数据只会保存一条，其它数据会丢失。 >> >> >> mysql内表ddl: >> >>

udf函数不能使用DataTypeHint("Row>")

在自定义函数中使用DataTypeHint("Row>")时报错，错误内容为： Caused by: java.lang.ClassCastException: class [I cannot be cast to class [Ljava.lang.Object; ([I and [Ljava.lang.Object; are in module java.base of loader 'bootstrap') \tat

退订

退订

Re: 退订

退订请发送任意邮件到 user-zh-unsubscr...@flink.apache.org ，可以参考 https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list On Fri, Apr 14, 2023 at 7:32 PM daniel sun wrote: > 退订 > zjw 于2023年4月14日 周五下午7:17写道： > > > >

Re: 流数据转化为json

Hi, 你使用的那个 Flink 版本，建议直接参考 Flink 官方 kafka connector 文档[1]。 转换为 Json 数据格式可以使用 flink-json format [1] https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/kafka/#kafka-sink [2] https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/datastream/formats/json/

Flink Streaming API ElasticSearch Connector 长连接

各位大佬好！ 我在使用Flink ES连接器的时候，有时候报以下错误： Caused by: java.io.IOException breakpoint : 远程主机强迫关闭了一个现有的连接 初步判断，应该是没有维持住长连接保活，所以如果一段时间不写入数据，连接就断了。 请问各位大佬，ElasticSearch Connector 有什么参数可以维持长连接吗？ ElasticSearch Connector 代码如下： jsonStringStream .sinkTo( new

Re: 用Flink Table API和RocksDB不能正常升级状态数据结构

Hi 目前增减列数据会导致状态无法兼容 Best, Shammon FY On Fri, Apr 14, 2023 at 9:09 PM Elvis Chen wrote: > 我们正在使用flink-1.16.0的Table API和RocksDB作为后端，为我们的用户提供运行SQL > > queries的服务。表格是使用Avro模式创建的，当以兼容的方式更改模式，例如添加一个带默认值的field时，我们无法从savepoint恢复作业。这是在数据结构升级后的报错： > Caused by:

Re: 流数据转化为json

Hi 对于kafka的问题，使用print或者其他方式有数据输出吗？可以通过这种方式确认一下是作业本身的数据问题还是kafka的问题 Best, Shammon FY On Fri, Apr 14, 2023 at 7:17 PM 小昌同学 wrote: > 你好，请问一下上游的数据是 > SingleOutputStreamOperator outPutInfoStream = > keyedStream.process(new KeyStreamFunc()); > 数据样式为：InPutInfo[phone='123456',workId='001'] >

Re: sink mysql id自增表数据会丢失

Hi 如果想使用mysql的自增主键，应该是在插入的时候不要写自增主键的列吧，可以在insert的时候直接指定需要插入的列试试？ On Sun, Apr 16, 2023 at 7:58 PM Jeff wrote: > sink数据到mysql catalog内的表时，当表只一个自增主键id无其唯一索引时，同一批写入的数据只会保存一条，其它数据会丢失。 > > > mysql内表ddl: > > create table test (id bigint primary key auto_increment , passport > varchar); > > > flink

sink mysql id自增表数据会丢失

sink数据到mysql catalog内的表时，当表只一个自增主键id无其唯一索引时，同一批写入的数据只会保存一条，其它数据会丢失。 mysql内表ddl: create table test (id bigint primary key auto_increment , passport varchar); flink sql: insert into mysql_catalog.test select 0, passport from source_table; 之所以select 0是表示使用物理表的自增值。

ValueError: unsupported pickle protocol: 5

我在尝试提交pyflink作业到k8s，按照这篇文章[1]介绍操作的，pyflink镜像文件[2]，flink版本是1.15.2，执行wordcount jar作业没遇到问题，而在提交pyflink作业时发现作业失败了，日志显示如下。我本地安装的python 3.7.9和pyflink镜像中的版本是一致的， 请问是不是pickle包版本有问题？ 怎样查看当前pickle包版本号是多少？ 期望用的pickle包版本号是多少？ 如何将当前pickle包安装成期望的版本？ ./bin/flink run \ -m localhost:8081 \ -py

用Flink Table API和RocksDB不能正常升级状态数据结构

我们正在使用flink-1.16.0的Table API和RocksDB作为后端，为我们的用户提供运行SQL queries的服务。表格是使用Avro模式创建的，当以兼容的方式更改模式，例如添加一个带默认值的field时，我们无法从savepoint恢复作业。这是在数据结构升级后的报错： Caused by: org.apache.flink.util.StateMigrationException: The new state serializer (org.apache.flink.table.runtime.typeutils.RowDataSerializer@aad5b03a)

Re: 退订

退订 zjw 于2023年4月14日 周五下午7:17写道： >

流数据转化为json

你好，请问一下上游的数据是 SingleOutputStreamOperator outPutInfoStream = keyedStream.process(new KeyStreamFunc()); 数据样式为：InPutInfo[phone='123456',workId='001'] 我想直接将这个流输入到kafka中，直接使用addsink算子，但是查看kafka日志发现，数据内容没有插入进来，想请教一下有没有什么解决方案； 我现在自己想着将流中的数据转换为json，但是我使用了gson以及fastjson都不行，请各位大佬指点 | | 小昌同学 | |

回复：flink sink web ui显示为Sink: Unnamed

好滴，谢谢各位老师 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | hjw | | 发送日期 | 2023年4月14日 16:38 | | 收件人 | | | 主题 | Re:flink sink web ui显示为Sink: Unnamed | 可以在算子后面调用.name()方法指定名称，方法参数就是算子名称。 比如需sink的流为stream stream.sinkTo(Sink算子).name("sink-name") -- Best， Hjw 在 2023-04-14

退订

退订

Re: flink sink web ui显示为Sink: Unnamed

可以，在算子后可以通过 .name("xxx") 来命名 Best, Weihua On Fri, Apr 14, 2023 at 4:27 PM 小昌同学 wrote: > 我将流式数据输出到mysql，查看flink 自带的web ui界面，有一个sink节点显示为Sink: Unnamed > ，这个针对sink节点可以命名嘛 > > > | | > 小昌同学 > | > | > ccc0606fight...@163.com > |

Re:flink sink web ui显示为Sink: Unnamed

可以在算子后面调用.name()方法指定名称，方法参数就是算子名称。 比如需sink的流为stream stream.sinkTo(Sink算子).name("sink-name") -- Best， Hjw 在 2023-04-14 16:26:35，"小昌同学" 写道： >我将流式数据输出到mysql，查看flink 自带的web ui界面，有一个sink节点显示为Sink: Unnamed ，这个针对sink节点可以命名嘛 > > >| | >小昌同学 >| >| >ccc0606fight...@163.com >|

flink sink web ui显示为Sink: Unnamed

我将流式数据输出到mysql，查看flink 自带的web ui界面，有一个sink节点显示为Sink: Unnamed ，这个针对sink节点可以命名嘛 | | 小昌同学 | | ccc0606fight...@163.com |

回复：打印不同流怎么进行区分

好滴，谢谢您 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | 17610775726<17610775...@163.com> | | 发送日期 | 2023年4月14日 10:27 | | 收件人 | user-zh@flink.apache.org | | 抄送人 | user-zh | | 主题 | 回复：打印不同流怎么进行区分 | Hi Print 方法是可以传入一个参数的，用来标识某个流，比如 print(“a”); print(“b"); Best JasonLee

回复：打印不同流怎么进行区分

Hi Print 方法是可以传入一个参数的，用来标识某个流，比如 print(“a”); print(“b"); Best JasonLee 回复的原邮件 | 发件人 | 小昌同学 | | 发送日期 | 2023年04月14日 09:46 | | 收件人 | user-zh | | 主题 | 打印不同流怎么进行区分 | 你好，请问一下再一个程序中，有流与流之间的转换，比如说流A转换为流B，那我想看看流A，也想看看流B，请问我该怎么实现，直接print的话，再控制面板会乱掉 | | 小昌同学 | | ccc0606fight...@163.com |

打印不同流怎么进行区分

你好，请问一下再一个程序中，有流与流之间的转换，比如说流A转换为流B，那我想看看流A，也想看看流B，请问我该怎么实现，直接print的话，再控制面板会乱掉 | | 小昌同学 | | ccc0606fight...@163.com |

Re: 退订

退订请发送任意邮件到 user-zh-unsubscr...@flink.apache.org ，可以参考[1] [1] https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list On Thu, Apr 13, 2023 at 9:53 PM lei-tian wrote: > 退订 > > > > | | > totorobabyf...@163.com > | > | > 邮箱：totorobabyf...@163.com > |

退订

退订 | | totorobabyf...@163.com | | 邮箱：totorobabyf...@163.com |

ogg json格式不支持database include和table include参数

多张oracle表变更同步到同一个kafka topic，现在实时flinlk作业需要消费其中一张oracle表，查了一下没看到类似canal json格式中 canal-json.database.include 和 canal-json.table.include 参数，只在available metadata中看到 table 字段，这意味着我需要在select语句中按table字段进行过滤吗？ [1]

转发:

发件人: Henry meng (孟令平) 发送时间: 2023年4月13日 15:27 收件人: 'user-zh-i...@flink.apache.org' 主题: public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); //env.enableCheckpointing(6);

回复：监控flink的prometheus经常OOM

Hi 这个是可以配置的，可以参考官网 filter.includes[1] 来过滤你想要的 metrics。 [1]https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/deployment/metric_reporters/#filter-includes Best JasonLee 回复的原邮件 | 发件人 | casel.chen | | 发送日期 | 2023年03月22日 12:08 | | 收件人 | user-zh@flink.apache.org | | 主题 |

Re: Flink实时计算平台在k8s上以Application模式启动作业如何实时同步作业状态到平台？

可以通过JobResultStore[1]来获取任务最终的状态，flink-kubernetes-operator也是这样来获取的 [1]. https://cwiki.apache.org/confluence/display/FLINK/FLIP-194%3A+Introduce+the+JobResultStore Best, Yang Weihua Hu 于2023年3月22日周三 10:27写道： > Hi > > 我们内部最初版本是通过 cluster-id 来唯一标识一个 application，同时认为流式任务是长时间运行的，不应该主动退出。如果该 >

Re: 监控flink的prometheus经常OOM

可以通过给Prometheus server来配置metric_relabel_configs[1]来控制采集哪些metrics [1]. https://prometheus.io/docs/prometheus/latest/configuration/configuration/#metric_relabel_configs Best, Yang casel.chen 于2023年3月22日周三 13:47写道： >

Re: Re: PartitionNotFoundException

Hi, 可以提供下 JobManager 和相关 TaskManager 的日志吗？ 一般来说 PartitionNotFoundException 只在作业启动建立链接的时候才会出现， 根据你的描述，应该是一个消费 Kafka 的流式任务，不太应该在运行一周后 出现 PartitionNotFoundException 可以检查下是否存在其他异常 Best, Weihua On Mon, Apr 10, 2023 at 9:51 AM zhan...@eastcom-sw.com < zhan...@eastcom-sw.com> wrote: >

Re: Re: PartitionNotFoundException

像上面提到的，流式作业可以设置taskmanager.network.tcp-connection.enable-reuse-across-jobs: false，一般作业影响不会有影响 Best, Shammon FY On Mon, Apr 10, 2023 at 9:27 AM zhan...@eastcom-sw.com < zhan...@eastcom-sw.com> wrote: > hi, 上周调整这两参数后，正常运行了近一个星期后 又重现了[PartitionNotFoundException]... > >

Re: 回复：Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能

你的考虑是对的；可能需要2个KDC互信，来使得一个keytab访问2个kerberos集群。这个其实就是我在刚才说的第一步操作中要考虑的事情。本质上是打通2个kerberos集群。 From: yihan Date: Sunday, April 9, 2023 at 12:13 AM To: Geng Biao Cc:

回复：Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能

Biao Geng： 十分感谢您的回复。 这个问题是我的同事之前向我提出的。我当时直觉感觉是不行的。现在周末放空的时候再想想这个问题。 我考虑的是，提交任务使用到本集群的principal和keytab和要他写入的另一集群用到的principal和keytab在hadoop的UserGroupInformation类login时会冲突，导致要么任务无法在本集群顺利做如checkpoint之类的操作，要么就是无法写入另一集群的HDFS。 我想任务提交到非加密yarn上时确实是可行的，但是对于加密yarn来说就不行了。 不知道上面考虑是否合理。 回复的原邮件

Re: Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能

Hi yihan, 这个本质上可以理解成在Flink的taskmanager运行一个UDF(UDF做的事情是写另一个Kerberos HDFS集群)，所以技术上是可能的。 我之前走通过普通Yarn集群的Flink任务写入另一个Kerberos HDFS集群的流程，整体操作感觉比较复杂，通常而言，你需要如下步骤： 1.

Kerberos加密Yarn集群上的Flink任务写入其他未互信的加密HDFS是否可能

请教如标题问题，谢谢。

WindowAssigner中windowStagger作用

如题，目前看实现，这个 windowStagger 是针对 opeartor 的众多 subtask 之间，针对每个 subtask 生成了一个固定的 offset 作用于该 subtask 处理的元素。因为 staggerOffset 是在 assignWindows 中生成，而且只有第一次会生成，后续复用。如下： if (staggerOffset == null) { staggerOffset = windowStagger.getStaggerOffset(context.getCurrentProcessingTime(), size); }

Re: 退订

Hi 退订请发送任意邮件到 user-zh-unsubscr...@flink.apache.org [1] https://flink.apache.org/community/#mailing-lists On Thu, Apr 6, 2023 at 2:00 PM Tony wrote: > 退订

退订

退订

Re: 退订

Hi 发送任意邮件到 user-zh-unsubscr...@flink.apache.org 退订 [1] https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list On Tue, Apr 4, 2023 at 1:20 PM 柳懿珊 wrote: > 退订

退订

退订

[ANNOUNCE] Starting with Flink 1.18 Release Sync

Hi everyone, As a fresh start of the Flink release 1.18, I'm happy to share with you that the first release sync meeting of 1.18 will happen tomorrow on Tuesday, April 4th at 10am (UTC+2) / 4pm (UTC+8). Welcome and feel free to join us and share your ideas about the new release cycle! Details of

Re: PartitionNotFoundException

设置 taskmanager.network.tcp-connection.enable-reuse-across-jobs 为 false，设置 taskmanager.network.max-num-tcp-connections 大点。 之前有个bug导致这个问题我记得，不知道1.16修复没有。 zhan...@eastcom-sw.com 于2023年4月3日周一 10:08写道： > > > hi, 最近从1.14升级到1.16后，kafka消费不定时会出现 >

Re: PartitionNotFoundException

Hi 出现PartitionNotFoundException通常是指定task的上游有subtask失败了，你可以查看一下上游subtask有没有错误日志，根据错误日志查看具体原因 Best, Shammon FY On Mon, Apr 3, 2023 at 10:08 AM zhan...@eastcom-sw.com < zhan...@eastcom-sw.com> wrote: > > hi, 最近从1.14升级到1.16后，kafka消费不定时会出现 >

Re: flink sql的codegen导致metaspace OOM疑问

Hi 自增id可以为同一个作业的多个codegen类生成唯一类名 一般metaspace可以通过fullgc释放，你可以查看你的集群metaspace大小，是否触发了了fullgc Best, Shammon FY On Wednesday, March 29, 2023, tanjialiang wrote: > Hi all, >我有一个通过flink kubernetes operator定时提交到同一个session作业（底层是将flink >

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations! Dong On Mon, Mar 27, 2023 at 5:24 PM Yu Li wrote: > Dear Flinkers, > > > > As you may have noticed, we are pleased to announce that Flink Table Store > has joined the Apache Incubator as a separate project called Apache > Paimon(incubating) [1] [2] [3]. The new project still

来自胡家发的邮件

退订

flink sql的codegen导致metaspace OOM疑问

Hi all, 我有一个通过flink kubernetes operator定时提交到同一个session作业（底层是将flink sql转JobGraph的逻辑下推到了JobManager执行），当他跑了一段时间后，JobManager报了metaspace OOM. 经过排查后发现是flink sql codegen生成的代码类有一个自增ID，这些类在使用完后不会释放。 疑问： 1. flink sql codegen做这样的一个自增ID有什么特殊意义吗？ 2. java中通过类加载器加载的类有什么办法可以释放？

找到多个default类型的ExecutorFactory导致提交flink sql作业失败

我的实时作业项目想解析sql获取到TableIdentifier做sql血缘，使用的版本是flink 1.15.2，同时引入了 flink-table-planner_2.12 和 flink-table-planner-loader 依赖，debug时发现 TableEnvironmentImpl create(EnvironmentSettings settings) 方法会调用 FactoryUtil.discoverFactory(classLoader, ExecutorFactory.class,

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Cool ~ Congrats! Best Regards, Shuo On Mon, Mar 27, 2023 at 5:24 PM Yu Li wrote: > Dear Flinkers, > > > As you may have noticed, we are pleased to announce that Flink Table > Store has joined the Apache Incubator as a separate project called > Apache Paimon(incubating) [1] [2] [3]. The new

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations! Best, Guowei On Tue, Mar 28, 2023 at 12:02 PM Yuxin Tan wrote: > Congratulations！ > > Best, > Yuxin > > > Guanghui Zhang 于2023年3月28日周二 11:06写道： > >> Congratulations！ >> >> Best, >> Zhang Guanghui >> >> Hang Ruan 于2023年3月28日周二 10:29写道： >> >> > Congratulations! >> > >> >

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations！ Best, Yuxin Guanghui Zhang 于2023年3月28日周二 11:06写道： > Congratulations！ > > Best, > Zhang Guanghui > > Hang Ruan 于2023年3月28日周二 10:29写道： > > > Congratulations! > > > > Best, > > Hang > > > > yu zelin 于2023年3月28日周二 10:27写道： > > > >> Congratulations! > >> > >> Best, > >> Yu Zelin

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations！ Best, Zhang Guanghui Hang Ruan 于2023年3月28日周二 10:29写道： > Congratulations! > > Best, > Hang > > yu zelin 于2023年3月28日周二 10:27写道： > >> Congratulations! >> >> Best, >> Yu Zelin >> >> 2023年3月27日 17:23，Yu Li 写道： >> >> Dear Flinkers, >> >> >> >> As you may have noticed, we are

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations! Unlike other data-lakes, Paimon might be the first one to act as a stream-first (not batch-first) data-lake. Best Yun Tang From: Xianxun Ye Sent: Tuesday, March 28, 2023 10:52 To: d...@flink.apache.org Cc: Yu Li ; user ; user-zh ;

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congrats! Thanks, Biao /'bɪ.aʊ/ On Tue, 28 Mar 2023 at 10:29, Hang Ruan wrote: > Congratulations! > > Best, > Hang > > yu zelin 于2023年3月28日周二 10:27写道： > >> Congratulations! >> >> Best, >> Yu Zelin >> >> 2023年3月27日 17:23，Yu Li 写道： >> >> Dear Flinkers, >> >> >> >> As you may have noticed, we

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations! Best, Hang yu zelin 于2023年3月28日周二 10:27写道： > Congratulations! > > Best, > Yu Zelin > > 2023年3月27日 17:23，Yu Li 写道： > > Dear Flinkers, > > > > As you may have noticed, we are pleased to announce that Flink Table Store > has joined the Apache Incubator as a separate project

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations! Best, Yu Zelin > 2023年3月27日 17:23，Yu Li 写道： > > Dear Flinkers, > > As you may have noticed, we are pleased to announce that Flink Table Store > has joined the Apache Incubator as a separate project called Apache > Paimon(incubating) [1] [2] [3]. The new project still aims

flink sql upsert mysql问题

你好，我这边使用flink sql实现四条流的关联，后续实现case when的逻辑，并且将数据插入到mysql，但是从结果数据来看，数据存在部分丢失，代码我粘贴再后面，麻烦各位老师指导，下面是sql【create function get_json_value as 'com.nesc.flink.udf.GetJsonValue'; set 'table.exec.sink.not-null-enforcer'='drop'; 测试环境 CREATE TABLE dm_cust_oact_prog_ri ( cust_id STRING COMMENT

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations! Best Regards, Yanfei ramkrishna vasudevan 于2023年3月27日周一 21:46写道： > > Congratulations !!! > > On Mon, Mar 27, 2023 at 2:54 PM Yu Li wrote: >> >> Dear Flinkers, >> >> >> As you may have noticed, we are pleased to announce that Flink Table Store >> has joined the Apache

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations! Best, Weihua On Mon, Mar 27, 2023 at 9:02 PM yuxia wrote: > congratulations! > > Best regards, > Yuxia > > > 发件人: "Andrew Otto" > 收件人: "Matthias Pohl" > 抄送: "Jing Ge" , "Leonard Xu" , "Yu > Li" , "dev" , "User" < > u...@flink.apache.org>, "user-zh" > 发送时间: 星期一, 2023年 3 月

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

congratulations! Best regards, Yuxia 发件人: "Andrew Otto" 收件人: "Matthias Pohl" 抄送: "Jing Ge" , "Leonard Xu" , "Yu Li" , "dev" , "User" , "user-zh" 发送时间: 星期一, 2023年 3 月 27日 下午 8:57:50 主题: Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating) Exciting!

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations and good luck with pushing the project forward. On Mon, Mar 27, 2023 at 2:35 PM Jing Ge via user wrote: > Congrats! > > Best regards, > Jing > > On Mon, Mar 27, 2023 at 2:32 PM Leonard Xu wrote: > >> Congratulations! >> >> >> Best, >> Leonard >> >> On Mar 27, 2023, at 5:23 PM,

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congrats! Am Mo., 27. März 2023 um 14:32 Uhr schrieb Leonard Xu : > Congratulations! > > > Best, > Leonard > > On Mar 27, 2023, at 5:23 PM, Yu Li wrote: > > Dear Flinkers, > > > > As you may have noticed, we are pleased to announce that Flink Table Store > has joined the Apache Incubator as a

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congrats! Best regards, Jing On Mon, Mar 27, 2023 at 2:32 PM Leonard Xu wrote: > Congratulations! > > > Best, > Leonard > > On Mar 27, 2023, at 5:23 PM, Yu Li wrote: > > Dear Flinkers, > > > > As you may have noticed, we are pleased to announce that Flink Table Store > has joined the Apache

Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Congratulations! Best, Leonard > On Mar 27, 2023, at 5:23 PM, Yu Li wrote: > > Dear Flinkers, > > As you may have noticed, we are pleased to announce that Flink Table Store > has joined the Apache Incubator as a separate project called Apache > Paimon(incubating) [1] [2] [3]. The new

[ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache Paimon(incubating)

Dear Flinkers, As you may have noticed, we are pleased to announce that Flink Table Store has joined the Apache Incubator as a separate project called Apache Paimon(incubating) [1] [2] [3]. The new project still aims at building a streaming data lake platform for high-speed data ingestion,

Re: [ANNOUNCE] Apache Flink 1.17.0 released

Here are a few things I noticed from the 1.17 release retrospectively which I want to share (other release managers might have a different view or might disagree): - Google Meet might not be the best choice for the release sync. We need to be able to invite attendees even if the creator of the

Re:Re: flink1.16 sql gateway hive2

感谢两位老师 在 2023-03-27 09:58:24，"Shengkai Fang" 写道： >方勇老师说的没错。我们在文档里面也加了如何配置 hiveserver2 endpoint 的文档[1] > >[1] >https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/hive-compatibility/hiveserver2/#setting-up > >Shammon FY 于2023年3月27日周一 08:41写道： > >> Hi >> >> >>

Re: flink1.16 sql gateway hive2

方勇老师说的没错。我们在文档里面也加了如何配置 hiveserver2 endpoint 的文档[1] [1] https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/hive-compatibility/hiveserver2/#setting-up Shammon FY 于2023年3月27日周一 08:41写道： > Hi > > >

Re: flink1.16 sql gateway hive2

Hi 如果要启动hiveserver2协议的gateway，需要将jar包flink-connector-hive_${scala.binary.version}放入到gateway的lib目录 Best, Shammon FY On Sun, Mar 26, 2023 at 12:07 PM guanyq wrote: > 本地启动了flink及hive在启动sql gateway时有以下异常，请问还需要其他什么操作么 > ./bin/sql-gateway.sh start-foreground >

Re: flink watermark 乱序数据问题

Hi 使用withTimestampAssigner只是定义了生成watermark消息的策略，不会影响数据流。超出指定时间的数据是否处理，可以在定义window的时候使用allowedLateness定义最晚的late event，超出这个时间的窗口数据会直接丢弃 Best, Shammon FY On Sat, Mar 25, 2023 at 12:28 AM crazy <2463829...@qq.com.invalid> wrote: > 大佬好，如下程序，flink在生成watermark策略中，forBoundedOutOfOrderness >

flink1.16 sql gateway hive2

本地启动了flink及hive在启动sql gateway时有以下异常，请问还需要其他什么操作么 ./bin/sql-gateway.sh start-foreground -Dsql-gateway.endpoint.type=hiveserver2 -Dsql-gateway.endpoint.hiveserver2.catalog.hive-conf-dir=/usr/local/app/apache-hive-3.1.2-bin/conf 异常信息 Available factory identifiers are: rest at

Re: 项目中引入 flink-sql-connector-oracle-cdc-2.3.0.jar 后启动报解析配置异常

flink-sql-connector-xx 都是uber jar, 不应该在项目中直接uber jar，你在项目中应该引入 flink-connector-xx 依赖并自己管理。 Best, Leonard > On Mar 25, 2023, at 3:25 PM, casel.chen wrote: > > 项目中引入 flink-sql-connector-oracle-cdc-2.3.0.jar > 后启动过程中报如下异常，查了一下该jar下有oracle.xml.jaxp.JXDocumentBuilderFactory类，有什么办法解决么？ > > >

Re: [ANNOUNCE] Apache Flink 1.17.0 released

Thanks for the great work ! Congrats all! Best, Hang Panagiotis Garefalakis 于2023年3月25日周六 03:22写道： > Congrats all! Well done! > > Cheers, > Panagiotis > > On Fri, Mar 24, 2023 at 2:46 AM Qingsheng Ren wrote: > > > I'd like to say thank you to all contributors of Flink 1.17. Your support > >

项目中引入 flink-sql-connector-oracle-cdc-2.3.0.jar 后启动报解析配置异常

项目中引入 flink-sql-connector-oracle-cdc-2.3.0.jar 后启动过程中报如下异常，查了一下该jar下有oracle.xml.jaxp.JXDocumentBuilderFactory类，有什么办法解决么？ ERROR StatusLogger Caught javax.xml.parsers.ParserConfigurationException setting feature http://xml.org/sax/features/external-general-entities to false on

Re: [ANNOUNCE] Apache Flink 1.17.0 released

Congrats all! Well done! Cheers, Panagiotis On Fri, Mar 24, 2023 at 2:46 AM Qingsheng Ren wrote: > I'd like to say thank you to all contributors of Flink 1.17. Your support > and great work together make this giant step forward! > > Also like Matthias mentioned, feel free to leave us any

Re: flink sql作业监控指标operator name和task name超长导致prometheus OOM问题

Hi, 现在不会过滤指标，可以尝试修改 PrometheusReporter 将不需要的 label 过滤掉 https://github.com/apache/flink/blob/master/flink-metrics/flink-metrics-prometheus/src/main/java/org/apache/flink/metrics/prometheus/AbstractPrometheusReporter.java#L104 需要注意这里的 key 的格式是 这种 Best, Weihua On Fri, Mar 24, 2023 at 2:47 PM

Re: flink写入mysql数据异常

Hi 退订发送邮件到 user-zh-unsubscr...@flink.apache.org On Fri, Mar 24, 2023 at 1:23 PM 孙冬燕 wrote: > 退订 > -- > 发件人：小昌同学 > 发送时间：2023年3月24日(星期五) 13:22 > 收件人：user-zh > 抄 送：user-zh > 主 题：回复： flink写入mysql数据异常 > 好滴呀，谢谢您的建议； > >

flink sql作业监控指标operator name和task name超长导致prometheus OOM问题

使用prometheus监控flink sql作业，发现没一会儿工夫就将prometheus内存(30GB)占满了，查了一下是因为作业指标名称过长导致的，像flink sql作业这种operator name和task name默认是根据sql内容拼装的，一旦sql出现的列名很多就会导致指标名称过长。 请问这种情况Flink社区有什么建议？prometheus抓取的时候能够过滤掉吗？只保留operator_id和task_id。 要是自己想将现有拼装名称修改成哈希值的话应该改哪个类呢？谢谢！

回复：flink写入mysql数据异常

退订 -- 发件人：小昌同学 发送时间：2023年3月24日(星期五) 13:22 收件人：user-zh 抄　送：user-zh 主　题：回复： flink写入mysql数据异常 好滴呀，谢谢您的建议； https://www.yuque.com/g/echochangtongxue/yxxdbg/iyfqa9fh34i5lssu/collaborator/join?token=KZCQVX5pqH3rmPNP#

回复： flink写入mysql数据异常

好滴呀，谢谢您的建议； https://www.yuque.com/g/echochangtongxue/yxxdbg/iyfqa9fh34i5lssu/collaborator/join?token=KZCQVX5pqH3rmPNP# 邀请你共同编辑文档《Flink SQL写入到mysql的问题》 我创建了一个语雀，我将代码以及问题都写在文档里了，麻烦大佬们帮忙看一下问题呀 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | Shammon FY | | 发送日期 | 2023年3月24日 13:08 |

Re: flink写入mysql数据异常

Hi 你可以将问题描述和sql放在一个外部文档，例如google文档，然后将文档连接发在邮件里 Best, Shammon FY On Fri, Mar 24, 2023 at 10:58 AM 孙冬燕 wrote: > 退订 > -- > 发件人：小昌同学 > 发送时间：2023年3月24日(星期五) 10:57 > 收件人：user-zh > 抄 送：user-zh > 主 题：回复： flink写入mysql数据异常 > 您好，

回复：flink写入mysql数据异常

退订 -- 发件人：小昌同学 发送时间：2023年3月24日(星期五) 10:57 收件人：user-zh 抄　送：user-zh 主　题：回复： flink写入mysql数据异常 您好， 可能是我这边上传附件的方式不对，我场景描述的不够准确； 您看是否方便加一个微信呢【15956076613】，我将文档和截图发您，帮忙看一下； 谢谢大佬的指导 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 |

回复： flink写入mysql数据异常

您好， 可能是我这边上传附件的方式不对，我场景描述的不够准确； 您看是否方便加一个微信呢【15956076613】，我将文档和截图发您，帮忙看一下； 谢谢大佬的指导 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | Jane Chan | | 发送日期 | 2023年3月23日 20:40 | | 收件人 | | | 主题 | Re: flink写入mysql数据异常 | 附件还是没有收到哦. Flink SQL 支持 INSERT INTO table_identifier

退订

退订请发送邮件到 user-zh-unsubscr...@flink.apache.org On Wed, Mar 22, 2023 at 8:13 PM jianbo zhang wrote: > 退订 >

Re: flink写入mysql数据异常

附件还是没有收到哦. Flink SQL 支持 INSERT INTO table_identifier (column_identifier1 [, column_identifier2, ...]) 插入指定列, 具体语法可以参考 [1] [1] https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/dev/table/sql/insert/#insert-from-select-queries On Thu, Mar 23, 2023 at 5:35 PM 小昌同学 wrote: >

Re: [ANNOUNCE] Apache Flink 1.17.0 released

Thanks for making this release getting over the finish line. One additional thing: Feel free to reach out to the release managers (or respond to this thread) with feedback on the release process. Our goal is to constantly improve the release process. Feedback on what could be improved or things

Re: [ANNOUNCE] Apache Flink 1.17.0 released

Excellent work! Congratulations! Appreciate the hard work and contributions of everyone in the Apache Flink community who helped make this release possible. Looking forward to those new features. Cheers! Best regards, Jing On Thu, Mar 23, 2023 at 10:24 AM Leonard Xu wrote: > The Apache Flink

回复： flink写入mysql数据异常

您好，我刚刚重新上传了附件；是的，Flink SQL已经支持了Upsert模式，但是这种更新都是行级别的更新，我想要实现仅仅只是变动一行数据中的部分字段。还望大佬指导 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | Jane Chan | | 发送日期 | 2023年3月23日 15:42 | | 收件人 | | | 主题 | Re: flink写入mysql数据异常 | Hi, 没有看到附件哦. 回到你的问题, Flink SQL 目前支持以 Upsert 模式写入 MySQL, 前提是 Sink 表的

<    5   6   7   8   9   10   11   12   13   14   >