Re: 扩展SqlServerDialect 运行在flink on k8s报错

Hi 看日志是加载不到对应的class文件，(1)可以对比下你jar包里的路径是不是不正确,(2) 检查下集群上是不是还有之前的jar包，没替换干净 祝好 Leonard > 在 2021年5月7日，13:58，18756225...@163.com 写道： > > 大家好，遇到一个问题： > 坏境：flink 版本1.12.1, k8s集群为session模式, 该集群之前可以将数据正常写入到mysql > 参考mysqlDialect 扩展了一个 > SqlServerDialect，替换了flink的lib包下的flink-connector-jdbc_2

请问在native kubernetes上如何运行Flink History Server?

请问在native kubernetes上如何运行Flink History Server? 有没有相应的文档？

扩展SqlServerDialect 运行在flink on k8s报错

大家好，遇到一个问题： 坏境：flink 版本1.12.1, k8s集群为session模式, 该集群之前可以将数据正常写入到mysql 参考mysqlDialect 扩展了一个 SqlServerDialect，替换了flink的lib包下的flink-connector-jdbc_2.11-1.12.1.jar，在on yarn时 任务正常运行，flink-sql也可以将数据写入到sqlserver 在同一台机器坏境 提交到k8s搭建的flink session模式集群， 就报如下错误 ， JdbcBatchingOutputFormat 这个类加

History Server是否可以查看TaskManager聚合后的日志

Hi: flink 1.12.0 on yarn 模式 已经Finish的任务可以再history server中找到。但是通过WebUI查看TaskManager Log报404。目前Flink History Server是不支持查看TaskManager聚合后的日志吗？希望了解history serve相关原理的同学给予帮助。 非常感谢。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Fwd: flink1.12.2 CLI连接hive出现异常

启动yarn-session之后好了，另外这里为什么需要yarn-session呢？ Rui Li 于2021年5月7日周五 上午10:40写道： > 感觉是提交job时遇到了问题。可以看看本地SQL client的日志有没有更详细的信息。另外可以试试用yarn session模式提交。 > > On Fri, Apr 30, 2021 at 5:15 PM 张锴 wrote: > > > 我没有指定，就是执行了一条查询语句，自己生成的，但是好像没彻底成功，所以日志没说哪里的问题 > > > > Rui Li 于2021年4月30日周五 下午4:51写道： > > > > >

Re: Fwd: flink1.12.2 CLI连接hive出现异常

启动yarn-session之后好了，另外这里为什么需要yarn-session呢？其他的不行吗？ guoyb <861277...@qq.com> 于2021年5月7日周五 上午10:59写道： > 看看yarn session是不是被kill掉了。 > > > > ---原始邮件--- > 发件人: "Rui Li" 发送时间: 2021年5月7日(周五) 上午10:39 > 收件人: "user-zh" 主题: Re: Fwd: flink1.12.2 CLI连接hive出现异常 > > > 感觉是提交job时遇到了问题。可以看看本地SQL client的日志有没有更详细的信息。另

自定义数据源输出JDBC Sink报错

FLink版本为1.12.0，自定义了一个mqtt的数据源，在flink sql中可以获取数据，通过connector='print'打印出来。但是输出换成JDBC就报错了，一条数据也没有输出到数据库中。 把source换成datagen测试，就可以写入到jdbc中。所以，是mqtt数据源的问题吗？还是因为mqtt数据太大了，数据库形成了反压？可是个人理解，即便是反压，也应该可以写入几条到数据库中。 每次报错都停留在 https://github.com/apache/flink/blob/release-1.12.0/flink-connectors/flink-connector-

回复：Fwd: flink1.12.2 CLI连接hive出现异常

看看yarn session是不是被kill掉了。 ---原始邮件--- 发件人: "Rui Li"

Re: Fwd: flink1.12.2 CLI连接hive出现异常

感觉是提交job时遇到了问题。可以看看本地SQL client的日志有没有更详细的信息。另外可以试试用yarn session模式提交。 On Fri, Apr 30, 2021 at 5:15 PM 张锴 wrote: > 我没有指定，就是执行了一条查询语句，自己生成的，但是好像没彻底成功，所以日志没说哪里的问题 > > Rui Li 于2021年4月30日周五 下午4:51写道： > > > 你好， > > > > 看错误信息是找不到application_1605840182730_29292，这个是你提交任务的时候指定的么？ > > > > On Thu, Apr 29, 2

Re: Upsert kafka 作为 source 的几个问题

Hi. 1. 当初的设计是一个较为保守的设计，其主要目的就是为了能够补全delete消息； 2. 核心类是 StreamExecChangelogNormalize[1] 3. 是的。目前 Upsert-kafka 要求具有相同key的数据在相同 partition 的。因为 kafka 仅保证 partiiton 内按 offset 读取，如果相同 key 的数据分布在不同 partition 的话，那么读取会乱序。 4. 当数据进入到具体的算子的时候并不会区别数据是来自什么connector的。如果 left, right 的 paritition 策略不一致，会shuffle的。

请问ColumnVector类为何没map类型的实现类

大家好： 请问flink中org.apache.flink.table.data.vector.ColumnVector这个类的子类为什么没map类型的实现类呢？是什么原因呢？谢谢

flink页面监控问题

再web ui页面上，可以看到相关数据大概3s个更新一次，比如每个算子的read-bytes。 但是自己通过api去获取数据的时候，这些数据却是大概6秒甚至10多秒更新一次，请问这是为什么呢？ 通过api获取的read-bytes数据如下： 19:02:04 0 0 0 0 0 0 0 19:02:07 0 0 0