?????? Flink SQL UDF ????????

Hi +1??avro??json??formatpb??flink-protobuf??formats??git https://github.com/yangyichao-mango/flink-protobuf pb format Best, Yichao Yang --  -- ??: "Jark W

Re: Flink SQL UDF 动态类型

+1 to support pb format. On Tue, 9 Jun 2020 at 14:47, Benchao Li wrote: > 我也感觉这种场景可以用一个pb format来搞比较好一些，其实我们内部也是这么用的。 > 我们的format实现也是拿到pb编译后的class，根据这个class推导出来table的schema。 > 这个过程主要是需要定义清楚pb的所有类型到flink类型的映射关系。 > > 之前也考虑过在社区讨论下是否有必要支持一下pb format。如果你们都有这个诉求， > 我们可以先建一个jira，然后再jira里面讨论具体的需求和实现。 >

Re: Flink SQL UDF 动态类型

我也感觉这种场景可以用一个pb format来搞比较好一些，其实我们内部也是这么用的。 我们的format实现也是拿到pb编译后的class，根据这个class推导出来table的schema。 这个过程主要是需要定义清楚pb的所有类型到flink类型的映射关系。 之前也考虑过在社区讨论下是否有必要支持一下pb format。如果你们都有这个诉求， 我们可以先建一个jira，然后再jira里面讨论具体的需求和实现。 1048262223 <1048262...@qq.com> 于2020年6月9日周二 下午2:23写道： > Hi > > > > 我们是用到了pb作为源数据的，我们的方

??????Flink SQL UDF ????????

Hi pbpb??schema(descriptor)??TypeInformationenv.addSource().returns()??TypeInformation??TypeInformation?? ??udfudf?

??????Flink??????????????????

Hi 1.try catch?? 2.?? 3.??try catch + ??perf log + Best, Yichao Yang --  -

Flink??????????????????

Hi?? ??     ??Flink??(NullPointer??)checkpoint??savepoint??     1:  Flink??     2??checkpoint??savepointsavepoint

Flink SQL UDF 动态类型

你好，我的朋友： 我使用的是 Flink 1.10 Blink Planer。 我想构造一个Flink UDF ，这个 UDF 可以根据不同的参数返回不同的类型。 为什么我想要这个功能： 场景1: 我的数据是一个 pb 的 bytes，我想从里面获取数据，如果统一的返回 string，后面还需要 cast 比较繁琐，如果使用 get_int、get_double、get_string 这样的方式，实现起来又非常多 场景2: 我的数据是一个 Json ，问题同上。 在场景1中，我改了下 Flink 的源码，在

Re:回复：流groupby

hi， 也就是指定 update-model retract就可以了是吧？好的多谢，我试试！ 在 2020-06-09 12:13:10，"1048262223" <1048262...@qq.com> 写道： >Hi > > >可以不开窗口只不过结果是retract流而不是append流 > > >Best, >Yichao Yang > > > > > >发自我的iPhone > > >-- 原始邮件 -- >发件人: allanqinjy 发送时间: 2020年6月9日 12:11

回复：流groupby

Hi 可以不开窗口只不过结果是retract流而不是append流 Best, Yichao Yang 发自我的iPhone -- 原始邮件 -- 发件人: allanqinjy

流groupby

hi， 请教个问题，流sql如果要group by 只能配合窗口吗？如果我不开窗口，根据一个字段比如日期group by 不可以吗？ AppendStreamTableSink requires that Table has only insert changes.

Re: 关于kubernetes native配置的疑问

是的，在1.11里面将fabric8的kubernetes-client升级到了4.9.2 于2020年6月9日周二 上午11:39写道： > hi yang > 1.11是通过什么方式解决这个问题的？升级client版本吗 > > > > > | | > a511955993 > | > | > 邮箱：a511955...@163.com > | > > 签名由 网易邮箱大师 定制 > > 在2020年06月09日 11:31，Yang Wang 写道： > 是的，使用-Dcontainerized.master.env.HTTP2_DISABLE=true可以 > 通过传递ENV给

回复：关于kubernetes native配置的疑问

hi yang 1.11是通过什么方式解决这个问题的？升级client版本吗 | | a511955993 | | 邮箱：a511955...@163.com | 签名由 网易邮箱大师 定制 在2020年06月09日 11:31，Yang Wang 写道： 是的，使用-Dcontainerized.master.env.HTTP2_DISABLE=true可以 通过传递ENV给他JobManager的pod强制disable掉http2的加载， 暂时work aground jdk版本的问题 不过这个问题在1.11里面已经正式修复，就不需要再带上了 Best, Yang

Re: 关于kubernetes native配置的疑问

是的，使用-Dcontainerized.master.env.HTTP2_DISABLE=true可以 通过传递ENV给他JobManager的pod强制disable掉http2的加载， 暂时work aground jdk版本的问题 不过这个问题在1.11里面已经正式修复，就不需要再带上了 Best, Yang 于2020年6月8日周一 下午5:44写道： > Hi，all： > > 看到git上关于kubernetes-client could not work with java > 8u252[1]的问题。根据flink英文邮件列表[2]中的方法添加如下参数，可以正常

回复: Flink 1.11 什么时候正式发布呢

+1 发送自 Windows 10 版邮件应用 发件人: a773807...@gmail.com 发送时间: 2020年6月9日 10:53 收件人: user-zh 主题: 回复: Flink 1.11 什么时候正式发布呢 +1 a773807...@gmail.com 发件人： hyangvv 发送时间： 2020-06-09 10:52 收件人： user-zh 主题： Flink 1.11 什么时候正式发布呢 hi，flink项目的大神们，能透漏下 Flink1.11大概什么时候正式发布呢。

回复: Flink 1.11 什么时候正式发布呢

+1 a773807...@gmail.com 发件人： hyangvv 发送时间： 2020-06-09 10:52 收件人： user-zh 主题： Flink 1.11 什么时候正式发布呢 hi，flink项目的大神们，能透漏下 Flink1.11大概什么时候正式发布呢。

Flink 1.11 什么时候正式发布呢

hi，flink项目的大神们，能透漏下 Flink1.11大概什么时候正式发布呢。

Re:flink 1.10SQL 报错问题求教

我也遇到过这个问题，这个可能是 checkpoint 的 bug，我修改了下 flink 源码后不报错了，可以参考下这个patch https://github.com/yuchuanchen/flink/commit/e5122d9787be1fee9bce141887e0d70c9b0a4f19 在 2020-06-05 15:06:48，"hb" <343122...@163.com> 写道： >Flink SQL 作业, 开始运行正常, checkpoint也正常, 没有大状态(状态19.7KB), >但是执行一段时间后,开始报错, 然后恢复执行个几秒,也马上报这个错,然后报

Re:Re:flink1.9 on yarn 消费kafka数据中文乱码

非常感谢，问题解决了！ 在 2020-06-09 08:27:47，"马阳阳" 写道： > > > >我们也遇到过这个问题，我们当时遇到的问题是YARN NM上的默认charset是ascii。 >通过在flink-conf.yaml文件里添加如下配置解决了该问题： >env.java.opts.taskmanager: "-Dfile.encoding=UTF-8" > > > > > > > > > > > > > > >在 2020-06-08 21:48:33，"guanyq" 写道： >>kafka 0.11版本 >>首先kafka sourc

Re: Flink sql 中 无法通过 TableEnvironment 调出 createTemporaryTable()方法 以及.TableException: findAndCreateTableSource failed 异常

Hi, 我看你用的是1.9.1版本，但是createTemporaryTable应该是在1.10之后才引入的。不知道你参考的是哪一版的文档呢？ Px New <15701181132mr@gmail.com> 于2020年6月8日周一 下午10:00写道： > Hi 社区: 关于flink sql 使用上的一个问题以及一个sql异常 > > 我通过官网给出的结构编写代码时发现注册临时表方法无法被调用？[图1, 图 2, 图 3] > 通过 tableEnvironment 调用createTemporar

Re:flink1.9 on yarn 消费kafka数据中文乱码

我们也遇到过这个问题，我们当时遇到的问题是YARN NM上的默认charset是ascii。 通过在flink-conf.yaml文件里添加如下配置解决了该问题： env.java.opts.taskmanager: "-Dfile.encoding=UTF-8" 在 2020-06-08 21:48:33，"guanyq" 写道： >kafka 0.11版本 >首先kafka source topic数据是正常的，kafka客户端消费出来无中文乱码问题 >1.本地idea debug运行，无中文乱码问题 >2.服务器Standalone模式运行，无中文乱

Flink sql 中 无法通过 TableEnvironment 调出 createTemporaryTable()方法 以及.TableException: findAndCreateTableSource failed 异常

Hi 社区: 关于flink sql 使用上的一个问题以及一个sql异常 我通过官网给出的结构编写代码时发现注册临时表方法无法被调用？[图1, 图 2, 图 3] 通过 tableEnvironment 调用createTemporaryTable 方法 我排查过。 但还是没能解决 1:包倒入的是官网所声明的包。 2:类倒入的是 flink.table.api.TableEnvironment/以及.java.StreamTableEnvironment 两个类 图 1 (依赖导入): https://img

flink1.9 on yarn 消费kafka数据中文乱码

kafka 0.11版本 首先kafka source topic数据是正常的，kafka客户端消费出来无中文乱码问题 1.本地idea debug运行，无中文乱码问题 2.服务器Standalone模式运行，无中文乱码问题 3.服务器on yarn提交方式，就出现中文乱码问题 flink 消费kafka的api用的是这个 new FlinkKafkaConsumer<>(topicList, new SimpleStringSchema(), props); 根据1，2，3分析问题可能和yarn有关系。请教一下大佬们，还需要怎么调查，才能解决这个问题。

Flink Weekly 每周动态更新-2020/06/02 - 06/08

社区开发进展 Release Zhijiang 创建了Umbrella jira用来测试Flink-1.11.0中的功能和特性。 https://issues.apache.org/jira/browse/FLINK-18088 DEV Flink-1.11.0 的发布仍在测试回归中 https://issues.apache.org/jira/secure/RapidBoard.jspa?rapidView=364&projectKey=FLINK

Re: Re: flink1.10 on yarn 问题

yarn session模式应该是lazy的，你不提交任务，它不会真正的去申请container。 小屁孩 <932460...@qq.com> 于2020年6月8日周一 下午6:23写道： > > 这个问题已经解决 是我自己的cdh的namenode没有启动成功，我目前有个疑问 > > 命令：./../bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 -d -s 2 > flink用这个命令申请的应该是 2个slot 为什么通过yarn 的ui界面 没有看到slot数 > > > 能不能帮我解答一下 谢谢 > ---

?????? Re: flink1.10 on yarn ????

??cdh??namenode ??./../bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 -d -s 2 flink    ?? 2??slot  ??yarn ??ui slot?? ?? --  -- ??: 

?????? flink ????????????

Hi Flink source??sink source(source1) -> transform -> sink(sink1) source(sink1) -> transform -> sink(sink2) Best, Yichao Yang -- ??

Re: flink ????????????

??insert??jobinsert_into??

回复：关于kubernetes native配置的疑问

Hi，all： 看到git上关于kubernetes-client could not work with java 8u252[1]的问题。根据flink英文邮件列表[2]中的方法添加如下参数，可以正常解决jdk版本的问题 -Dcontainerized.master.env.HTTP2_DISABLE=true 感谢yang wang [1] https://github.com/fabric8io/kubernetes-client/issues/2212 [2] http://apache-flink-user-mailing-list-archive.2336050.n4

Re: flink 任务并发顺序

Hi, Flink 任务运行时，本身就是一个 DAG 图，从 Source 出发，到 Sink 结束。 所以你所说的顺序，完全是按照你的业务逻辑来的。 Best, LakeShen Caizhi Weng 于2020年6月8日周一 下午5:41写道： > Hi， > > 不能设置这两个算子的执行顺序。流作业很可能是不会结束的，如果非要设定顺序的话可能另一个算子永远都不会执行。 > > 不过如果已知是有限流的话，可以把这两个算子分成两个 job 提交，拿到 job client 以后用 job client 等待一个 job > 的结束，再提交另一个 job。 > > 小学生 <2

Re: flink 任务并发顺序

Hi， 不能设置这两个算子的执行顺序。流作业很可能是不会结束的，如果非要设定顺序的话可能另一个算子永远都不会执行。 不过如果已知是有限流的话，可以把这两个算子分成两个 job 提交，拿到 job client 以后用 job client 等待一个 job 的结束，再提交另一个 job。 小学生 <201782...@qq.com> 于2020年6月8日周一 下午5:29写道： > 各位大佬好，有一个问题需要咨询下： > 当前我在一个flink执行文件中，对同一源流数据有不同的算子操作，例如： > 1.table1.insert（‘sink_table’） > 2.sink_tabl

flink ????????????

?? flink?? 1.table1.insertsink_table 2.sink_table.insertsink_table1 ??flinkflink???

Flink新出的OrcBulkWriterFactory有没有大佬给个详细的Demo

自己在使用时,会有文件生成,但是文件内并不包含数据

Re:Re:Re:flink sink to mysql

code 代码乱码，重新截图一下： 在 2020-06-08 17:20:54，"Zhou Zach" 写道： > > > >使用JDBCOutputFormat的方式，一直没成功啊 > > >code： >object FromKafkaSinkJdbcByJdbcOutputFormat { def main(args: Array[String]): >Unit = { val env = getEnv() val topic = "t4" val consumer = >getFlinkKafkaConsumer(topic) consume

Re:Re:flink sink to mysql

使用JDBCOutputFormat的方式，一直没成功啊 code： object FromKafkaSinkJdbcByJdbcOutputFormat { def main(args: Array[String]): Unit = { val env = getEnv() val topic = "t4" val consumer = getFlinkKafkaConsumer(topic) consumer.setStartFromLatest() val sourceStream = env .addSource(consumer) .setParallelism(1

Re: flink sql 通过计算列提取字段定义watermark后窗口计算没有结果输出

> 我删掉重建了一下kafka topic之后，结果就正常了。 这种可能是kafka topic里有脏数据，解析的时间戳不对，导致窗口没触发 > > > > > 在 2020-06-08 12:05:17，"xu yihan" 写道： > > 大家好， > > > 我遇到一个奇怪的问题，通过计算列提取出某一字段。定义为row_time的watermark， > 如下面原始字段为message，从中提取13位unix-timestamp，转成timestamp（3）再定义为watermark。 > > > 执行窗口计算不报错，但是无输出结果。 > > > 数

Re:flink sql 通过计算列提取字段定义watermark后窗口计算没有结果输出

不好意思， 我删掉重建了一下kafka topic之后，结果就正常了。 在 2020-06-08 12:05:17，"xu yihan" 写道： 大家好， 我遇到一个奇怪的问题，通过计算列提取出某一字段。定义为row_time的watermark， 如下面原始字段为message，从中提取13位unix-timestamp，转成timestamp（3）再定义为watermark。 执行窗口计算不报错，但是无输出结果。 数据源是kafka，各partition内数据均匀。 建表语句类似下面（单位机器不能联外网，下面的语句是我手打的，可能有typo请见谅）

flink sql 通过计算列提取字段定义watermark后窗口计算没有结果输出

大家好， 我遇到一个奇怪的问题，通过计算列提取出某一字段。定义为row_time的watermark， 如下面原始字段为message，从中提取13位unix-timestamp，转成timestamp（3）再定义为watermark。 执行窗口计算不报错，但是无输出结果。 数据源是kafka，各partition内数据均匀。 建表语句类似下面（单位机器不能联外网，下面的语句是我手打的，可能有typo请见谅） create table kafka_source( message Varchar, ts as TO_TIMESTAMP(FROM_UNIXTIME(C

?????? Re: flink1.10 on yarn ????

hello  ./yarn-session.sh -n 8 -jm 1024 -tm 1024 -s 4 -nm FlinkOnYarnSession -d  ??flink1.10.0  CDH5.14 flink on yarn??yarn-session ??  org.apache.flink.client.deployment.ClusterDeploymentException: Couldn't deploy Yarn session cluster at org.apache.flink.yarn

Re: flink1.9 提交job到yarn后 flink的ui页面出来的问题

看一下Application的attempt页面是不是也无法显示，如果Flink的JobManager 向Yarn注册成功的话，Tracking URL应该会自动更新为proxy的地址的 Best, Yang zhiyezou <1530130...@qq.com> 于2020年6月8日周一 下午3:25写道： > Hi > 可以看下集群资源是否充足 > > > -- 原始邮件 -- > *发件人:* "guanyq"; > *发送时间:* 2020年6月8日(星期一) 下午2:54 > *收件人:* "user-zh"

??????flink1.9 ????job??yarn?? flink??ui??????????????

Hi --  -- ??: "guanyq"