Re: flink1.11 web ui没有DAG

Hi 你的图片我这边显示不出来，能否把图片放到某个图床，然后把链接发过来呢？这样大家能更好的查看图片 Best, Congxian 小学生 <201782...@qq.com> 于2020年7月22日周三 下午3:49写道： > > > >

Re: flink stream如何为每条数据生成自增主键

Hi 你是希望每条数据有一个 id，这个 id 是随着数据递增的是啊？或许你可以使用 RichMapFunction[1] 来做这个事情，在每次 mapFunction 中把自定的 id 加进去，然后这个 id 还可以保存到 state 中，这样就算作业 failover 了，自增 id 也不会有问题。 [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/user_defined_functions.html#rich-functions Best, Congxian Michael Ran

Re: Flink 1.11 submit job timed out

很高兴你的问题解决了，但我觉得根本原因应该不是加上了taskmanager-query-state-service.yaml的关系。 我这边不创建这个服务也是正常的，而且nslookup {tm_ip_address}是可以正常反解析到hostname的。 注意这里不是解析hostname，而是通过ip地址来反解析进行验证 回答你说的两个问题： 1. 不是必须的，我这边验证不需要创建，集群也是可以正常运行任务的。Rest service的暴露方式是ClusterIP、NodePort、LoadBalancer都正常 2. 如果没有配置taskmanager.bind-host，

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi Peihui 不确定是什么原因我这边暂时没看到附件，我再私聊你要一下具体的 log 然后看看 Best, Congxian Peihui He 于2020年7月23日周四 上午8:57写道： > Hi Congxian, > > 这个问题有结论没呢? > > Best wishes. > > Peihui He 于2020年7月17日周五 下午4:21写道： > >> Hi Congxian, >> >> [image: Snipaste_2020-07-17_16-20-06.png] >> >> 我这边通过chrome 浏览器看到是上传了的，并且可以下载的。

Re: [ANNOUNCE] Apache Flink 1.11.1 released

Thanks Dian for the great work and thanks to everyone who makes this release possible! Best, Congxian Rui Li 于2020年7月23日周四 上午10:48写道： > Thanks Dian for the great work! > > On Thu, Jul 23, 2020 at 10:22 AM Jingsong Li > wrote: > > > Thanks for being the release manager for the 1.11.1 release,

Re: flink1.11 tablefunction

现在有一个work around，就是你可以用子查询先把row展开，比如： select ... from ( select data.rule_results as rule_results, ... ) cross join unnest(rule_results) as t(...) Benchao Li 于2020年7月23日周四 下午12:44写道： > 我感觉这可能是calcite的bug，CC Danny老师 > > Dream-底限 于2020年7月22日周三 下午5:46写道： > >> hi 、Benchao Li >>

Re: flink row 类型

这个应该是做不到的。name只是SQL plan过程的东西，在运行时它就没有什么实际意义了。 你是想在udf里面获取row里面每个字段的名字是吧？如果是的话，我理解现在应该是做不到的。 Dream-底限 于2020年7月22日周三 下午7:22写道： > hi、 > 我这面定义row数据，类型为ROW，可以通过 > row.getField(i)获取到对应的值，但是我想获取对应的row_name名称要怎么操作，貌似没有报漏获取名称的接口 > > rule_key 转换为rule_key1,rulekey2 > 1 > 2 > -- Best, Benchao Li

Re: flink 1.11 使用sql写入hdfs无法自动提交分区

hi,jinsong 我们生产环境hdfs是cdh 2.6的，我换了一个hadoop 3 版本的hdfs，还真没问题了，不知道是哪里出问题了。 Jingsong Li 于2020年7月23日周四 上午11:45写道： > 相同操作我也没有复现。。是可以成功执行的 > > 你的HDFS是什么版本？是否可以考虑换个来测试下 > > On Thu, Jul 23, 2020 at 11:34 AM Jun Zhang > wrote: > >> hi,jinsong: >> >>

Re: flink1.11 tablefunction

我感觉这可能是calcite的bug，CC Danny老师 Dream-底限 于2020年7月22日周三 下午5:46写道： > hi 、Benchao Li > 我尝试了将数组打散的方式，但是报了一个莫名其妙的错误，可以帮忙看看嘛 > > tableEnv.executeSql("CREATE TABLE parser_data_test (\n" + > " data ROW STRING,path STRING,country_id INT,create_time BIGINT," + > "spent_time

Re: flink 1.11 使用sql写入hdfs无法自动提交分区

相同操作我也没有复现。。是可以成功执行的 你的HDFS是什么版本？是否可以考虑换个来测试下 On Thu, Jul 23, 2020 at 11:34 AM Jun Zhang wrote: > hi,jinsong: > > 这个问题不知道你后来有没有做过测试，我这里一直不行，就是并发度是1的时候，文件写入是正常的，就是没有生成success文件，如果是hive的话，就没有自动生成分区和更新分区数据。 > > Jun Zhang 于2020年7月23日周四 上午11:15写道： > >> hi，夏帅： >> >>

Re: flink 1.11 使用sql写入hdfs无法自动提交分区

hi,jinsong: 这个问题不知道你后来有没有做过测试，我这里一直不行，就是并发度是1的时候，文件写入是正常的，就是没有生成success文件，如果是hive的话，就没有自动生成分区和更新分区数据。 Jun Zhang 于2020年7月23日周四 上午11:34写道： > hi,jinsong: > > 这个问题不知道你后来有没有做过测试，我这里一直不行，就是并发度是1的时候，文件写入是正常的，就是没有生成success文件，如果是hive的话，就没有自动生成分区和更新分区数据。 > > Jun Zhang 于2020年7月23日周四 上午11:15写道： > >>

Re: flink 1.11 使用sql写入hdfs无法自动提交分区

hi,jinsong: 这个问题不知道你后来有没有做过测试，我这里一直不行，就是并发度是1的时候，文件写入是正常的，就是没有生成success文件，如果是hive的话，就没有自动生成分区和更新分区数据。 Jun Zhang 于2020年7月23日周四 上午11:15写道： > hi，夏帅： > > 抱歉，这几天没搞这个，我这个问题是文件是正常写入hdfs了，但是没有自动提交，也没有错误日志，就是如果写入的是文件系统，没有SUCCESS文件，写入hive的话，没有自动更新分区。 > > 你测试没有问题的情况并行度是 1 吗？写入hdfs？ > > 夏帅 于2020年7月10日周五

Re: Flink 1.11 submit job timed out

Hi Yang Wang 刚刚在测试环境测试了一下，taskManager没有办法nslookup出来，JM可以nslookup，这两者的差别在于是否有service。 解决方案：我这边给集群加上了taskmanager-query-state-service.yaml（按照官网上是可选服务）。就不会刷No hostname could be resolved for ip address，将NodePort改为ClusterIp，作业就可以成功提交，不会出现time out的问题了，问题得到了解决。 1. 如果按照上面的情况，那么这个配置文件是必须配置的？ 2.

Re: flink 1.11 使用sql写入hdfs无法自动提交分区

hi，夏帅： 抱歉，这几天没搞这个，我这个问题是文件是正常写入hdfs了，但是没有自动提交，也没有错误日志，就是如果写入的是文件系统，没有SUCCESS文件，写入hive的话，没有自动更新分区。 你测试没有问题的情况并行度是 1 吗？写入hdfs？ 夏帅 于2020年7月10日周五 下午5:39写道： > 你好, > 我这边同样的代码,并没有出现类似的问题 > 是本地跑么,可以提供下日志信息么? > >

?????? flinksql1.11????????????????

HI?? ---- ??: ""

Re: [ANNOUNCE] Apache Flink 1.11.1 released

Thanks Dian for the great work! On Thu, Jul 23, 2020 at 10:22 AM Jingsong Li wrote: > Thanks for being the release manager for the 1.11.1 release, Dian. > > Best, > Jingsong > > On Thu, Jul 23, 2020 at 10:12 AM Zhijiang > wrote: > >> Thanks for being the release manager and the efficient work,

Re: flink1.11 sql

支持的，也是需要配合HiveCatalog一起使用，你在hive那边创建的函数在flink里就能调用了 On Wed, Jul 22, 2020 at 12:14 PM Dream-底限 wrote: > hi > flink支持配置hive方言，那么flink可以直接使用hive内自定义的udf、udtf函数吗 > -- Best regards! Rui Li

Re: flink 1.11 on kubernetes 构建失败

这个地方是没有变化的，你可以看TaskManagerRunner的代码，一直是使用ip地址来向JM注册的 你需要确认coredns解析这个IP到底是否可以成功，另外我验证了一下，你说的detail subtasks taskmanagers xxx x 这行 显示的其实目前也是hostname，是解析ip之后得到的，例如我这边看到的是172-20-0-50，是因为我执行nslookup查询的结果是 kubectl run -i -t busybox --image=busybox --restart=Never / # nslookup 172.20.0.50 Server:

Re: [ANNOUNCE] Apache Flink 1.11.1 released

Thanks for being the release manager for the 1.11.1 release, Dian. Best, Jingsong On Thu, Jul 23, 2020 at 10:12 AM Zhijiang wrote: > Thanks for being the release manager and the efficient work, Dian! > > Best, > Zhijiang > > -- >

Re: Flink 1.11 submit job timed out

我的意思就是你在Flink任务运行的过程中，然后下面的命令在集群里面起一个busybox的pod， 在里面执行 nslookup {ip_address}，看看是否能够正常解析到。如果不能应该就是coredns的 问题了 kubectl run -i -t busybox --image=busybox --restart=Never 你需要确认下集群的coredns pod是否正常，一般是部署在kube-system这个namespace下的 Best, Yang SmileSmile 于2020年7月22日周三 下午7:57写道： > > Hi，Yang Wang！

Re: [ANNOUNCE] Apache Flink 1.11.1 released

Thanks for being the release manager and the efficient work, Dian! Best, Zhijiang -- From:Konstantin Knauf Send Time:2020年7月22日(星期三) 19:55 To:Till Rohrmann Cc:dev ; Yangze Guo ; Dian Fu ; user ; user-zh Subject:Re: [ANNOUNCE]

Re: flink 1.11 ddl sql 添加PROCTIME()列，读取csv错误

Hi, Asahi 这是一个已知bug[1]，filesystem connector上处理计算列有点问题，已经有PR了，会在1.11.2和1.12版本上修复 Best Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-18665 > 在 2020年7月23日，00:07，Asahi Lee <978466...@qq.com> 写道： > > 1. 程序 >

?????? flinksql1.11????????????????

?? ---- ??: "user-zh"

Re: flinksql1.11中主键声明的问题

Hi, 看了下query，你没有使用维表join语法 FOR SYSTEM_TIME AS OF ，这样直接做的regular join，mysql表是bounded的，第一次读完就不会再读了，所以不会更新。 维表join才会按照你设置的时间去look up 最新的数据，维表是我们常说的temporal table(时态表)的一种，参考[1] 中的 temporal table join 祝好 Leonard Xu [1]

Re: Re: flink 1.11 cdc相关问题

感谢二位大佬@Leonard, @Jark的解答！ amen...@163.com 发件人： Jark Wu 发送时间： 2020-07-22 23:56 收件人： user-zh 主题： Re: flink 1.11 cdc相关问题 Hi, 这是个已知问题，目前 debezium 同步不同数据库并没有保证一模一样地数据格式，比如同步 PG 的UPDATE消息时候，before 和 after 字段就不是全的。 这个问题会在后面地版本中解决。 Best, Jark On Wed, 22 Jul 2020 at 21:07, Leonard Xu wrote: >

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi Congxian, 这个问题有结论没呢? Best wishes. Peihui He 于2020年7月17日周五 下午4:21写道： > Hi Congxian, > > [image: Snipaste_2020-07-17_16-20-06.png] > > 我这边通过chrome 浏览器看到是上传了的，并且可以下载的。 > > Best wishes. > > Congxian Qiu 于2020年7月17日周五 下午1:31写道： > >> Hi Peihui >> >> 感谢你的回复，我这边没有看到附件，你那边能否确认下呢？ >> >> Best, >>

flink sink kafka Error while confirming checkpoint

Hello, flink 1.10.1 kafka 2.12-1.1.0 运行一段时间后会出现一下错误，不知道有遇到过没？ java.lang.RuntimeException: Error while confirming checkpoint at org.apache.flink.streaming.runtime.tasks.StreamTask.notifyCheckpointComplete(StreamTask.java:935) at

回复：(无主题)

感谢shizk233大佬，我这个问题终于得到解决，我主要是通过全窗口加mapstate实现的 best shizk233 | | 罗显宴 | | 邮箱：15927482...@163.com | 签名由 网易邮箱大师 定制 在2020年07月21日 15:04，罗显宴 写道： hi，我想到解决办法了，可以用全局window，我一直以为是要分区在做窗口运算其实可以直接用timewindowAll来算，然后用状态保存就够了 val result = num.timeWindowAll(Time.seconds(20)) //

flink 1.11 ddl sql ????PROCTIME()????????csv????

1. StreamExecutionEnvironment bsEnv = StreamExecutionEnvironment.getExecutionEnvironment(); EnvironmentSettings bsSettings = EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build(); StreamTableEnvironment bsTableEnv = StreamTableEnvironment.create(bsEnv,

Re: flink 1.11 cdc相关问题

Hi, 这是个已知问题，目前 debezium 同步不同数据库并没有保证一模一样地数据格式，比如同步 PG 的UPDATE消息时候，before 和 after 字段就不是全的。 这个问题会在后面地版本中解决。 Best, Jark On Wed, 22 Jul 2020 at 21:07, Leonard Xu wrote: > Hello, > > 代码在为before这条数据设置rowKind时抛了一个NPE，before正常应该是不为null的。 > 看起来是你的数据问题，一条 update 的changelog， before 为null， >

Re: 关于1.11Flink SQL 全新API设计的一些问题

Hi 首维， 我建了一个 issue 来跟进这个问题：https://issues.apache.org/jira/browse/FLINK-18674 我们可以在这个里面继续讨论需求和评估解决方案。 On Wed, 22 Jul 2020 at 18:07, 刘首维 wrote: > Hi, godfrey > > > 好的，如果可以的话，有了相关讨论的jira或者mail可以cc一下我吗，谢谢啦 > > > 发件人: godfrey he > 发送时间: 2020年7月22日 17:49:27 > 收件人:

Re: flink 1.11 cdc相关问题

Hello, 代码在为before这条数据设置rowKind时抛了一个NPE，before正常应该是不为null的。 看起来是你的数据问题，一条 update 的changelog， before 为null， 这是不合理的，没有before的数据，是无法处理after的数据的。 如果确认是脏数据，可以开启ignore-parse-errors跳过[1] 祝好 Leonard

Re:Re: flink sqlUpdate,如何获取里面的字段，字段类型，with 等3个属性

1.tableEvn.from(xx).getSchema() 我确实通过这个拿到了schema，2.with properties属性很重要 ，关系我自定义的一些参数设定。3.关于 catalog 这个东西，是不是只有1.11 版本才能从catalog 获取 with properties 哦? 1.10 you 有支持吗 在 2020-07-22 18:22:22，"godfrey he" 写道： >tableEnv 中 可以通过 >tableEvn.from(xx).getSchema() 拿到该表的schema信息，但是没法拿到对应的properties。

Re: flink1.11启动问题

Hello， 可以描述下这个问题吗？ 如果确认是bug的话可以去jira上开个issue的。 祝好 Leonard Xu > 在 2020年7月22日，20:46，酷酷的浑蛋 写道： > > 我找到问题了，我觉得我发现了一个bug，很严重，会导致flink持续占资源，一直增加 > > > > > 在2020年07月22日 14:08，酷酷的浑蛋 写道： > 这是我的启动命令：./bin/flink run -m yarn-cluster -p 2 -ys 2 -yqu rt_constant -c > com.xx.Main -yjm 1024 -ynm RTC_TEST

回复：flink1.11启动问题

我找到问题了，我觉得我发现了一个bug，很严重，会导致flink持续占资源，一直增加 在2020年07月22日 14:08，酷酷的浑蛋 写道： 这是我的启动命令：./bin/flink run -m yarn-cluster -p 2 -ys 2 -yqu rt_constant -c com.xx.Main -yjm 1024 -ynm RTC_TEST xx.jar 任务到yarn上后就一直在占用core，core数量和内存数量一直在增加 在2020年07月22日 12:48，JasonLee<17610775...@163.com> 写道： HI

回复：flink 1.11 on kubernetes 构建失败

Hi Yang Wang！ 你提到了Flink里面用的是InetAddress#getHostFromNameService来跟进IP地址获取FQDN的。 这个在1.10和1.11版本是否有发生变化？这段报错只在1.11才出现，1.10不存在。如果core dns有问题，应该两个版本都有有异常 Best！ | | a511955993 | | 邮箱：a511955...@163.com | 签名由 网易邮箱大师 定制 在2020年07月22日 18:18，Yang Wang 写道： 抱歉回复晚了

Re: Flink 1.11 submit job timed out

Hi，Yang Wang！ 很开心可以收到你的回复，你的回复帮助很大，让我知道了问题的方向。我再补充些信息，希望可以帮我进一步判断一下问题根源。 在JM报错的地方，No hostname could be resolved for ip address x ，报出来的ip是k8s分配给flink pod的内网ip，不是宿主机的ip。请问这个问题可能出在哪里呢 Best！ | | a511955993 | | 邮箱：a511955...@163.com | 签名由 网易邮箱大师 定制 On 07/22/2020 18:18, Yang Wang wrote:

Re: [ANNOUNCE] Apache Flink 1.11.1 released

Thank you for managing the quick follow up release. I think this was very important for Table & SQL users. On Wed, Jul 22, 2020 at 1:45 PM Till Rohrmann wrote: > Thanks for being the release manager for the 1.11.1 release, Dian. Thanks > a lot to everyone who contributed to this release. > >

回复：flink 1.11 on kubernetes 构建失败

Hi，Yang Wang！ 很开心可以收到你的回复，你的回复帮助很大，让我知道了问题的方向。我再补充些信息，希望可以帮我进一步判断一下问题根源。 在JM报错的地方，No hostname could be resolved for ip address x ，报出来的ip是k8s分配给flink pod的内网ip，不是宿主机的ip。请问这个问题是出在哪里呢 Best！ | | a511955993 | | 邮箱：a511955...@163.com | 签名由 网易邮箱大师 定制 在2020年07月22日 18:18，Yang Wang 写道： 抱歉回复晚了

Re: [ANNOUNCE] Apache Flink 1.11.1 released

Thanks for being the release manager for the 1.11.1 release, Dian. Thanks a lot to everyone who contributed to this release. Cheers, Till On Wed, Jul 22, 2020 at 11:38 AM Hequn Cheng wrote: > Thanks Dian for the great work and thanks to everyone who makes this > release possible! > > Best,

回复：flink-1.11 ddl kafka-to-hive问题

谢谢大佬们，公众号有demo了，我去对比一下看看 -- 原始邮件 -- 发件人: Jingsong Li https://ci.apache.org/projects/flink/flink-docs-master/dev/table/hive/hive_dialect.html#use-hive-dialect <

flink row 类型

hi、 我这面定义row数据，类型为ROW，可以通过 row.getField(i)获取到对应的值，但是我想获取对应的row_name名称要怎么操作，貌似没有报漏获取名称的接口 rule_key 转换为rule_key1,rulekey2 1 2

Re: flink 1.11 on kubernetes 构建失败

抱歉回复晚了 我这边也验证了一下，在你所说的地方确实是ip:port，但是提交任务都是正常的 如果你的日志里面一直在刷No hostname could be resolved for the IP address，应该是集群的coredns 有问题，由ip地址反查hostname查不到。你可以起一个busybox验证一下是不是这个ip就解析不了，有 可能是coredns有问题 Flink里面用的是InetAddress#getHostFromNameService来跟进IP地址获取FQDN的 Best, Yang SmileSmile 于2020年7月10日周五

Re: flink sqlUpdate,如何获取里面的字段，字段类型，with 等3个属性

tableEnv 中 可以通过 tableEvn.from(xx).getSchema() 拿到该表的schema信息，但是没法拿到对应的properties。 如果要拿到properties，可以通过catalog的接口得到 [1]。 如果要自定义实现source/sink，可以参考 [2] [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/catalogs.html [2]

答复: 关于1.11Flink SQL 全新API设计的一些问题

Hi, godfrey 好的，如果可以的话，有了相关讨论的jira或者mail可以cc一下我吗，谢谢啦 发件人: godfrey he 发送时间: 2020年7月22日 17:49:27 收件人: user-zh 抄送: Jark Wu; xbjt...@gmail.com; jingsongl...@gmail.com 主题: Re: 关于1.11Flink SQL 全新API设计的一些问题 Hi，首维 感谢给出非常详细的反馈。这个问题我们之前内部也有一些讨论，但由于缺乏一些真实场景，最后维持了当前的接口。

Re: 关于1.11Flink SQL 全新API设计的一些问题

Hi，首维 感谢给出非常详细的反馈。这个问题我们之前内部也有一些讨论，但由于缺乏一些真实场景，最后维持了当前的接口。 我们会根据你提供的场景进行后续讨论。 Best, Godfrey 刘首维 于2020年7月22日周三 下午5:23写道： > Hi, Jark > > > >感谢你的建议！ > >我们这边充分相信社区在SQL/Table上的苦心孤诣，也愿意跟进Flink在新版本的变化。 > >先看我遇到问题本身，你的建议确实可以帮助我解决问题。我想聊一下我对问题之外的一些想法 > >``` > > > 2.

Re: flink1.11 tablefunction

hi 、Benchao Li 我尝试了将数组打散的方式，但是报了一个莫名其妙的错误，可以帮忙看看嘛 tableEnv.executeSql("CREATE TABLE parser_data_test (\n" + " data ROW,rule_results ARRAY>>,\n" + " createTime BIGINT,\n" + " tindex INT\n" + ") WITH (\n" + " 'connector' = 'kafka-0.11',\n" + "

Re: [ANNOUNCE] Apache Flink 1.11.1 released

Thanks Dian for the great work and thanks to everyone who makes this release possible! Best, Hequn On Wed, Jul 22, 2020 at 4:40 PM Jark Wu wrote: > Congratulations! Thanks Dian for the great work and to be the release > manager! > > Best, > Jark > > On Wed, 22 Jul 2020 at 15:45, Yangze Guo

flink 1.11 cdc相关问题

hi everyone, 小白通过debezium将pgsql cdc数据同步至kafka之后，使用我们flink的sql client提交测试任务，但当kafka端cdc json数据一开始发送，任务即报错，通过web ui log查看界面发现错误日志如下，还请大佬帮忙分析，谢谢！ 分割线== DDL： CREATE TABLE pgsql_person_cdc( id BIGINT, name STRING, age

答复: 关于1.11Flink SQL 全新API设计的一些问题

Hi, Jark 感谢你的建议！ 我们这边充分相信社区在SQL/Table上的苦心孤诣，也愿意跟进Flink在新版本的变化。 先看我遇到问题本身，你的建议确实可以帮助我解决问题。我想聊一下我对问题之外的一些想法 ``` > 2. 我们目前封装了一些自己的Sink，我们会在Sink之前增加一个process/Filter 用来做缓冲池/微批/数据过滤等功能 这个我觉得也可以封装在 SinkFunction 里面。 ```

flink 问题排查补充

hi: 这个flink 版本1.10 全是提交sql 运行，生产环境经常出现这种问题，然后节点就死了，任务又只能从checkpoits 恢复，该如何解决？sql 里mysql 如何释放mysql 这个，求大佬回答？这是生产环境 2020-07-22 11:46:40,085 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator - Discarding checkpoint 43842 of job a3eae3f691bdea687b9979b9e0ac28e2.

Re: [ANNOUNCE] Apache Flink 1.11.1 released

Congratulations! Thanks Dian for the great work and to be the release manager! Best, Jark On Wed, 22 Jul 2020 at 15:45, Yangze Guo wrote: > Congrats! > > Thanks Dian Fu for being release manager, and everyone involved! > > Best, > Yangze Guo > > On Wed, Jul 22, 2020 at 3:14 PM Wei Zhong

Re: 回复：flink1.11启动问题

看一下yarn-containers-vcores这个参数： https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/ops/config.html#yarn-containers-vcores 结合自己的集群，适当调低这个参数 chengyanan1...@foxmail.com 发件人： JasonLee 发送时间： 2020-07-22 12:58 收件人： user-zh 主题： 回复：flink1.11启动问题 Hi 报错显示的是资源不足了 你确定yarn上的资源是够的吗 看下是不是节点挂了

Re: 关于1.11Flink SQL 全新API设计的一些问题

Hi，首维， 非常感谢反馈。与 DataStream 解耦是 FLIP-95 的一个非常重要的设计目标，这让 sink/source 对于框架来说不再是黑盒， 因此将来才可以做诸如 state 兼容升级、消息顺序保障、自动并发设置等等事情。 关于你的一些需求，下面是我的建议和回复： > 1. 我们现在有某种特定的Kafka数据格式，1条Kafka数据 会对应转换n（n为正整数）条Row数据，我们的做法是在emitDataStream的时候增加了一个process/FlatMap阶段，用于处理这种情况，这样对用户是透明的。 这个理论上还属于“数据格式”的职责，所以建议做在

Re: 关于1.11Flink SQL 全新API设计的一些问题

Hi，首维， Ran 感谢分享， 我理解1.11新的API主要是想把 Table API 和 DataStream API 两套尽量拆分干净, 但看起来平台级的开发工作会依赖DataStream的一些预处理和用户逻辑。 我觉得这类需求对平台开发是合理，可以收集反馈下的， cc: godfrey 祝好 Leonard Xu > 在 2020年7月22日，13:47，刘首维 写道： > > Hi JingSong, > > 简单介绍一下背景，我们组的一个工作就是用户在页面写Sql,我们负责将Sql处理转换成Flink作业并在我们的平台上运行，这个转换的过程依赖我们的SQL

Re:flink stream如何为每条数据生成自增主键

id 生成器吧 在 2020-07-22 15:51:44，"tiantingting5...@163.com" 写道： > >flink stream如何为每条数据生成自增主键？？时间戳貌似不行，同一时间戳可能会产生多条数据，无法区分数据的现后顺序。 > > >tiantingting5...@163.com

Re:答复: 关于1.11Flink SQL 全新API设计的一些问题

这个需求 我们也比较类似：要获取注册的表信息，自己用stream+table 实现部分逻辑 在 2020-07-22 13:47:25，"刘首维" 写道： >Hi JingSong, > > 简单介绍一下背景，我们组的一个工作就是用户在页面写Sql,我们负责将Sql处理转换成Flink作业并在我们的平台上运行，这个转换的过程依赖我们的SQL > SDK > 下面我举几个我们比较常用且感觉用1.11新API不太好实现的例子 > > > 1. 我们现在有某种特定的Kafka数据格式，1条Kafka数据 >

flink sqlUpdate,如何获取里面的字段，字段类型，with 等3个属性

dear all: 我用flink 注册一张表： CREATE TABLE dim_mysql ( id int, -- type varchar -- ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://localhost:3390/test', 'table-name' = 'flink_test', 'driver' = 'com.mysql.cj.jdbc.Driver', 'username' = '',

Flink APP restart policy not working

各位大佬好， 本人Flink新手上路，想咨询一下有时候Flink App 设置了restartPolicy 但是还是restart不了，这种情况怎么破？ *Job’s restartPolicy:* *env.setRestartStrategy(RestartStrategies.fixedDelayRestart(1000, org.apache.flink.api.common.time.Time.seconds(30)));* *Job Manager log:* 2020-07-15 20:26:27,831 INFO

flink 问题排查

hi: 这个flink 版本1.10 全是提交sql 运行，生产环境经常出现这种问题，然后节点就死了，任务又只能从checkpoits 恢复，该如何解决？sql 里mysql 如何释放mysql 这个，求大佬回答？这是生产环境

flink stream如何为每条数据生成自增主键

flink stream如何为每条数据生成自增主键？？时间戳貌似不行，同一时间戳可能会产生多条数据，无法区分数据的现后顺序。 tiantingting5...@163.com

Re: flink1.11 web ui????DAG

Re: [ANNOUNCE] Apache Flink 1.11.1 released

Congrats! Thanks Dian Fu for being release manager, and everyone involved! Best, Yangze Guo On Wed, Jul 22, 2020 at 3:14 PM Wei Zhong wrote: > > Congratulations! Thanks Dian for the great work! > > Best, > Wei > > > 在 2020年7月22日，15:09，Leonard Xu 写道： > > > > Congratulations! > > > > Thanks

回复: Re: flinksql1.11中主键声明的问题

你好： 下面是我的代码，我用的版本是1.11.0，数据库是TIDB，我跑的是demo数据，维表只有两行。 我的输入流如下，每秒新增一条写入到kafka topic = 'tp1' for i in range(1,1) : stime=datetime.datetime.now().strftime('%Y%m%d%H%M%S') msg = {} msg['id']= i msg['time1']= stime msg['type']=1 print(msg)

Re: [ANNOUNCE] Apache Flink 1.11.1 released

Congratulations! Thanks Dian for the great work! Best, Wei > 在 2020年7月22日，15:09，Leonard Xu 写道： > > Congratulations! > > Thanks Dian Fu for the great work as release manager, and thanks everyone > involved! > > Best > Leonard Xu > >> 在 2020年7月22日，14:52，Dian Fu 写道： >> >> The Apache Flink

Re: [ANNOUNCE] Apache Flink 1.11.1 released

Congratulations! Thanks Dian Fu for the great work as release manager, and thanks everyone involved! Best Leonard Xu > 在 2020年7月22日，14:52，Dian Fu 写道： > > The Apache Flink community is very happy to announce the release of Apache > Flink 1.11.1, which is the first bugfix release for the

Re: flinksql1.11中主键声明的问题

Hi, 我试了下应该是会更新缓存的，你有能复现的例子吗？ 祝好 > 在 2020年7月22日，14:50，奇怪的不朽琴师 <1129656...@qq.com> 写道： > > 你好： > > > 可能是我描述的不清楚，我了解这个机制，我的意思维表更新后，即便已经达到了超时的时间，新的输出结果还是用维表历史缓存数据， > 我感觉上是维表没有刷新缓存，但是我不知道这为什么。 > > > 谢谢 > > > --原始邮件-- > 发件人:

[ANNOUNCE] Apache Flink 1.11.1 released

The Apache Flink community is very happy to announce the release of Apache Flink 1.11.1, which is the first bugfix release for the Apache Flink 1.11 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data

?????? flinksql1.11????????????????

?? ?? ---- ??:

Re: flinksql1.11中主键声明的问题

Hello 你说的输出结果更新，是指之前关联的维表时老数据，过了一段时间，这个数据变，之前输出的历史也希望更新吗？维表join的实现，只有事实表中才会有retract消息才会更新，才会传递到下游，维表的数据是事实表 去look up该表时的数据，维表的更新是不会retract之前的历史记录的。 祝好 Leonard Xu > 在 2020年7月22日，14:13，1129656...@qq.com 写道： > > 输出结果仍然没有被更新

答复: 关于1.11Flink SQL 全新API设计的一些问题

Hi JingSong， 感谢回复，真心期待一个理想的解决方案~ 发件人: Jingsong Li 发送时间: 2020年7月22日 13:58:51 收件人: user-zh; Jark Wu 主题: Re: 关于1.11Flink SQL 全新API设计的一些问题 Hi 首维， 非常感谢你的信息，我们试图 去掉太灵活的“DataStream”，但是也逐渐发现一些额外的需求，再考虑和评估下你的需求。 CC: @Jark Wu Best, Jingsong On Wed, Jul 22,

回复: Re: flinksql1.11中主键声明的问题

您好： 非常感谢您的建议，我已经成功解决了这个问题，但是我又发现了一个新的问题，我这里设置的超时时间是一分钟或者超时行数是5000行， 我在这期间更新了维表数据，但是我发现已经超过了超时时间，输出结果仍然没有被更新，是我理解的有问题么？ 我尝试了停止输入流数据直到达到超时时间后仍然没有更新维表，除非停止整个程序，否则我的维表数据都不会被更新。 请问这个问题有解决的办法么？ def register_mysql_source(st_env): source_ddl = \ """ CREATE TABLE dim_mysql ( id

回复：flink1.11启动问题

这是我的启动命令：./bin/flink run -m yarn-cluster -p 2 -ys 2 -yqu rt_constant -c com.xx.Main -yjm 1024 -ynm RTC_TEST xx.jar 任务到yarn上后就一直在占用core，core数量和内存数量一直在增加 在2020年07月22日 12:48，JasonLee<17610775...@163.com> 写道： HI 你使用的什么模式？启动任务的命令发出来看一下吧 | | JasonLee | | 邮箱：17610775...@163.com | Signature is

Re: 关于1.11Flink SQL 全新API设计的一些问题

Hi 首维， 非常感谢你的信息，我们试图 去掉太灵活的“DataStream”，但是也逐渐发现一些额外的需求，再考虑和评估下你的需求。 CC: @Jark Wu Best, Jingsong On Wed, Jul 22, 2020 at 1:49 PM 刘首维 wrote: > Hi JingSong, > > > 简单介绍一下背景，我们组的一个工作就是用户在页面写Sql,我们负责将Sql处理转换成Flink作业并在我们的平台上运行，这个转换的过程依赖我们的SQL > SDK > 下面我举几个我们比较常用且感觉用1.11新API不太好实现的例子 > > > 1.