Re: 请教二阶段提交问题

需要搭配事务性存储机制来使用，能够保证预提交成功的数据能最终被commit成功。 详情可以参考孙金城老师关于这一部分的讲解和代码实现[1] [1]https://www.bilibili.com/video/BV1yk4y1z7Lr?p=33 高亮 于2020年9月25日周五 上午11:14写道： > 各位大佬，请教一下二阶段提交的问题，preCommit预提交失败回滚已经很清楚了，就是在commit阶段提交如果失败会怎么，比较迷惑。 > > > > 我自己测试了一下，发现只要是commit失败会造成数据丢失，但是看了下方法注释，说是失败了后会重启flink恢复到最近的state，继

flink??????DDL????????????????????????????

??if ??

Re: flink sql 1.11.2 jdbc connector 按月分表读取

是我这边建issue不？ 这里还发现一个问题 select count(*) from mysql_table 不能执行。 Best wishes. Jark Wu 于2020年9月25日周五 上午10:37写道： > 我觉得是个挺好的需求，有点类似于 Kafka 的 multi topic 功能，可以先建个 issue 收集下大家的需求。 > > > Best, > Jark > > On Thu, 24 Sep 2020 at 17:26, Peihui He wrote: > > > Hi, all > > > > 测试发现flink sql jdbc mysql 的tab

Re: 怎么样在Flink中使用java代码提交job到yarn

直接扣命令行里提交任务的代码, https://ci.apache.org/projects/flink/flink-docs-stable/ops/cli.html, 这边都是 java 实现的, 转到 spring boot 没啥难度 xiao cai 于2020年9月25日周五 下午5:28写道： > Hi zilong: > > 这种方式我考虑过，个人认为平台层面如果有业务逻辑的侵入，会影响后续的升级。所以我们是在标注输出中正则匹配出jobId和applicationId。你了解YarnClusterDescripto吗？之前社区看到有人用这个提交的。 > > > 原始邮件

关于sql中null值设置watermark

Hi， 我在flink1.11 create ddl中使用 WATERMARK FOR wm AS wm - INTERVAL '5’ SECOND 设置watermark，当有脏数据的时候wm为null，就会报RowTime field should not be null, please convert it to a non-null long value.有没有好的方法直接忽略脏数据。 Best

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi，Tang老师， 抱歉，之前理解有误，感谢唐老师指正。祝好，Robin Zhang Yun Tang wrote > Hi Robin其实你的说法不是很准确，社区是明文保证savepoint的兼容性 > [1]，但是并不意味着跨大版本时无法从checkpoint恢复，社区不承诺主要还是维护其太耗费精力，但是实际从代码角度来说，在合理使用state > schema evolution [2]的前提下，目前跨版本check

Re: 执行mvn构建错误

你好！ 我使用了3.2.5和3.6.3，确实都是一样的错误，把avro依赖全部删除后依然是这个错误 网络可以把包下下来，也确实有avro这个包，但是包里面的某些方法没有，导致编译报错 是不是flink一定要在linux下面编译才可以呢？还是确实avro包有别的什么问题？ 在 2020/9/25 下午2:34，“刘建刚” 写入: 看着是mvn无法下载到某些包，你有使用过其他版本吗？如果都是相同的问题，那么应该是你本地环境或者网络环境的问题。 迟成 于2020年9月25日周五 下午1:45写道： > 环境： > > tag release-1

Re: 怎么样在Flink中使用java代码提交job到yarn

不太了解 YarnClusterDescripto~ xiao cai 于2020年9月25日周五 下午5:28写道： > Hi zilong: > > 这种方式我考虑过，个人认为平台层面如果有业务逻辑的侵入，会影响后续的升级。所以我们是在标注输出中正则匹配出jobId和applicationId。你了解YarnClusterDescripto吗？之前社区看到有人用这个提交的。 > > > 原始邮件 > 发件人: zilong xiao > 收件人: user-zh > 发送时间: 2020年9月25日(周五) 17:12 > 主题: Re: 怎么样在Flink中使用java代码提交

Re:Re: 查询hbase sink结果表，有时查到数据，有时查不到

hi Leonard： 实际在HBaseSinkFunction中打log测试下来发现，都是UPDATE_AFTER类型的RowData数据写Hbase，没有你说的那种retract消息呢。如果是retract 应该是 会先发一条UPDATE_BEFORE 消息，再发一条UPDATE_AFTER消息吧。实际测下来 都是UPDATE_AFTER，转成了hbase的Put操作，就好比每次都是upsert一样。 在 2020-09-25 10:03:34，"Leonard Xu" 写道： >Hi >> 通过sql查hbase时，有时查到数据，有时候查不到数据。是不是group操作

Re: 怎么样在Flink中使用java代码提交job到yarn

如果不是flink jar的job，可以用zeppelin sdk来提交flink job https://www.yuque.com/jeffzhangjianfeng/gldg8w/pz2xoh xiao cai 于2020年9月25日周五 下午4:23写道： > Hi all： > 大家好，我目前遇到一个flink 任务提交方面的困扰： > 想要在自己的项目中（springboot）提交flink > job到yarn上。目前采用的方式是process类在本地起进程，调用bin/flink来启动。这样不是很优雅，而且比较难获取到提交的jobId和containerId。看到网上

回复： flink读取mongo数据本地部署成功，flink-cluster部署找不到类

您好！ 十分感谢您的回答！之前有进行尝试，但是还是没有解决这个问题。最后觉得应该是jar包不能读取到，所以把那个jar包单独放到了flink的lib下面，运行成功了。还没有找到一劳永逸解决的办法，不过十分感谢您的回复，谢谢~ Best wishes, Gege | | Ge Ge Software Engineer | | gg13871077...@163.com | 签名由网易邮箱大师定制 在2020年09月25日 16:01，zilong xiao 写道： 有可能是依赖冲突了，可以尝试用maven shade jar看看 GeGe 于2020年9月25日周五 下

Re: 怎么样在Flink中使用java代码提交job到yarn

Hi zilong: 这种方式我考虑过，个人认为平台层面如果有业务逻辑的侵入，会影响后续的升级。所以我们是在标注输出中正则匹配出jobId和applicationId。你了解YarnClusterDescripto吗？之前社区看到有人用这个提交的。 原始邮件 发件人: zilong xiao 收件人: user-zh 发送时间: 2020年9月25日(周五) 17:12 主题: Re: 怎么样在Flink中使用java代码提交job到yarn 你提交的任务是可以指定job name的呀，你的job name和你的业务主键绑定就可以做到唯一了，然后根据这个关系查询即可，没记错-yn

Re: pyflink如何提交作业到CDP集群中运行

PyFlink支持提交到Standalone／Yarn／K8s集群运行。 Standalone和Yarn： https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/cli.html K8s: https://issues.apache.org/jira/browse/FLINK-17480?focusedCommentId=17187596&page=com

Re: 怎么样在Flink中使用java代码提交job到yarn

你提交的任务是可以指定job name的呀，你的job name和你的业务主键绑定就可以做到唯一了，然后根据这个关系查询即可，没记错-ynm 是指定job name的 xiao cai 于2020年9月25日周五 下午5:01写道： > hi zilong: > 通过process提交任务以后，通过rest > api，如何知道哪一个是我提交的呢？如果这时有多个请求过来同时都提交了任务，怎么知道rest返回的application应该与哪一次提交对应呢？ > > > 原始邮件 > 发件人: zilong xiao > 收件人: user-zh > 发送时间: 2020年9月25日(周

Re: 怎么样在Flink中使用java代码提交job到yarn

hi zilong: 通过process提交任务以后，通过rest api，如何知道哪一个是我提交的呢？如果这时有多个请求过来同时都提交了任务，怎么知道rest返回的application应该与哪一次提交对应呢？ 原始邮件 发件人: zilong xiao 收件人: user-zh 发送时间: 2020年9月25日(周五) 16:55 主题: Re: 怎么样在Flink中使用java代码提交job到yarn 我知道呀，你不是从输出里抠的嘛？你想要更优雅的方式可以用rest api啊，这些信息都是可以拿到的 xiao cai 于2020年9月25日周五 下午4:53写道： >

Re: 怎么样在Flink中使用java代码提交job到yarn

我知道呀，你不是从输出里抠的嘛？你想要更优雅的方式可以用rest api啊，这些信息都是可以拿到的 xiao cai 于2020年9月25日周五 下午4:53写道： > hi zilong： > 你说的这些信息我目前都能拿到，已经实现了。只是实现的方式很不优雅，而且提交的速度很慢。 > > > 原始邮件 > 发件人: zilong xiao > 收件人: user-zh > 发送时间: 2020年9月25日(周五) 16:48 > 主题: Re: 怎么样在Flink中使用java代码提交job到yarn > > > JobId是说Flink的JobId还是yarn上面的applica

Re: 怎么样在Flink中使用java代码提交job到yarn

hi zilong： 你说的这些信息我目前都能拿到，已经实现了。只是实现的方式很不优雅，而且提交的速度很慢。 原始邮件 发件人: zilong xiao 收件人: user-zh 发送时间: 2020年9月25日(周五) 16:48 主题: Re: 怎么样在Flink中使用java代码提交job到yarn JobId是说Flink的JobId还是yarn上面的application ID呢？containerID可以通过yarn rest api拿到呀 xiao cai 于2020年9月25日周五 下午4:43写道： > > 使用process没办法拿到当前提交任务的Job

Re: 怎么样在Flink中使用java代码提交job到yarn

JobId是说Flink的JobId还是yarn上面的application ID呢？containerID可以通过yarn rest api拿到呀 xiao cai 于2020年9月25日周五 下午4:43写道： > > 使用process没办法拿到当前提交任务的JobId和提交到Yarn上的对应的containerId，自能从标准输出中使用正则解析出来。我们目前使用的就是这种方式，已经实现了。但是这样很不优雅，而且提交的速度也会比较慢。 > > > 原始邮件 > 发件人: zilong xiao > 收件人: user-zh > 发送时间: 2020年9月25日(周五) 16:3

Re: 怎么样在Flink中使用java代码提交job到yarn

使用process没办法拿到当前提交任务的JobId和提交到Yarn上的对应的containerId，自能从标准输出中使用正则解析出来。我们目前使用的就是这种方式，已经实现了。但是这样很不优雅，而且提交的速度也会比较慢。 原始邮件 发件人: zilong xiao 收件人: user-zh 发送时间: 2020年9月25日(周五) 16:32 主题: Re: 怎么样在Flink中使用java代码提交job到yarn Java程序用process调用脚本提交任务没啥问题吧，获取jobId&containerId的问题，我理解可以用yarn rest api & flink res

Re: 怎么样在Flink中使用java代码提交job到yarn

可以捕获控制台打印出来的日志，flink相关日志的格式很固定，字符串截取就能获得 yarn application id 和 flink job id > 在 2020年9月25日，下午4:23，xiao cai 写道： > > Hi all： > 大家好，我目前遇到一个flink 任务提交方面的困扰： > 想要在自己的项目中（springboot）提交flink > job到yarn上。目前采用的方式是process类在本地起进程，调用bin/flink来启动。这样不是很优雅，而且比较难获取到提交的jobId和containerId。看到网上有博客使用ClusterClient的方

Re: 怎么样在Flink中使用java代码提交job到yarn

Java程序用process调用脚本提交任务没啥问题吧，获取jobId&containerId的问题，我理解可以用yarn rest api & flink rest api来完成，希望对你有帮助，祝好~ xiao cai 于2020年9月25日周五 下午4:23写道： > Hi all： > 大家好，我目前遇到一个flink 任务提交方面的困扰： > 想要在自己的项目中（springboot）提交flink > job到yarn上。目前采用的方式是process类在本地起进程，调用bin/flink来启动。这样不是很优雅，而且比较难获取到提交的jobId和containerId。看到

怎么样在Flink中使用java代码提交job到yarn

Hi all： 大家好，我目前遇到一个flink 任务提交方面的困扰： 想要在自己的项目中（springboot）提交flink job到yarn上。目前采用的方式是process类在本地起进程，调用bin/flink来启动。这样不是很优雅，而且比较难获取到提交的jobId和containerId。看到网上有博客使用ClusterClient的方式来提交，但是遇到了classpath的问题，会缺失一些FLINK_HOME/lib下的jar包 所以我想问，应该如何在自己的应用中提交任务到yarn，既能拿到任务信息，又可以解决classpath为指定带来的困扰。 非常感谢 best, xi

Re: flink读取mongo数据本地部署成功，flink-cluster部署找不到类

有可能是依赖冲突了，可以尝试用maven shade jar看看 GeGe 于2020年9月25日周五 下午3:54写道： > > > 您好！ > > > 我用flink从mongo读取数据，在本地运行成功，但是部署到本地flink-cluster中却报错： > > > > java.lang.NoClassDefFoundError: com/mongodb/MongoClient > > at java.lang.Class.getDeclaredMethods0(Native Method) > > at java.lang.Class.privateGetDeclaredMet

flink读取mongo数据本地部署成功，flink-cluster部署找不到类

您好！ 我用flink从mongo读取数据，在本地运行成功，但是部署到本地flink-cluster中却报错： java.lang.NoClassDefFoundError: com/mongodb/MongoClient at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.getDeclaredMethod(Class.java:2128) at or

Re: Submit New Job -> Show Plan源码

在工程里全局搜索关键字找到的代码貌似不是这个功能的，想知道这个接口调用的入口类类名是哪个呢？ zilong xiao 于2020年9月25日周五 下午3:38写道： > [image: image.png] > Hi, 想问下社区有大佬知道Show Plan调用接口的源码在哪块吗？ >

Flink SQL 1.11.1 executeSql/SqlUpdate时 SQL validation的一些问题

Hi all, 今天在调试1.11 Flink 代码的时候，发现一个没太理解的现象 考虑以下code bsTableEnv.executeSql("create database a") bsTableEnv.executeSql( " CREATE TABLE a.b "(后略)) bsTableEnv.executeSql("select * from a.b") 然后发现了以下现象： [cid:5272e061-1d69-4e6a-b23b-fe09be09ade4] 从图中可以得知，在`DatabaseCalciteSchem

Submit New Job -> Show Plan源码

[image: image.png] Hi, 想问下社区有大佬知道Show Plan调用接口的源码在哪块吗？

Re: 关于flink sql的数据类型

1.11的话， string类型是允许："a":"abc" 和 "a": 123这两种形式的 bigint类型的话："a": 123 和 "a": "123"也都是合法的 默认如果是字段不存在，会用null来表示； 如果字段解析错误，会抛异常，如果配置了ignoreParseError，则会忽略整条数据。 不知道你上面提到的（1）是怎么测出来的，方便把具体的DDL定义和示例数据贴一下吗？ 赵一旦 于2020年9月25日周五 下午2:52写道： > 我基于1.11测试的。目前来看，json format的2个设置都设置好。然后event > time部分使用COALESCE将null