Re: 向flink push代码

[1] https://flink.apache.org/zh/contributing/contribute-code.html > > > > Best, > > Yangze Guo > > > > On Thu, May 28, 2020 at 10:15 AM 宇张 wrote: > >> > >> 找打了教程了 > >> > >> > >> On Thu, May 28, 2020 at 10:10 AM 宇张 wrote: > >> > >>> hi， > >>> 请问给flink社区push代码的流程是怎么样的哪，有没有小白教程啊。。 > >>> > >

Re: 向flink push代码

找打了教程了 On Thu, May 28, 2020 at 10:10 AM 宇张 wrote: > hi， > 请问给flink社区push代码的流程是怎么样的哪，有没有小白教程啊。。 >

向flink push代码

hi， 请问给flink社区push代码的流程是怎么样的哪，有没有小白教程啊。。

Re: 用Sql输出到oracle

自己加一个oracle的dialect On Tue, May 26, 2020 at 11:42 AM Kyle Zhang wrote: > 大家好，最近刚开始用flink，遇到一些问题。 > 我的场景是从kafka读数，group > by之后输出到oracle，但是我看现在JdbcDialects只有mysql、postgres跟derby，大家oracle怎么用的。 > 现在我是把table转成stream再写到oracle里。

Re: flink1.9 Blink sql 丢失主键+去重和时态表联合使用吞吐量低

hi、 我这面state backend用的是FsStateBackend，状态保存在hdfs On Mon, May 11, 2020 at 11:19 AM Benchao Li wrote: > Hi， > > 你用的是什么state backend呢？看你的情况很有可能跟这个有关系。比如用的是rocksdb，然后是普通磁盘的话，很容易遇到IO瓶颈。 > > 宇张 于2020年5月11日周一 上午11:14写道： > > > hi、 > > 我这面使用flink1.9的Blink sql完成数据转换操作，但遇到

flink1.9 Blink sql 丢失主键+去重和时态表联合使用吞吐量低

hi、 我这面使用flink1.9的Blink sql完成数据转换操作，但遇到如下问题： 1、使用row_number函数丢失主键 2、row_number函数和时态表关联联合使用程序吞吐量严重降低，对应sql如下： // 理论上这里面是不需要 distinct的，但sql中的主键blink提取不出来导致校验不通过，所以加了一个 SELECT distinct t1.id as order_id,...,DATE_FORMAT(t1.proctime,'-MM-dd HH:mm:ss') as etl_time FROM (select id,...,proctime from (s

Re: flink1.10基于win10搭建Standlone服务

match, the network memory > > has to be resolved and set to a fixed value before task executor starts > > > > > 网络内存错误。1.10内存变了很多，你先看看文档 > > > > > -- 原始邮件 -- > 发件人: "宇张" 发送时间: 2020年4月23日(星期四) 下午5:23 > 收件人: "user-

Re: flink1.10基于win10搭建Standlone服务

现在搭建测试环境都要改配置文件了，感觉还是以前的小白式启动（解压运行）友好一点，哈哈 On Thu, Apr 23, 2020 at 5:23 PM 宇张 wrote: > 呃，是的，某些设置的默认值都变为null了，所以tm启动报错，依次让设置这三个值，但这三个设置后报错变为下面的了，请问这个要怎么搞 > taskmanager.cpu.cores: 3 > taskmanager.memory.task.heap.size: 256mb > taskmanager.memory.managed

Re: flink1.10基于win10搭建Standlone服务

) <920334...@qq.com> wrote: > 查看日志估计是内存没有设置 > > > > > -- 原始邮件 ------ > 发件人: "宇张" 发送时间: 2020年4月23日(星期四) 下午5:03 > 收件人: "user-zh" 主题: flink1.10基于win10搭建Standlone服务 > > > > hi，我这面在win10 基于Standlone搭建了一个Flink1.10（好

flink1.10基于win10搭建Standlone服务

hi，我这面在win10 基于Standlone搭建了一个Flink1.10（好吧，就是解压启动） ，然后执行start-cluster.bat启动服务，会弹出两个dos窗口，一个jm、一个tm（猜的）， 但是几秒后tm 对应的dos窗口闪退导致程序没办法申请资源，这个不知道是flink问题还是win10问题，但是flink1.9是正常的

Re: 关于Flink1.10 Standalone 模式任务提交

t; > 把这一堆去掉吧： > org.apache.flink:flink-table-common > org.apache.flink:flink-table-api-java > > org.apache.flink:flink-table-api-java-bridge_2.11 > org.apache.flink:flink-table-planner-blink_2.11 > > Best, > Jingsong Lee > > On Thu, Apr 23, 2020 at 4:24 PM 宇张

Re: 关于Flink1.10 Standalone 模式任务提交

> Apache Flink > UTF-8 > > > > > [1]https://github.com/apache/flink/blob/master/pom.xml#L1654 > > Best, > Jingsong Lee > > On Thu, Apr 23, 2020 at 3:56 PM 宇张 wrote: > > > 下面配置中，如果不加flink-json模块是可以打出kafkafactory的，加了flink-json模块就只剩下 > > Js

Re: 关于Flink1.10 Standalone 模式任务提交

org.apache.flink:flink-connector-kafka-base_2.11 org.apache.flink:flink-json On Thu, Apr 23, 2020 at 3:43 PM Jingsong Li wrote: > > 如果是这样，听起来 client 的 classloading 策略没啥问题，似乎是 SPI 加载那边的 ClassLoader > 有问题。之前FileSystem 相关解析就出过类似的 ClassLoader 的 BUG > > @tison 不管怎么样，也得保证jar里的SPI文件包含Kafka的类，不然SPI没法找 > &

Re: 关于Flink1.10 Standalone 模式任务提交

文 ClassLoader 能加载到 > KafkaTableSourceSinkFactory > 吗？（同时 class loading 为 child-first） > > 如果是这样，听起来 client 的 classloading 策略没啥问题，似乎是 SPI 加载那边的 ClassLoader 有问题。之前 > FileSystem 相关解析就出过类似的 ClassLoader 的 BUG > > Best, > tison. > > > 宇张 于2020年4月23日周四 上午11:3

Re: 关于Flink1.10 Standalone 模式任务提交

> 只是类文件是没有用的，没地方引用到它。 > > 你试试[1]中的方法？添加combine.children > > [1] > > https://github.com/apache/flink/blob/master/flink-table/flink-table-uber-blink/pom.xml#L104 > > Best, > Jingsong Lee > > On Thu, Apr 23, 2020 at 10:37 AM 宇张 wrote: > > > > > >

Re: 关于Flink1.10 Standalone 模式任务提交

a-inf-services的文件的。 > > Best, > Jingsong Lee > > On Wed, Apr 22, 2020 at 7:31 PM 宇张 wrote: > > > > > > 》也确认下org.apache.flink.table.factories.TableFactory的内容，里面有没有KafkaTableSourceSinkFactory > > > > > 这个我看了一下我先前flink1.9的工程，应用程序Jar里面也是没有这个类的，但是程序运行加载是没问题的

Re: 关于Flink1.10 Standalone 模式任务提交

》也确认下org.apache.flink.table.factories.TableFactory的内容，里面有没有KafkaTableSourceSinkFactory 这个我看了一下我先前flink1.9的工程，应用程序Jar里面也是没有这个类的，但是程序运行加载是没问题的，这么对比貌似就不是maven打包的问题了。 On Wed, Apr 22, 2020 at 7:22 PM 宇张 wrote: > > 》也确认下org.apache.flink.table.factories.TableFactory的内容

Re: 关于Flink1.10 Standalone 模式任务提交

; Jingsong Lee > > On Wed, Apr 22, 2020 at 7:00 PM 宇张 wrote: > > > 看下你打包的 UberJar 里有没一个内容包括 > > 1、下面这个文件是存在的 > > org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory > > 的文件 > > META-INF/services/org.apache.flink.table.factories.TableFact

Re: 关于Flink1.10 Standalone 模式任务提交

vices的文件？里面确定有Kafka？ > > 如果有，再确认下"TableEnvironmentImpl.sqlQuery"调用时候的ThreadClassLoader? > 因为现在默认是通过ThreadClassLoader来获取Factory的。 > > Best, > Jingsong Lee > > On Wed, Apr 22, 2020 at 5:30 PM 宇张 wrote: > > > 我这面使用Standalone模式运行Flink任务，但是Uber > > Jar

Re: flink1.10关于jar包冲突问题

好的，接下来工程中我会把 不需要的传递依赖都应该 exclude 掉，而遇到的jar包冲突问题会进行记录，感谢解疑 On Wed, Apr 22, 2020 at 2:16 PM tison wrote: > 能具体看一下报错吗？一般来说 Flink 自己需要的依赖都会 shaded 起来，不需要的传递依赖都应该 exclude 掉。暴露成 API > 的类别一般需要封装或者使用稳定的接口。 > > 这可能是一个工程上的问题，你可以具体罗列一下遇到的 JAR 包冲突问题，看一下怎么解。 > > Best, > tison. > &g

关于Flink1.10 Standalone 模式任务提交

我这面使用Standalone模式运行Flink任务，但是Uber Jar里面的TableSourceFactory不能被加载，即使设置了classloader.resolve-order: child-first，只有放在lib目录才能加载得到，我看发布文档跟改了类加载策略，但是我不知道为什么Uber Jar里面的Factory不能被加载 Flink Client respects Classloading Policy (FLINK-13749 )

flink1.10关于jar包冲突问题

在使用Flink1.10时，遇到最多的问题就是jar包冲突问题，okio这个包flink-parent引用的就有四个版本，还有一些没办法< exclusions>的包，请问社区有没有优化jar包冲突的提议。

flink 1.10 catalog保存到hive

hi： 我们这面想使用hive来存储flink catalog数据，那么在元数据保存删除的时候怎么来校验是否拥有hive元数据操作权限哪

Re: Flink 1.10 JSON 解析

pi.java.internal.StreamTableEnvironmentImpl.toAppendStream(StreamTableEnvironmentImpl.java:259) at com.akulaku.data.main.StreamMain.main(StreamMain.java:58) On Fri, Mar 20, 2020 at 4:43 PM Jark Wu wrote: > Hi, > > 你发的图片都裂开了。。。 建议直接贴文本或者先上传到某个图床服务，然后将链接贴过来。 > > 1. 使用 DECIMAL 抛什么错误呢

Re: Flink 1.10 JSON 解析

hi、 好吧，测试发现Decimal用不了，即使是DECIMAL(38, 18)，换成其他类型就好了，不知道是不是bug [image: image.png] On Fri, Mar 20, 2020 at 2:17 PM 宇张 wrote: > hi，我这面再次进行了尝试，当json数据中有数字类型的时候，即使按照将 data 的schema定义需要改成 > ARRAY(ROW(...)) > 另外删除 > .jsonSchema(...)后，程序仍然无法运行，当没有数字类型的时候是可以的；而报错信息输出来看，这两个结构是对的上的，但是貌似校验

Re: Flink 1.10 JSON 解析

hi，我这面再次进行了尝试，当json数据中有数字类型的时候，即使按照将 data 的schema定义需要改成 ARRAY(ROW(...)) 另外删除 .jsonSchema(...)后，程序仍然无法运行，当没有数字类型的时候是可以的；而报错信息输出来看，这两个结构是对的上的，但是貌似校验未通过 [image: image.png] On Fri, Mar 20, 2020 at 12:08 PM 宇张 wrote: > hi， > 好的，我这面进行了尝试，将 data 的schema定义需要改成 > ARRAY(ROW(FIELD("tr

Re: Flink 1.10 JSON 解析

.jsonSchema(...)， 1.10 开始 flink-json 已经支持自动从 table schema 中推断 json > schema 了。 > > Best, > Jark > > On Fri, 20 Mar 2020 at 11:34, 宇张 wrote: > > > hi： > > 1、在Json数据解析的时候，请问这里面为什么用的是decimal，而不是bigint > > [image: image.png] > > 2、我在使用connect的时候，发现解析Json

Flink 1.10 JSON 解析

hi： 1、在Json数据解析的时候，请问这里面为什么用的是decimal，而不是bigint [image: image.png] 2、我在使用connect的时候，发现解析Json数组元素出现异常，这是误用导致的还是一个bug json：{"business":"riskt","data":[{"tracking_number":"0180024020920","invoice_no":"2020021025"}],"database":"installmentdb","table":"t_sales_order","ts":1581576074069,"type":"UPDATE","

Re: flink 1.9.1状态持续增大

我在用Flink的Blink Table Api，状态设置为： streamTableEnv.getConfig().setIdleStateRetentionTime(Time.minutes(15), Time.minutes(20)); ，我预期过期状态自动清理，总的状态大小在一个范围内波动，但是现在过期状态并没有清理，导致状态越来越大，最终内存溢出；并且先前对于订阅单topic的流使用子查询sql，最外层使用处理时间时间窗口统计，单过期状态也不清理(这种情况不知道是不是误用导致的) On Wed, Nov 27, 2019 at 8:18 PM Congxian Qiu wrot