Re: flink 1.12.2 编译报错

看了下依赖树，似乎是因为 org.powermock 引入了 hamcrest-core 导致 junit 无法引入，但 junit 在前面，按道理应该它应该将 hamcrest-core 引入到 compile scope 。 [INFO] [INFO] Building Flink : Test utils : Junit 1.12.2 [INFO] --

回复：flink 1.13.0 中cumulate window 使用

Hello 请参考官网案例，需要使用 window tvf语法。 https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/sql/queries/window-tvf/#cumulate Best fanrui ---原始邮件--- 发件人: "邹云鹤"

回复： flink 1.13.0 中cumulate window 使用

好的，我再研究下。 | | 邹云鹤 | | kevinyu...@163.com | 签名由网易邮箱大师定制 在2021年5月28日 11:51，Leonard Xu 写道： Hi, Cumulate window 是基于 window TVF 语法的，和之前的 groupWindowFunction 不一样， 你可以参考 [1] Window TVF 也支持了 tumble window, hop window， 并且性能更优，session window 预计会在1.14支持， session window 有需要可以使用老的语法。 Best, Leonard [1] htt

Re: flink 1.13.0 中cumulate window 使用

Hi, Cumulate window 是基于 window TVF 语法的，和之前的 groupWindowFunction 不一样， 你可以参考 [1] Window TVF 也支持了 tumble window, hop window， 并且性能更优，session window 预计会在1.14支持， session window 有需要可以使用老的语法。 Best, Leonard [1] https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/wi

flink 1.13.0 中cumulate window 使用

insert into `test_out` select a.uid, 'dt', max(a.age) from `test_in` as a group by uid, cumulate(PROCTIME(), interval '1' minute, interval '1' hour); hello， 各位大佬， flink 1.13.0 中流式作业中该怎么使用cumulate window呢？我用上面的SQL 貌似是不行， 有没有使用过的大佬给点建议？ | | 邹云鹤 | | kevinyu...@163.com | 签名由网易邮箱大师定制

flink hive batch作业报FileNotFoundException

Hi,大家好 我执行的是batch table写入hive时,会出现FileNotFound的错误,找不到.staging文件 版本是 1.12.1 搭建方式是 standalone 报错信息如下： 11:28 Caused by: java.lang.Exception: Failed to finalize execution on master ... 33 more Caused by: org.apache.flink.table.api.TableException: Exception in finalizeGlobal at or

Re: flink 维表

Hi > 1, 这个时态表必须是changlog流吗, 就是 debezium -> kafka 这样, 用和主表的flink cdc不可以吗, > 我用flink cdc测试没成功,因为flink cdc的维表好像不能指定watermark? 我们常说的 lookup维表也是时态表的一种，lookup 正如这个单词字面意思一样，主流的每条数据到来时都按 lookup key 去外部DB中 查询 一条记录，这张维表自然就是最新的维表，这就是 proctime temporal join 的语义。 基于 Event-time temporal join，是按照 event-time

flink1.13 通过sql cli执行hdfs上面的SQL文件

各位好， 我在flink1.13文档中看到，sql cli已经可以通过 -f 参数执行SQL文件。 但是我试图通过 bin/sql-client.sh -f hdfs:///user/username/test.sql去执行时 报以下错误： Exception in thread "main" org.apache.flink.table.client.SqlClientException: Unexpected exception. This is a bug. Please consider filing an issue. at org.apache.flink.table.cl

Re: flink 1.12.2 编译报错

谢谢，看了下，junit 的确依赖 org.hamcrest ，而且相关版本都没问题。 那这个报错的原因是什么呢？ 什么地方导致 hamcrest 被 exclude 了？然后手动增加了dependency 就好了？ 代码拉下来没修改过。 Zhiwen Sun On Fri, May 28, 2021 at 10:58 AM Shuo Cheng wrote: > Hi, org.hamcrest 是 junit 的依赖 > > On Fri, May 28, 2021 at 10:28 AM Zhiwen Sun wrote: > > > 才编译到 Test utils :

Re: flink 1.12.2 编译报错

Hi, org.hamcrest 是 junit 的依赖 On Fri, May 28, 2021 at 10:28 AM Zhiwen Sun wrote: > 才编译到 Test utils : Junit 模块，就报错了 > > maven 版本： 3.2.5 > jdk 版本：1.8.0_251 > flink 版本： flink 1.12.2 > 执行的命令：mvn clean install -DskipTests -Dfast > > 错误信息： > > [ERROR] COMPILATION ERROR : > [INFO] --

Re: flink 1.12.2 编译报错

在我手动加上依赖后，这个模块，能编译通过了，但 runtime 又失败了。 INFO] --- scala-maven-plugin:3.2.2:compile (scala-compile-first) @ flink-runtime_2.11 --- [INFO] /data/flink-release-1.12.2/flink-runtime/src/main/java:-1: info: compiling [INFO] /data/flink-release-1.12.2/flink-runtime/src/main/scala:-1: info: compiling [INFO

?????? flink ????

Hi: ??Leonard,??flink cdc??(??), join ??(debezium -> kafka), eventTime , ??eventTime  lookupeventTime 1, changlog,  debezium -> kafka , ??flink cdc, flink cdc??,flink cdc?

flink 1.12.2 编译报错

编译到 Test utils : Junit 模块，就报错了 maven 版本： 3.2.5 jdk 版本：1.8.0_251 flink 版本： flink 1.12.2 执行的命令：mvn clean install -DskipTests -Dfast 错误信息： [ERROR] COMPILATION ERROR : [INFO] - [ERROR] /data/flink-release-1.12.2/flink-test-utils-parent/flin

Re: createTemporaryView接口注册table时，fieldname支持中横线（-）

Hi Jun Zou. tEnv.createTemporaryView("`Word-Count`", input, $("word"), $("frequency")); 加上 ` 试一下。 Jun Zou 于2021年5月26日周三 下午4:33写道： > Hi，all： > 我使用flink1.11.2进行作业开发，由于要兼容内部历史代码，需要把source手动注册成一张表，调用为： > > > tableEnv.createTemporaryView(tableSource.getName, source, fields.toArray: > > _*) > > > 其中，t

Re: 流与流 left join

我理解双流 Join 就能满足需求吧, 缺点是数据全量放 state，只能靠 state ttl 来清理数据 On 5/27/21, chenchencc <1353637...@qq.com> wrote: > 想问下cep sql批处理能使用吗？想流批一体的。 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

flink 1.12.2 编译报错

才编译到 Test utils : Junit 模块，就报错了 maven 版本： 3.2.5 jdk 版本：1.8.0_251 flink 版本： flink 1.12.2 执行的命令：mvn clean install -DskipTests -Dfast 错误信息： [ERROR] COMPILATION ERROR : [INFO] - [ERROR] /data/flink-release-1.12.2/flink-test-utils-parent/fli

Re: 流与流 left join

想问下cep sql批处理能使用吗？想流批一体的。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 流与流 left join

好的，谢谢。 想问下如果使用普通sql有啥其他方式吗。如果定义版本维度表可以吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: rocksdb状态后端最多保留checkpoints问题

rocksdb 增量 checkpoint 不是你这么理解的，总的不会恢复不了。原因可以参考下面的材料 - https://flink.apache.org/features/2018/01/30/incremental-checkpointing.html 官方 blog 介绍 - https://www.bilibili.com/video/BV1db411e7x2 施博士的介绍，大概 24 分钟开始讲 Best, tison. casel.chen 于2021年5月27日周四 下午11:35写道： > 作业中使用了增量式的rocksdb状态后端，请问如果再设置了最多保留ch

rocksdb状态后端最多保留checkpoints问题

作业中使用了增量式的rocksdb状态后端，请问如果再设置了最多保留checkpoints个数的话，会不会造成rocksdb state恢复失败？例如，假设完整的state恢复需要最近10个chk，但因为设置了最多保留checkpoints个数为5的话，状态是不是恢复不了了？

如何根据flink sql解析出作业的血缘关系？

如何根据flink sql解析出作业的血缘关系？找到类似这样的血缘关系：source table A --> lookup table B --> sink table C

Re:Re: flink sql cdc并行度问题

我的作业是用flink sql消费mysql cdc binlog并实时同步到mongodb。如果只开一个并行度的话，mongodb的写入速度可能追不上mysql的写入。所以我需要在sink端开大并行度。 我不清楚用sql怎么写keyBy，是不是要group by pk呢？我原来的想法是在MongoDBSinkFunction中开一个线程池，每个线程对应下游sink的一个并行度，每个线程带一个queue，MongoDBSinkFunction根据数据PK往对应的queue发数据，每个消费者线程从自己的queue pull数据再进行批量插入。不知道这样可不可行？

Re: 流与流 left join

Hi 可以看下 interval join 是否能满足你的需求 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink sql 执行计划

想问下有啥方式能看到flink table的状态保存时间范围吗？

Re: 流与流 left join

sql可以定义cep，捕获匹配流和超时流 发自我的iPhone > 在 2021年5月27日，下午7:40，流弊 <1353637...@qq.com> 写道： > > 我们现在场景有两个流join，A流left joinB流，A流比B流晚到，而且最晚比B流晚到3小时，用flink sql有啥方法实现吗？

流与流 left join

我们现在场景有两个流join，A流left joinB流，A流比B流晚到，而且最晚比B流晚到3小时，用flink sql有啥方法实现吗？

flink 1.12 通过rest api 提交任务时 SupervisorActor block

各位好： 我这边通过rest api 向jobmanager提交任务时，出现jobmaster 对应的actor创建过程被block住了，看源代码这块的逻辑也就只是注册个actor，（对akka内部逻辑不是很了解）。不知道各位大佬是否有碰到过类似问题（block 1个小时左右又自动正常了），对应block线程信息如下： cluster-io-thread-14 BLOCKED blocked on java.lang.Object@67bb821e owned by "cluster-io-thread-16" Id=218 at org.apache.flink.r

flink 1.12 通过rest api 提交任务时 SupervisorActor block

各位好： 我这边通过rest api 向jobmanager提交任务时，出现jobmaster 对应的actor创建过程被block住了，看源代码这块的逻辑也就只是注册个actor，（对akka内部逻辑不是很了解）。不知道各位大佬是否有碰到过类似问题（block 1个小时左右又自动正常了），对应block线程信息如下：cluster-io-thread-14BLOCKED blocked on java.lang.Object@67bb821e owned by "cluster-io-thread-16" Id=218at org.apache.flink.runt

flink 1.12 通过rest api 提交任务时 SupervisorActor block

各位好： 我这边flink 1.12运行一段时间后出现通过rest api提交任务 进行jobMaster 对应actor创建时被block，请问这种情况一般是什么原因呢？线程block信息如下（看源码这个位置只是向SupervisorActor发送消息注册一个jobmaster对应的actor，理论上不会有什么消耗资源的，但是我这线上环境有时会block一个小时然后恢复正常） cluster-io-thread-14BLOCKED blocked on java.lang.Object@67bb821e owned by "cluster-io-thread-16" I

Re: flink 维表

HI， 可以修改的，修改后不需要重启作业。 修改后 flink 事实流 是能立即 查询到 最新的维表数据（前提是维表查询出来的数据没有开启cache）。 你可以理解下 lookup 维表的语法： A join B for system time as of A.proctime on A.id = B.id 就是 查询当前最新的维表(proctime代表了最新时间)并关联。 祝好, Leonard > 在 2021年5月27日，16:35，liujian <13597820...@qq.com> 写道： > > 请问fli

Re: SQL DDL选项的值需要单引号应该如何解决？

create table source ( id int ) with ( type='jdbc', username='us',password='ab\'c' ); Luna Wong 于2021年5月27日周四 下午4:02写道： > create table source ( > id int > ) with ( > type='jdbc', > username='us', > password='ab'c' > ); > > 例如上面DDL密码的值需要 ' 单引号。这种应该怎么解决？ >

flink ????

flink lookup??,lookup,?

SQL DDL选项的值需要单引号应该如何解决？

create table source ( id int ) with ( type='jdbc', username='us', password='ab'c' ); 例如上面DDL密码的值需要 ' 单引号。这种应该怎么解决？