Disable WAL in RocksDB recovery

Hello there, I'd like to bring to discussion a previously discussed topic - disabling WAL in RocksDB recovery. It's clear that WAL is not needed during the process, the reason being that the WAL is never read, so there's no need to write it. AFAIK the last thing that was done with WAL during

Re: 含有多个kafka-source的job里如果用events_time作为时间的话，如何解决快流通过水印覆盖漫流的情况。

Hi 没有太明白你这里为什么数据较少的 source 会覆盖数据更多的 source。能否详细描述下呢？ 如果是因为某些 source 的数据把 watermark 给推高了，从而导致其他的 source 数据变成迟到的数据，那么我理解这个暂时没法直接解决的，因为 watermark 是 task 级别的。如果你想要在一个 Flink 作业中实现更细粒度的 watermark，或许你可以尝试下 processfuncton[1] 自己来定制一套类似的机制 另外你也可以看下这个文档[2] 看是否在你的场景中有帮助 [1]

Re: 统计数据含有中间回撤数据的问题

hello 你的图片挂了，可以找个图床工具贴上去，这里附上链接 或者直接文字描述，图片一般是不会显示的 发件人： 1337220620 发送时间： 2020-09-16 13:14 收件人： user-zh 主题： 统计数据含有中间回撤数据的问题 目前我们的业务数据分析逻辑大部分基于flink sql编写的， 下面是一个例子 任务逻辑如下 输入数据顺序为 {“policy_id”:1, “plan_code”:1000, “gmt_created”:”2020-09-15 12:00:00”} {“policy_id”:2, “plan_code”:1500,

Re: flink 填补窗口问题

Hi 这个需求可以考虑用 processfunction[1] 来实现，window 的 state 只能给单独的 window 使用，其他 window 不能操作之前的 window 的 state [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/stream/operators/process_function.html#the-keyedprocessfunction Best, Congxian marble.zh...@coinflex.com.INVALID

Re: FlinkSQL1.11.1读取kafka写入Hive(parquet) OOM问题

可以考虑在写之前按照hashtid keyBy下吗？ Best, Jingsong On Wed, Sep 16, 2020 at 9:36 AM wangenbao <156827...@qq.com> wrote: > 求教各位大佬： > 有遇到如下问题的吗？ > > 1、我首先通过TableAPI读取Kafka中PB格式数据，转换成POJO对象，然后注册成View； > 2、然后Insert into到三分区（日，小时，hashtid）的Hive表（Parquet格式Snappy压缩）中； > 3、数据的分区相对分散些就会出现OOM问题，具体表现为 >

Re: flink检查点

Hi 如果你们删除过文件的话，那么你可以检查 chk-xxx 目录下是否有 _metadata 文件存在，存在基本就是可用的 checkpoint。如果你有删除过文件的话，则需要读取 _metadata 文件，然后看看是否所有文件都存在。 Best, Congxian Dream-底限 于2020年9月16日周三 上午10:27写道： > hi、 > 我正在做基于检查点的任务自动恢复，请问有没有什么方法来检查检查点是否是一个完整有效的检查点，因为有的时候检查点会失败，所以有没有api层面的校验方式 >

Re: 关于JDBC Source中connector.read.query属性在1.11新接口版本的JDBC Souce实现中没有提供

收到，谢谢。 Best, TonyChen > 2020年9月16日 下午12:12，Jark Wu 写道： > > 新版 jdbc connector 的这个功能目前已经有个 PR [1] 在支持中了，预计在1.12 中会支持。 > > Best, > Jark > > [1]: https://github.com/apache/flink/pull/13245 > > On Wed, 16 Sep 2020 at 11:25, 陈韬 wrote: > >> JDBC Source中 connector.read.query 属性在1.11新接口版本的JDBC

统计数据含有中间回撤数据的问题

目前我们的业务数据分析逻辑大部分基于flink sql编写的， 下面是一个例子 任务逻辑如下 输入数据顺序为 {“policy_id”:1, “plan_code”:1000, “gmt_created”:”2020-09-15 12:00:00”} {“policy_id”:2, “plan_code”:1500, “gmt_created”:”2020-09-15 12:00:03”} {“policy_id”:1, “plan_code”:1300, “gmt_created”:”2020-09-15 12:00:05”} 期望的输出结果是 实际的输出结果是

回复：回复：Flink SQL format问题

U&'\\000A'，代码也用了U&？ -- 发件人：guaishushu1...@163.com 发送时间：2020年9月16日(星期三) 10:50 收件人：Shuai Xia 主　题：Re: 回复：Flink SQL format问题 表定义： 'connector.type' = 'kafka', 'connector.version' = 'universal', 'connector.topic' = '',

Re: 关于JDBC Source中connector.read.query属性在1.11新接口版本的JDBC Souce实现中没有提供

新版 jdbc connector 的这个功能目前已经有个 PR [1] 在支持中了，预计在1.12 中会支持。 Best, Jark [1]: https://github.com/apache/flink/pull/13245 On Wed, 16 Sep 2020 at 11:25, 陈韬 wrote: > JDBC Source中 connector.read.query 属性在1.11新接口版本的JDBC Souce实现中没有提供。 > 早上看到有大佬说今后要逐步放弃掉旧的JDBC Source实现，那是否会在新版本接口的JDBC Source实现中提供类似 >

Flink Table SQL, Kafka, partitions and unnecessary shuffling

How do I avoid unnecessary reshuffles when using Kafka as input? My keys in Kafka are ~userId. The first few stages do joins that are usually (userId, someOtherKeyId). It makes sense for these joins to stay on the same machine and avoid unnecessary shuffling. What's the best way to avoid

Re: Why setAllVerticesInSameSlotSharingGroupByDefault is set to false in batch mode

Hi Zheng, To divide managed memory for operators[1], we need to consider which tasks will run in the same slot. In batch jobs, vertices in different regions may not run at the same time. If we put them in the same slot sharing group, running tasks may run slower with less managed memory, while

关于JDBC Source中connector.read.query属性在1.11新接口版本的JDBC Souce实现中没有提供

JDBC Source中 connector.read.query 属性在1.11新接口版本的JDBC Souce实现中没有提供。 早上看到有大佬说今后要逐步放弃掉旧的JDBC Source实现，那是否会在新版本接口的JDBC Source实现中提供类似 connector.read.query 的能力 谢谢 Best, TonyChen

Why setAllVerticesInSameSlotSharingGroupByDefault is set to false in batch mode

Hi All, I find we set AllVerticesInSameSlotSharingGroupByDefault to false in flink 1.10. It will make batch job request lots of containers. I'm not sure why we set it to false directly. I try to set it to true and find the batch job can run correctly with a small amount containers. Why don't

回复：Flink SQL format问题

Hi，麻烦代码以及报错贴一下 -- 发件人：guaishushu1...@163.com 发送时间：2020年9月16日(星期三) 10:29 收件人：user-zh 主　题：Flink SQL format问题 csv.field-delimiter csv.line-delimiter 想问下大佬们 官方文档说是可以设置这两个值，指定行分隔和字段分隔，但是在设置kafka sinkTable的时候会出现语法错误？？？很奇怪

Flink SQL format问题

csv.field-delimiter csv.line-delimiter 想问下大佬们 官方文档说是可以设置这两个值，指定行分隔和字段分隔，但是在设置kafka sinkTable的时候会出现语法错误？？？很奇怪 guaishushu1...@163.com

flink检查点

hi、 我正在做基于检查点的任务自动恢复，请问有没有什么方法来检查检查点是否是一个完整有效的检查点，因为有的时候检查点会失败，所以有没有api层面的校验方式

含有多个kafka-source的job里如果用events_time作为时间的话，如何解决快流通过水印覆盖漫流的情况。

hello，我有一份来自多个Kafka-source的工作。它们都包含某些历史数据。如果使用events-time window，它将导致数据较少的source通过water-mark覆盖数据更多的source。 目前我能想到的方案是用一个在source上的调度器，通过redis或者zookeeper缓存每一个source下两条数据，统一比较，时间小的先进入接下来的处理流程，实现起来比较复杂，各位大佬有什么好的办法吗？十分感谢。

Fwd: I have a job with multiple Kafka sources. They all contain certain historical data.

Hello guys, I have a job with multiple Kafka sources. They all contain certain historical data. If you use the events-time window, it will cause sources with less data to cover more sources through water mark. I can think of a solution, Implement a scheduler in the source phase, But it is quite

关于自定义数据类型实现空间数据类型的处理的问题

请教下各位大佬 我的场景是这样的，我希望可以对空间数据类型进行处理，包括Source和Sink。目前我想到的实现思路是实现一个用户自定义的数据类型[1]，并实现这个类型的序列化和反序列化操作。但是看文档中说，目前尚不支持。（当前尚不支持，因此无法在 catalog 里保存或在 CREATE TABLE DDL 语句里引用它们。） 请教这个是否会在1.12中完整支持。或者，有什么其他的实现思路。谢谢

FlinkSQL1.11.1读取kafka写入Hive(parquet) OOM问题

求教各位大佬： 有遇到如下问题的吗？ 1、我首先通过TableAPI读取Kafka中PB格式数据，转换成POJO对象，然后注册成View； 2、然后Insert into到三分区（日，小时，hashtid）的Hive表（Parquet格式Snappy压缩）中； 3、数据的分区相对分散些就会出现OOM问题，具体表现为 parquet.hadoop.MemoryManager: Total allocation exceeds 50.00% (2,102,394,880 bytes) of heap memory Scaling row group sizes to 13.62% for

Flink 1.11 operator metric name 长度限制问题

Hi all, Flink 版本1.11.1, 在TaskMetricGroup 这个类中，限制了operator name作为metric的最大长度是80，并且不可以用户自定义配置。 我们往往在为一个operator命名的时候，会加入更多的信息，在任务提交到flink集群中，可以在Flink Web UI界面上看到完整的task信息。但是在metrics exporter上，这个name被截取到80个字符，这样在Prometheus在收集metrics的时候，就会信息缺失。 提供相关源码如下： public class TaskMetricGroup extends

Re: Flink Table API and not recognizing s3 plugins

Sweet, this was the issue. I got this to work by copying the s3 jar over to plugins for the client container. Thanks for all of the help! The Table API is sweet! On Mon, Sep 14, 2020 at 11:14 PM Dan Hill wrote: > Yes, the client runs in K8. It uses a different K8 config than the Helm >

Re: Flink alert after database lookUp

Hi Sunitha, dependency looks good. I'd probably bump the version to 1.1.0 though (version is off-cycle to Flink as of now to accelerate releases of this young feature). Best, Arvid On Tue, Sep 15, 2020 at 5:10 PM s_penakalap...@yahoo.com < s_penakalap...@yahoo.com> wrote: > Hi Arvid, > >

Re: Flink alert after database lookUp

Hi Arvid, Thank you!!! Will check change data capture approach. Please confirm including dependency and adding sourceFunction should help us to achieve CDC.   com.alibaba.ververica  flink-connector-postgre-cdc  1.0.0 wrote: Hi Sunitha, to listen to changes in your database a

Re: flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive

CDC数据Hive本身目前不支持更新，需要看一下数据湖方案，比如Hudi或Iceberg > -原始邮件- > 发件人: MuChen <9329...@qq.com> > 发送时间: 2020-09-15 17:00:45 (星期二) > 收件人: user-zh > 抄送: > 主题: flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive > > hi,all: > 如题：flink-sql cdc 支持哪些sink?是否支持sink到开启了update的hive？ > > >

Re: 请教一下Flink和主流数据湖集成的情况

好的，谢谢 Sent from my iPhone > On Sep 15, 2020, at 16:26, Leonard Xu wrote: > > Hello > > Flink 集成iceberg, iceberg 社区应该有 jingsong 和 openin x > 在做，可以直接问下他们。 > > 祝好 > Leonard Xu > >> 在 2020年9月14日，16:52，dixingxing85 写道： >> >>

HiveTableSink中关于streaming方式文件回滚策略HiveRollingPolicy疑问

private static class HiveRollingPolicy extends CheckpointRollingPolicy { private final long rollingFileSize; private final long rollingTimeInterval; private HiveRollingPolicy( long rollingFileSize, long rollingTimeInterval) { Preconditions.checkArgument(rollingFileSize > 0L);

Re: 如何在启动taskmanager时传入自定义的java参数

学习了，非常感谢~ 原始邮件 发件人: wch...@163.com 收件人: user-zh@flink.apache.org 发送时间: 2020年9月15日(周二) 19:18 主题: Re: 如何在启动taskmanager时传入自定义的java参数 官网有相关配置 https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html#jvm-and-logging-options taskmanager自定义参数应该是使用 env.java.opts.taskmanager

Re: 退订

Hi, 退订需要发邮件到 user-zh-unsubscr...@flink.apache.org 可以参考 https://flink.apache.org/zh/community.html#section-1 谢治平 于2020年9月15日周二 下午7:39写道： > 退订，谢谢

Re: 退订

Hi, 退订需要发邮件到 user-zh-unsubscr...@flink.apache.org 可以参考 https://flink.apache.org/zh/community.html#section-1 涂建树(淘汽互联网子公司) 于2020年9月15日周二 下午5:40写道： > > 退订

Re: 退订

Hi, 退订需要发邮件到 user-zh-unsubscr...@flink.apache.org 可以参考 https://flink.apache.org/zh/community.html#section-1 bertram <822876...@qq.com> 于2020年9月15日周二 下午7:08写道： > 退订

Re: Emit event to kafka when finish sink

Hi, I am not sure if I understand your first solution, but it sounds rather complicated. I think implementing a custom operator could be a valid approach. You would have to make sure it is run with parallelism of 1. You could additionally implement a BoundedOneInput interface and notify the

退订

退订，谢谢

Re: How to schedule Flink Batch Job periodically or daily

Hi Arvid, Thanks a lot. Will check Airflow and Cron-job options. Regards,Sunitha. On Monday, September 14, 2020, 05:23:43 PM GMT+5:30, Arvid Heise wrote: Hi Sunitha, oozie is a valid approach, but I'd recommend to evaluate Airflow first [1]. It's much better maintained and easier to

Re: 如何在启动taskmanager时传入自定义的java参数

官网有相关配置 https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html#jvm-and-logging-options taskmanager自定义参数应该是使用 env.java.opts.taskmanager 下面是我的部分启动启动参数: /data1/flink-1.10.0/bin/flink run -m yarn-cluster -ynm smartStareJob -yjm 2048 -ytm 4096 -ys 2 -p 6 \ -yD

Re: 如何在启动taskmanager时传入自定义的java参数

解决了我的问题，非常感谢。 原始邮件 发件人: zilong xiao 收件人: user-zh 发送时间: 2020年9月15日(周二) 18:23 主题: Re: 如何在启动taskmanager时传入自定义的java参数 可以在flink-conf.yaml里设置，例如： env.java.opts: -Djob.name={{job_name}} xiao cai 于2020年9月15日周二 下午5:46写道： > Hi： > 我修改了flink的一些源码，需要通过外部-Dkey=value的形式动态将值传入，试了下无法直接通过bin/flink run >

Re: The rpc invocation size 13478509 exceeds the maximum akka framesize

Hi zheng, It seem’s data is large. Resizing the framesize of akka will not working. You can increase the parallelism. Jake. > On Sep 15, 2020, at 5:58 PM, zheng faaron wrote: > > Hi Zhu, > > It's just a mistake in mail. It seems increase akka.framesize not works in > this scenario. > >

????

I have a job with multiple Kafka sources. They all contain certain historical data.

Hello, I have a job with multiple Kafka sources. They all contain certain historical data. If you use the events-time window, it will cause sources with less data to cover more sources through water mark. Is there a solution?

Re: 如何在启动taskmanager时传入自定义的java参数

可以在flink-conf.yaml里设置，例如： env.java.opts: -Djob.name={{job_name}} xiao cai 于2020年9月15日周二 下午5:46写道： > Hi： > 我修改了flink的一些源码，需要通过外部-Dkey=value的形式动态将值传入，试了下无法直接通过bin/flink run > 后加-D的方式来添加，有什么好的办法吗？

如何在启动taskmanager时传入自定义的java参数

Hi： 我修改了flink的一些源码，需要通过外部-Dkey=value的形式动态将值传入，试了下无法直接通过bin/flink run 后加-D的方式来添加，有什么好的办法吗？

退订

退订

Re: Flink sql权限

Hi， 目前使用hive catalog时只支持Metastore端的storage based authorization。 On Tue, Sep 15, 2020 at 4:16 PM Leonard Xu wrote: > Hi， > 据我所知，目前是不支持的，社区没找到对应的issue, 这块短期内应该没计划整，CC了熟悉这块的小伙伴。 > > 祝好 > Leonard Xu > > > 在 2020年9月11日，14:33，163 写道： > > > > > > 请问，flink sql支持元数据的权限校验吗？例如使用hive

Emit event to kafka when finish sink

Hello guys, i would like to know if there is any possibility to emit an event when a sink has finished. To put it in context, I have a simple ETL (streaming bounded) that reads data from a database, maps, and inserts into another database. Once I finish inserting the data I want to issue an event

flink-sql cdc ????????sink?????????sink????????update??hive

hi,all: ??flink-sql cdc sink?sinkupdate??hive?? ??hive??join ??flink-sql??hive??MySQL??flink-sql

StreamingFileSink文件滚动策略

hi各位，有个问题想请教下： 我想将数据以gz方式写到下游，使用的StreamingFileSink，通过BulkFormat，但是看官方文档里只有OnCheckpointRollingPolicy这一个文件滚动策略，如果我想按照文件大小或者时间滚动该怎么设置呢？ 打扰各位。

Re: Flink 1.11.1 JDBC Sink 使用旧版配置 数据丢失

谢谢，请问有相关的 issue 链接吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink 填补窗口问题

可以补吗？ 比如我现在是1分钟的窗口，要是这一分种 没有message，那就以上一个窗口的数据作为这一窗口的数据。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink DynamoDB stream connector losing records

Hi Jiawei, I agree that the offset management mechanism uses the same code as Kinesis Stream Consumer and in theory should not lose exactly-once semantics. As Ying is alluding to, if your application is restarted and you have snapshotting disabled in AWS there is a chance that records can be

Re: 请教一下Flink和主流数据湖集成的情况

Hello Flink 集成iceberg, iceberg 社区应该有 jingsong 和 openin x 在做，可以直接问下他们。 祝好 Leonard Xu > 在 2020年9月14日，16:52，dixingxing85 写道： > > 谢谢，是的是有iceberg的sink。我看之信在做flink读取iceberg这块的工作，主要想知道下进展和社区未来会重点支持哪个数据湖框架 > > Sent from my iPhone > >> On Sep 14, 2020, at 14:00, Congxian

Re: [sql-client][checkpoint] sql-client提交任务，checkpoint没有写入hdfs

是我的代码问题，我set sp的时候streamGraph里面的算子还没有构建出来，正确的做法是在生成jobGraph的时候set 进去。 感谢 Jark Wu 于2020年9月15日周二 上午11:31写道： > 是不是你的 cp 恢复的代码，没有执行任何的 insert into 语句？ > > On Mon, 14 Sep 2020 at 20:15, Harold.Miao wrote: > > > 还有一点是 我们修改了sql-client代码， 让任务从cp恢复，修改如下 > > > > private StreamExecutionEnvironment

Re: 退订

Hi, 退订请发邮件到 user-zh-unsubscr...@flink.apache.org 详细的可以参考 [1] [1] https://flink.apache.org/zh/community.html#section-1 Best, Xingbo 毛远航 于2020年9月15日周二 下午4:22写道： > 退订，多谢

Re: 退订

Hi, 退订请发邮件到 user-zh-unsubscr...@flink.apache.org 详细的可以参考 [1] [1] https://flink.apache.org/zh/community.html#section-1 Best, Xingbo 李国鹏 于2020年9月15日周二 下午4:19写道： > 退订

????

??

退订

退订

Re: Flink sql权限

Hi， 据我所知，目前是不支持的，社区没找到对应的issue, 这块短期内应该没计划整，CC了熟悉这块的小伙伴。 祝好 Leonard Xu > 在 2020年9月11日，14:33，163 写道： > > > 请问，flink sql支持元数据的权限校验吗？例如使用hive catalog时，支持hive的权限检查？如果目前不支持，未来是否会考虑？ >

Re: flink table Kafka 重新连接的问题

HI > 在 2020年9月9日，16:37，marble.zh...@coinflex.com.invalid > 写道： > > 如果某个message出现exception时 table的connector, 你用的format是什么？一般这种某条message解析异常引起的失败都是可以跳过，比如配置下json.ignore-parse-errors(json) 或 csv.ignore-parse-errors（csv）。 [1]

Re: flink 1.9 关于回撤流的问题

hi, 我对于使用upsert kafka能够省state感到疑惑。金竹老师提供的实现只是丢掉了delete消息，你的下游表依旧需要手动去重才可以得到准确的结果才对啊。如果每个下游表都手动去重这样子还能省state吗？ star <3149768...@qq.com> 于2020年6月8日周一 上午9:38写道： > 非常感谢，正是我想要的。也谢谢金竹老师的分享！ > > > > > --原始邮件-- > 发件人:"Sun.Zhu"<17626017...@163.com; > 发送时间:2020年6月7日(星期天)

[ANNOUNCE] Weekly Community Update 2020/37

Dear community, happy to share a belated update for the past week. This time with the release of Flink 1.11.2, a couple of discussions and FLIPs on improving Flink's APIs and dropping some baggage, most notably Scala 2.11, a new unified sink API and a bit more. Flink Development ==

Re: Performance issue associated with managed RocksDB memory

Thanks for the follow up Juha, I've just assigned FLINK-19238 to you. Let's further track this on JIRA. Best Regards, Yu On Tue, 15 Sep 2020 at 15:04, Juha Mynttinen wrote: > Hey > > I created this one https://issues.apache.org/jira/browse/FLINK-19238. > > Regards, > Juha >

Re: Performance issue associated with managed RocksDB memory

Hey I created this one https://issues.apache.org/jira/browse/FLINK-19238. Regards, Juha From: Yun Tang Sent: Tuesday, September 15, 2020 8:06 AM To: Juha Mynttinen ; Stephan Ewen Cc: user@flink.apache.org Subject: Re: Performance issue associated with managed

Re: flink checkpoint timeout

I have followed this https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/memory/mem_migration.html and I am using taskmanager.memory.flink.size now instead of

Re: restoring from externalized incremental rocksdb checkpoint?

Thanks for the quick reply Congxian. The non-empty chk-N directories I looked at contained only files whose names are UUIDs. Nothing named _metadata (unless HDFS hides files that start with an underscore?). Just to be clear though -- I should expect a metadata file when using incremental

Re: Unit Test for KeyedProcessFunction with out-of-core state

The new backend would be for unit tests (instead of a RocksDB mock). It's kind of the mock for out-of-core behavior that you initially requested. To use rocksDB in an IT Case with multiple task managers, you would adjust the configuration in the usual minicluster setup, for example [1]. Note

Re: Flink Table API and not recognizing s3 plugins

Yes, the client runs in K8. It uses a different K8 config than the Helm chart and does not load the plugins. Does the client use the same plugin structure as the Flink job/task manager? I can try using it tomorrow. Cool, that link would work too. Thanks, Arvid! On Mon, Sep 14, 2020 at 10:59

Re: [sql-client][checkpoint] sql-client提交任务，checkpoint没有写入hdfs

Hi 你可以参考这里[1] 自己进行一些修改尝试，来分析 metadata 文件 [1] https://github.com/apache/flink/blob/master/flink-runtime/src/test/java/org/apache/flink/runtime/checkpoint/CheckpointMetadataLoadingTest.java Best, Congxian Harold.Miao 于2020年9月15日周二 下午1:58写道： > 是同一个insert任务， 只是重启任务的时候 ，我加了这些代码，构造一个