如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到
user-zh-unsubscr...@flink.apache.org
Best,
Leonard
> 在 2021年8月11日，08:16，Lee2097 写道：
>
> 退订
如果需要取消订阅 user-zh@flink.apache.org 邮件组，请发送任意内容的邮件到
user-zh-unsubscr...@flink.apache.org
Best,
Leonard
> 在 2021年8月6日，10:49，汪嘉富 写道：
>
> 退订
>
这里的SQL是指DDL还是DML，通常 DML都是兼容的，且一般不会有不兼容的升级，
DDL 语法 各家 SQL 方言都有自己的语法，这个比较灵活，FLINK SQL 的DDL 各个版本稍有不同，但 Flink SQL 新版本都是兼容老的
DDL的，
只是新版本上的DDL语法如果提供了更丰富的功能，那么老版本的DDL则不能提供 。
所以我理解你关心的兼容性问题是不存在的，但请注意如果你的SQL作业是有状态的，需要带状态升级，这些状态都是跨版本不兼容的。
祝好，
Leonard
> 在 2021年8月10日，11:44，Jason Lee 写道：
>
> 各位大佬好，
>
>
源表三个字段 name, color, ts
按时间窗口聚合后想根据name group by取colors数组
create table source_table (
name STRING,
color STRING,
ts TIMESTAMP,
WATERMARK ts for ts
)
create table sink_table (
name STRING,
colors ARRAY
)
1. 请问这个select语句要怎么写？
select name, collect(color) as colors from sour
如果只是数据同步作业，例如从kafka消费将数据存入下游db，这种弱“状态”作业能跨版本兼容么？
在 2021-08-11 16:54:56，"Leonard Xu" 写道：
>这里的SQL是指DDL还是DML，通常 DML都是兼容的，且一般不会有不兼容的升级，
>DDL 语法 各家 SQL 方言都有自己的语法，这个比较灵活，FLINK SQL 的DDL 各个版本稍有不同，但 Flink SQL 新版本都是兼容老的
>DDL的，
>只是新版本上的DDL语法如果提供了更丰富的功能，那么老版本的DDL则不能提供 。
>
>所以我理解你关心的兼容性问题是不存在
这个文件是确实不在了么？是不是被别的进程删掉了呢，可以通过hdfs的audit log来判断一下。
目前flink这边写文件的exactly
once语义是依赖HDFS的一致性保证的，如果之前写到HDFS的数据丢掉了就会破坏这个语义了（不过我们可以考虑在这种情况下让作业能继续跑）。
On Tue, Aug 10, 2021 at 7:45 PM 周瑞 wrote:
> 您好：Flink
> 写入Hive的时候，在压缩文件的时候有个待压缩的文件丢失了，导致Flink程序一直在不断重启，请问文件丢失是什么原因导致的，这种情况怎么能够让Flink程序正常启动
> 2021-08-10 19
您好：
这个文件确实不存在了，这种情况目前怎样设置可以让作业继续跑
-- Original --
From: "Rui Li"
目前没有办法让作业继续跑，只能重跑了
这里有几个不同的问题：
1. 文件是如何被删掉的，两种可能：被Flink误删（需要在Flink这边修复）、或者被Flink之外的进程删掉
2. 文件丢失意味着exactly once语义无法保证了，这种情况是否可以接受
3. 如果可以接受丢失数据，如何让Flink作业可以继续跑（需要Flink的改进）
On Wed, Aug 11, 2021 at 7:52 PM 周瑞 wrote:
> 您好：
> 这个文件确实不存在了，这种情况目前怎样设置可以让作业继续跑
>
>
> -- Original
最近想了解怎么使用flink on k8s operator，查了下业内有lyft和google的，有没有这方面的中文使用资料？
另外想知道ververica platform是不是也是基于flink on k8s operator开发的？社区版是否开源以支持二次开发？
源表三个字段 name, color, ts
按时间窗口聚合后想根据name group by取colors数组
create table source_table (
name STRING,
color STRING,
ts TIMESTAMP,
WATERMARK ts for ts
)
create table sink_table (
name STRING,
colors ARRAY
)
1. 请问这个select语句要怎么写？
select name, collect(color) as colors from sour
您好，Flink Hive 当上游的Kafka数据量特别大的时候，发现checkpoint一直无法完成，5分钟后报错了。请问这个问题要怎么解决
Hi！
1 & 2. multiset 不能转成 array。可以考虑使用 listagg + split_index + limit
语句达成需要的效果。当然更方便的还是写一个 UDF。
3. window top-n 可以使用 1.13 新引入的 window tvf：
https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/window-topn/
casel.chen 于2021年8月11日周三 下午5:06写道：
> 源表三个字段 name, c
flink 版本：1.12
列：col varchar
使用where col is null时可以过滤出col为null的记录
使用where col is null or col = ''时就不可以
同时试了下另外一种写法
where (case when col is null then true else false end) 可以过滤出来
where (case when col is null then true when col = '' then true else false end)
过滤不出来
请问这个bug吗，还是语法有问题
Hi！
这是一个 bug，已经在 1.12.5 修复。详见 https://issues.apache.org/jira/browse/FLINK-22015
silence 于2021年8月12日周四 下午12:54写道：
> flink 版本：1.12
> 列：col varchar
> 使用where col is null时可以过滤出col为null的记录
> 使用where col is null or col = ''时就不可以
> 同时试了下另外一种写法
> where (case when col is null then true else false end) 可
14 matches
Mail list logo
