如果需要取消订阅 user-zh@flink.apache.org 邮件组,请发送任意内容的邮件到
user-zh-unsubscr...@flink.apache.org
Best,
Leonard
> 在 2021年8月11日,08:16,Lee2097 写道:
>
> 退订
如果需要取消订阅 user-zh@flink.apache.org 邮件组,请发送任意内容的邮件到
user-zh-unsubscr...@flink.apache.org
Best,
Leonard
> 在 2021年8月6日,10:49,汪嘉富 写道:
>
> 退订
>
这里的SQL是指DDL还是DML,通常 DML都是兼容的,且一般不会有不兼容的升级,
DDL 语法 各家 SQL 方言都有自己的语法,这个比较灵活,FLINK SQL 的DDL 各个版本稍有不同,但 Flink SQL 新版本都是兼容老的
DDL的,
只是新版本上的DDL语法如果提供了更丰富的功能,那么老版本的DDL则不能提供 。
所以我理解你关心的兼容性问题是不存在的,但请注意如果你的SQL作业是有状态的,需要带状态升级,这些状态都是跨版本不兼容的。
祝好,
Leonard
> 在 2021年8月10日,11:44,Jason Lee 写道:
>
> 各位大佬好,
>
>
源表三个字段 name, color, ts
按时间窗口聚合后想根据name group by取colors数组
create table source_table (
name STRING,
color STRING,
ts TIMESTAMP,
WATERMARK ts for ts
)
create table sink_table (
name STRING,
colors ARRAY
)
1. 请问这个select语句要怎么写?
select name, collect(color) as colors from sour
如果只是数据同步作业,例如从kafka消费将数据存入下游db,这种弱“状态”作业能跨版本兼容么?
在 2021-08-11 16:54:56,"Leonard Xu" 写道:
>这里的SQL是指DDL还是DML,通常 DML都是兼容的,且一般不会有不兼容的升级,
>DDL 语法 各家 SQL 方言都有自己的语法,这个比较灵活,FLINK SQL 的DDL 各个版本稍有不同,但 Flink SQL 新版本都是兼容老的
>DDL的,
>只是新版本上的DDL语法如果提供了更丰富的功能,那么老版本的DDL则不能提供 。
>
>所以我理解你关心的兼容性问题是不存在
这个文件是确实不在了么?是不是被别的进程删掉了呢,可以通过hdfs的audit log来判断一下。
目前flink这边写文件的exactly
once语义是依赖HDFS的一致性保证的,如果之前写到HDFS的数据丢掉了就会破坏这个语义了(不过我们可以考虑在这种情况下让作业能继续跑)。
On Tue, Aug 10, 2021 at 7:45 PM 周瑞 wrote:
> 您好:Flink
> 写入Hive的时候,在压缩文件的时候有个待压缩的文件丢失了,导致Flink程序一直在不断重启,请问文件丢失是什么原因导致的,这种情况怎么能够让Flink程序正常启动
> 2021-08-10 19
您好:
这个文件确实不存在了,这种情况目前怎样设置可以让作业继续跑
-- Original --
From: "Rui Li"
目前没有办法让作业继续跑,只能重跑了
这里有几个不同的问题:
1. 文件是如何被删掉的,两种可能:被Flink误删(需要在Flink这边修复)、或者被Flink之外的进程删掉
2. 文件丢失意味着exactly once语义无法保证了,这种情况是否可以接受
3. 如果可以接受丢失数据,如何让Flink作业可以继续跑(需要Flink的改进)
On Wed, Aug 11, 2021 at 7:52 PM 周瑞 wrote:
> 您好:
> 这个文件确实不存在了,这种情况目前怎样设置可以让作业继续跑
>
>
> -- Original
最近想了解怎么使用flink on k8s operator,查了下业内有lyft和google的,有没有这方面的中文使用资料?
另外想知道ververica platform是不是也是基于flink on k8s operator开发的?社区版是否开源以支持二次开发?
源表三个字段 name, color, ts
按时间窗口聚合后想根据name group by取colors数组
create table source_table (
name STRING,
color STRING,
ts TIMESTAMP,
WATERMARK ts for ts
)
create table sink_table (
name STRING,
colors ARRAY
)
1. 请问这个select语句要怎么写?
select name, collect(color) as colors from sour
您好,Flink Hive 当上游的Kafka数据量特别大的时候,发现checkpoint一直无法完成,5分钟后报错了。请问这个问题要怎么解决
Hi!
1 & 2. multiset 不能转成 array。可以考虑使用 listagg + split_index + limit
语句达成需要的效果。当然更方便的还是写一个 UDF。
3. window top-n 可以使用 1.13 新引入的 window tvf:
https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/window-topn/
casel.chen 于2021年8月11日周三 下午5:06写道:
> 源表三个字段 name, c
flink 版本:1.12
列:col varchar
使用where col is null时可以过滤出col为null的记录
使用where col is null or col = ''时就不可以
同时试了下另外一种写法
where (case when col is null then true else false end) 可以过滤出来
where (case when col is null then true when col = '' then true else false end)
过滤不出来
请问这个bug吗,还是语法有问题
Hi!
这是一个 bug,已经在 1.12.5 修复。详见 https://issues.apache.org/jira/browse/FLINK-22015
silence 于2021年8月12日周四 下午12:54写道:
> flink 版本:1.12
> 列:col varchar
> 使用where col is null时可以过滤出col为null的记录
> 使用where col is null or col = ''时就不可以
> 同时试了下另外一种写法
> where (case when col is null then true else false end) 可
14 matches
Mail list logo