感谢回复。我们在之前使用Flink 1.11的应用是可以支持增加带默认值的field。目前1.16的Table API无法兼容吗？
On Mon, Apr 17, 2023 at 11:21 PM Shammon FY wrote:
> Hi
>
> 目前增减列数据会导致状态无法兼容
>
> Best,
> Shammon FY
>
>
> On Fri, Apr 14, 2023 at 9:09 PM Elvis Chen
> wrote:
>
> > 我们正在使用flink-1.16.0的Table API和RocksDB作为后端，为我们的用户提供运行SQL
> >
> >
>
Hi
目前增减列数据会导致状态无法兼容
Best,
Shammon FY
On Fri, Apr 14, 2023 at 9:09 PM Elvis Chen
wrote:
> 我们正在使用flink-1.16.0的Table API和RocksDB作为后端，为我们的用户提供运行SQL
>
> queries的服务。表格是使用Avro模式创建的，当以兼容的方式更改模式，例如添加一个带默认值的field时，我们无法从savepoint恢复作业。这是在数据结构升级后的报错：
> Caused by: org.apache.flink.util.StateMigrationExcept
我们正在使用flink-1.16.0的Table API和RocksDB作为后端，为我们的用户提供运行SQL
queries的服务。表格是使用Avro模式创建的，当以兼容的方式更改模式，例如添加一个带默认值的field时，我们无法从savepoint恢复作业。这是在数据结构升级后的报错：
Caused by: org.apache.flink.util.StateMigrationException: The new state
serializer
(org.apache.flink.table.runtime.typeutils.RowDataSerializer@aad5b03a) m
Congratulations!
Dong
On Mon, Mar 27, 2023 at 5:24 PM Yu Li wrote:
> Dear Flinkers,
>
>
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the Apache Incubator as a separate project called Apache
> Paimon(incubating) [1] [2] [3].
Cool ~ Congrats!
Best Regards,
Shuo
On Mon, Mar 27, 2023 at 5:24 PM Yu Li wrote:
> Dear Flinkers,
>
>
> As you may have noticed, we are pleased to announce that Flink Table
> Store has joined the Apache Incubator as a separate project called
> Apache Paimon(incubating) [1
023年3月28日周二 10:29写道：
>>
>> > Congratulations!
>> >
>> > Best,
>> > Hang
>> >
>> > yu zelin 于2023年3月28日周二 10:27写道：
>> >
>> >> Congratulations!
>> >>
>> >> Best,
>> >> Yu Zelin
>&g
：
> >
> >> Congratulations!
> >>
> >> Best,
> >> Yu Zelin
> >>
> >> 2023年3月27日 17:23，Yu Li 写道：
> >>
> >> Dear Flinkers,
> >>
> >>
> >>
> >> As you may have noticed, we are pleas
;
>> Dear Flinkers,
>>
>>
>>
>> As you may have noticed, we are pleased to announce that Flink Table Store
>> has joined the Apache Incubator as a separate project called Apache
>> Paimon(incubating) [1] [2] [3]. The new project still aims at building a
>&g
...@flink.apache.org
Subject: Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache
Paimon(incubating)
Congratulations!
Best regards,
Xianxun
On 03/27/2023 22:51，Samrat
Deb<mailto:decordea...@gmail.com> wrote：
congratulations
Bests,
Samrat
On Mon, Mar 27, 2023 at 7:19 PM Yanfei Lei
：
>>
>> Dear Flinkers,
>>
>>
>>
>> As you may have noticed, we are pleased to announce that Flink Table Store
>> has joined the Apache Incubator as a separate project called Apache
>> Paimon(incubating) [1] [2] [3]. The new project still aims at bui
Congratulations!
Best,
Hang
yu zelin 于2023年3月28日周二 10:27写道：
> Congratulations!
>
> Best,
> Yu Zelin
>
> 2023年3月27日 17:23，Yu Li 写道：
>
> Dear Flinkers,
>
>
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the
Congratulations!
Best,
Yu Zelin
> 2023年3月27日 17:23，Yu Li 写道：
>
> Dear Flinkers,
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the Apache Incubator as a separate project called Apache
> Paimon(incubating) [1] [2] [3]. The n
Congratulations!
Best Regards,
Yanfei
ramkrishna vasudevan 于2023年3月27日周一 21:46写道：
>
> Congratulations !!!
>
> On Mon, Mar 27, 2023 at 2:54 PM Yu Li wrote:
>>
>> Dear Flinkers,
>>
>>
>> As you may have noticed, we are pleased to announce that F
; , "dev" , "User" <
> u...@flink.apache.org>, "user-zh"
> 发送时间: 星期一, 2023年 3 月 27日 下午 8:57:50
> 主题: Re: [ANNOUNCE] Flink Table Store Joins Apache Incubator as Apache
> Paimon(incubating)
>
> Exciting!
>
> If this ends up working well, Wik
congratulations!
Best regards,
Yuxia
发件人: "Andrew Otto"
收件人: "Matthias Pohl"
抄送: "Jing Ge" , "Leonard Xu" , "Yu Li"
, "dev" , "User"
, "user-zh"
发送时间: 星期一, 2023年 3 月 27日 下午 8:57:50
主题: Re: [ANNOUNCE] F
>> Leonard
>>
>> On Mar 27, 2023, at 5:23 PM, Yu Li wrote:
>>
>> Dear Flinkers,
>>
>>
>>
>> As you may have noticed, we are pleased to announce that Flink Table Store
>> has joined the Apache Incubator as a separate project called Ap
Congrats!
Am Mo., 27. März 2023 um 14:32 Uhr schrieb Leonard Xu :
> Congratulations!
>
>
> Best,
> Leonard
>
> On Mar 27, 2023, at 5:23 PM, Yu Li wrote:
>
> Dear Flinkers,
>
>
>
> As you may have noticed, we are pleased to announce that Flink Table Store
Congrats!
Best regards,
Jing
On Mon, Mar 27, 2023 at 2:32 PM Leonard Xu wrote:
> Congratulations!
>
>
> Best,
> Leonard
>
> On Mar 27, 2023, at 5:23 PM, Yu Li wrote:
>
> Dear Flinkers,
>
>
>
> As you may have noticed, we are pleased to announce that Fli
Congratulations!
Best,
Leonard
> On Mar 27, 2023, at 5:23 PM, Yu Li wrote:
>
> Dear Flinkers,
>
> As you may have noticed, we are pleased to announce that Flink Table Store
> has joined the Apache Incubator as a separate project called Apache
> Paimon(incubating)
Dear Flinkers,
As you may have noticed, we are pleased to announce that Flink Table
Store has joined the Apache Incubator as a separate project called
Apache Paimon(incubating) [1] [2] [3]. The new project still aims at
building a streaming data lake platform for high-speed data ingestion
论下，谢谢🙏！ Apache Flink 版本： 1.15.3 Hologres connector
> 版本：1.15-vvr-6.0.2-3，链接：
> https://search.maven.org/artifact/com.alibaba.ververica/ververica-connector-hologres/1.15-vvr-6.0.2-3/jar
> 异常信息： Caused by: java.lang.NoClassDefFoundError:
> org/apache/flink/table/connector/sink/abilities
The Apache Flink community is very happy to announce the release of
Apache Flink Table Store 0.3.0.
Apache Flink Table Store is a unified storage to build dynamic tables
for both streaming and batch processing in Flink, supporting
high-speed data ingestion and timely data query.
Please check out
Congratulations and thanks to all those involved!
On Thu, Oct 13, 2022 at 4:47 AM Jingsong Lee
wrote:
> The Apache Flink community is very happy to announce the release of
> Apache Flink Table Store 0.2.1.
>
> Apache Flink Table Store is a unified storage to build dynamic table
The Apache Flink community is very happy to announce the release of
Apache Flink Table Store 0.2.1.
Apache Flink Table Store is a unified storage to build dynamic tables
for both streaming and batch processing in Flink, supporting
high-speed data ingestion and timely data query.
Please check out
你好，从我个人的角度出发，我认为 flink-table-store 与 hudi, iceberg 的定位是不同的。 hudi 和 iceberg
更多的是一种 format 格式，通过这个格式来管理 schema 信息和解决行业痛点，其不与特定计算引擎绑定。其中， hudi 解决了超大数据量下的
upsert 问题， iceberg 解决了 oss
存储和上云的问题，但是他们本质上还是一种存储格式（format），这是其优势也是其劣势，优势在于不受引擎约束，专注于format层本身；缺点是无法参与主流引擎的未来规划，不易扩展，且发展受限，不能很快的参与到
olap等领域。 而
我理解，目前大的目标是为了流批一体，设计上实际上是对存储进行了抽象，从某种角度上来看可以理解为存储虚拟化，未来的想象空间要大很多。Iceberg，Hudi这些可以作为底层对接的一种具体实现。
On Fri, Sep 9, 2022 at 2:44 PM Xuyang wrote:
> Hi，我理解Flink table store主要有以下几个优势：
> 1、减少架构复杂性，不需要额外引入多余的组件
> 2、支持Flink计算中直接使用Flink table store的存储
> 3、毫秒级流式查询和olap能力
>
>
>
Hi，我理解Flink table store主要有以下几个优势：
1、减少架构复杂性，不需要额外引入多余的组件
2、支持Flink计算中直接使用Flink table store的存储
3、毫秒级流式查询和olap能力
--
Best！
Xuyang
在 2022-09-08 16:09:39，"r pp" 写道：
>应该是为了 流批一体 。不丢数据
>
>Kyle Zhang 于2022年9月8日周四 08:37写道：
>
>> Hi all,
>> 看table
>
应该是为了 流批一体 。不丢数据
Kyle Zhang 于2022年9月8日周四 08:37写道：
> Hi all,
> 看table
> store的介绍也是关于数据湖存储以及用于实时流式读取的，那在定位上与iceberg、hudi等项目有什么不一样么，为什么要再开发一个项目？
>
> Best.
>
--
Best，
pp
Hi all,
看table
store的介绍也是关于数据湖存储以及用于实时流式读取的，那在定位上与iceberg、hudi等项目有什么不一样么，为什么要再开发一个项目？
Best.
/flink-examples-table/src/main/java/org/apache/flink/table/examples/java/basics/GettingStartedExample.java
--
Best！
Xuyang
在 2022-09-05 20:53:03，"小昌同学" 写道：
Table result = kafka_item.groupBy($("trans_number"))
.select($("trans_number"),$("sales_amou
Table result = kafka_item.groupBy($("trans_number"))
.select($("trans_number"),$("sales_amount").sum().as("sum_amount"))
.filter($("sum_amount "));
各位大佬 请教一个问题 我这边想通过flink table API 达到这样一个效果：
根据trans_number进行分组 然后对另一个字段进行sum计算 然后我想最
Congrats! Thanks Jingsong for driving this release, and thanks to all
contributors!
Best,
Jane
On Mon, Aug 29, 2022 at 11:35 AM Jingsong Li wrote:
> The Apache Flink community is very happy to announce the release of
> Apache Flink Table Store 0.2.0.
>
> Apache Flink Table Store
The Apache Flink community is very happy to announce the release of
Apache Flink Table Store 0.2.0.
Apache Flink Table Store is a unified storage to build dynamic tables
for both streaming and batch processing in Flink, supporting
high-speed data ingestion and timely data query.
Please check out
Really excited to see the very first release of the flink-table-store!
Kudos to everyone who helped with this effort!
Cheers,
Jiangjie (Becket) Qin
On Wed, May 11, 2022 at 1:55 PM Jingsong Lee
wrote:
> The Apache Flink community is very happy to announce the release of Apache
> Flink
The Apache Flink community is very happy to announce the release of Apache
Flink Table Store 0.1.0.
Apache Flink Table Store provides storage for building dynamic tables for
both stream and batch processing in Flink, supporting high speed data
ingestion and timely data query.
Please check out
??
-- --
??:
"user-zh"
;) WITH (\n" +
"'connector' = 'datagen',\n" +
"'fields.word.length' = '1'\n" +
");");
tenv.executeSql("INSERT INTO word_count SELECT word, COUNT(*) FROM
word_table GROUP BY word;");
}
}
flink1.15
flink-table-store-dist-0.2
flink-shaded-hadoop-2-uber-2.4.1-10.0
;) WITH (\n" +
"'connector' = 'datagen',\n" +
"'fields.word.length' = '1'\n" +
");");
tenv.executeSql("INSERT INTO word_count SELECT word, COUNT(*) FROM
word_table GROUP BY word;");
}
}
flink1.15
flink-table-store-dist-0.2
flink-shaded-hadoop-2-uber-2.4.1-10.0
-- set root path to session config SET 'table-store.path' = '/tmp/table_store';
??flink??config
table sql ??demosql cli
??
-- --
??:
哈喽，感谢你的关注
Tison是对的，Table Store是一个库。我们目前并没有发布maven依赖。
目前你可以有两种方式来调试：
1.在Table Store的工程里调试
2.在拿到flink-table-store-dist下的 pre bundled jar，放到你工程的classpath下来调试
入口类的话是通过SQL的方式：
TableEnvironment.executeSql("CREATE TABLE XX (...)");
当classpath下包含 table store 的 jar 时，会服务发现到 TableStore 的 fa
Flink Table Store 不是应用，而是库。我理解是要配合 Flink
来使用的，断点调试的话，看你的需求，如果只是对一段代码有疑问，跑测试打断点就行了。
Best,
tison.
陈卓宇 <2572805...@qq.com.invalid> 于2022年4月24日周日 09:59写道：
> 您好大佬：
> 我对Flink Table
> Store非常感兴趣，想请教您一下怎么结合flink做断点调试，因为看了一下没有找到入口类
>
> 陈卓宇
>
>
>
??
Flink Table
Storeflink??
??
@tison
https://nightlies.apache.org/flink/flink-table-store-docs-release-0.1/docs/try-table-store/quick-start/
<https://nightlies.apache.org/flink/flink-table-store-docs-release-0.1/docs/try-table-store/quick-start/>
Best,
Paul Lam
> 2022年4月7日 15:05，tison 写道：
>
> 我有点好奇官网看
我有点好奇官网看到的链接在哪，能不能来个链接捏。
Best,
tison.
Leonard Xu 于2022年4月7日周四 14:47写道：
>
> 项目是开源的[1], 最近快要发布第一个版本了，可以关注下
>
> Best,
> Leonard
> [1] https://github.com/apache/flink-table-store <
> https://github.com/apache/flink-table-store>
>
>
>
> > 2022年4月7日 上午9:
项目是开源的[1], 最近快要发布第一个版本了，可以关注下
Best,
Leonard
[1] https://github.com/apache/flink-table-store
<https://github.com/apache/flink-table-store>
> 2022年4月7日 上午9:54，Xianxun Ye 写道：
>
> 这里有 flink table store 的设计文档，你可以了解下。
> https://cwiki.apache.org/confluence/display/FLINK/FLI
这里有 flink table store 的设计文档，你可以了解下。
https://cwiki.apache.org/confluence/display/FLINK/FLIP-188%3A+Introduce+Built-in+Dynamic+Table+Storage
Best regards,
Xianxun
On 04/6/2022 16:56，LuNing Wang wrote：
Hi,
Table store是存储，应和数据湖类似
Best,
LuNing Wang
yidan zhao 于2022年4月6日周三 16:55写道：
看官网出来个
Hi,
Table store是存储，应和数据湖类似
Best,
LuNing Wang
yidan zhao 于2022年4月6日周三 16:55写道：
> 看官网出来个 flink table store，和 flink table、flink sql 那一套有啥区别呢？
>
看官网出来个 flink table store，和 flink table、flink sql 那一套有啥区别呢？
好的 谢谢答疑 我这边尝试把时间字段设置成processTime的时候就好使了 抽空是看看源码分析下
在 2021年8月4日 21:01，Shengkai Fang 写道：
我发现换成流模式下，这个问题就解了。批的模式下，应该不需要定义watermark。这里看样子是有一个 bug 存在的，建议去社区建一个jira。
yanyunpeng 于2021年8月4日周三 下午5:42写道： > Exception in
thread "main" org.apache.flink.table.api.ValidationException: > Ordering must
be
我发现换成流模式下，这个问题就解了。批的模式下，应该不需要定义watermark。这里看样子是有一个 bug 存在的，建议去社区建一个jira。
yanyunpeng 于2021年8月4日周三 下午5:42写道：
> Exception in thread "main" org.apache.flink.table.api.ValidationException:
> Ordering must be defined on a time attribute.
> at
> org.apache.flink.table.planner.expressions.PlannerTypeInf
Exception in thread "main" org.apache.flink.table.api.ValidationException:
Ordering must be defined on a time attribute.
at
org.apache.flink.table.planner.expressions.PlannerTypeInferenceUtilImpl.validateArguments(PlannerTypeInferenceUtilImpl.java:111)
at
org.apache.flink.table.planner.expressio
能发一下具体的异常栈吗？是哪个版本？
yanyunpeng 于2021年8月4日周三 下午2:47写道：
> Table table = tableEnv
> .from("t_yyp_test")
> .window(Over.partitionBy($("f_h"), $("f_l"), $("f_j"))
> .orderBy($("f_time"))
> .preceding("unbounded_range")
> .following(CURRENT_RANGE)
> .as("w"))
> .select($("f_value"),
> $("f_h"),
Table table = tableEnv
.from("t_yyp_test")
.window(Over.partitionBy($("f_h"), $("f_l"), $("f_j"))
.orderBy($("f_time"))
.preceding("unbounded_range")
.following(CURRENT_RANGE)
.as("w"))
.select($("f_value"),
$("f_h"),
$("f_l"),
$("f_j"),
$("f_value").avg().over($("w")),
$("f_value").var
Hi！
order by 的字段是 f_time_bak，但是 watermark 的字段是 f_time，这两个不一致。
yanyunpeng 于2021年8月4日周三 下午2:30写道：
> 代码如下：
> EnvironmentSettings bbSettings =
> EnvironmentSettings.newInstance().useBlinkPlanner().inBatchMode().build();
> TableEnvironment tableEnv = TableEnvironment.create(bbSettings);
> ta
代码如下：
EnvironmentSettings bbSettings =
EnvironmentSettings.newInstance().useBlinkPlanner().inBatchMode().build();
TableEnvironment tableEnv = TableEnvironment.create(bbSettings);
tableEnv.executeSql("CREATE TABLE t_yyp_test (\n" +
" f_id INT,\n" +
" f_h STRING,\n"
背景：
source: kafka
flink 版本：1.10
avro版本：1.10.0
代码：
bsTableEnv.connect(new Kafka()
.version("universal")
.topic(params.get("read-topic"))
.startFromEarliest()
.properties(this.properties)
)
.withFormat(
大家好：
请问，因为当前flink sql或者flink table
中，不支持自定义的udf中使用有state的逻辑，所以，当我们自己任务中，如果统计需要聚集型指标的情况下，就不能用上flink
sql了，只能自己使用flink datastream去硬编码，请问，flink
sql中，能否有其他方式，可以调用我们自己定义的有state的udf，并且可以不让再解析执行的时候，多次出现呢？还是说，只能一个指标一个flink
job？
Hi Hailong Wang,
非常感谢您的回答，很好地解决了我的疑问。
经过代码测试，NOW()等函数返回值确实会实时更新。
Best，
Longdexin
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi Longdexin,
根据文档[1]描述，now 函数是非确定性的，意思是不会在 RelNode 优化阶段将其
常量折叠优化掉，所以这个函数是会不断更新的，并不是启动的时间，并且一直不变。
在自定义 UDF 时候，可以覆盖方法
`default boolean isDeterministic
` 来决定是确定性的还是非确定性的，默认是true。
[1]https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/functions/systemFunctions.html#temporal-fu
请问，当流应用运行起来后，随着时间的推移，比如，到第二天了，SQL中的NOW()会随着处理时间不断更新，从而保证处理逻辑的正确性吗？在我的理解中，在流应用启动的那一刻，NOW()的值就确定了，以后也不会再改变了，那么，使用什么方式可以让SQL中的时间比较逻辑与时俱进呢？非常感谢。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hi、
是的，类型部分不匹配，类型改完之后程序运行正常了，感谢
hailongwang <18868816...@163.com> 于2020年10月20日周二 下午4:13写道：
> Hi,
> 我看其中一个 condition 是 `t1.uid = t2.refer_id`
> 其中 uid 是 bigint 类型，refer_id 是 varchar 类型。
> 你再确认下？
>
>
> Best,
> Hailong Wang
>
>
>
>
> At 2020-10-20 08:55:34, "Dream-底限" wrote:
> >hi、
> >我查看了一下，join
Hi,
我看其中一个 condition 是 `t1.uid = t2.refer_id`
其中 uid 是 bigint 类型，refer_id 是 varchar 类型。
你再确认下？
Best,
Hailong Wang
At 2020-10-20 08:55:34, "Dream-底限" wrote:
>hi、
>我查看了一下，join条件类型是一样的，我这面下游sink使用jdbc时候是可以运行的，但是转换为datastream时候失败了，下面是程序及异常：
>
>streamTableEnv.executeSql(kafkaDDL);//ddl语句见下面日志
>
hi、
我查看了一下，join条件类型是一样的，我这面下游sink使用jdbc时候是可以运行的，但是转换为datastream时候失败了，下面是程序及异常：
streamTableEnv.executeSql(kafkaDDL);//ddl语句见下面日志
Table table = streamTableEnv.sqlQuery("SELECT cast(t1.id as bigint) as
register_id,cast(t1.uid as bigint) as asi_uid,cast(null as bigint) as
person_uuid,cast(t1.app_id
hi、我这面正在将flinktable转换为datastream，现在抛出如下异常，貌似是个bug。。。
table.printSchema();
streamTableEnv.toRetractStream(table,
Types.ROW(TypeConversions.fromDataTypeToLegacyInfo(table.getSchema().getFieldDataTypes(.print();
root
|-- register_id: BIGINT
|-- asi_uid: BIGINT
|-- person_uuid: BIGINT
|-- a
???
???
-- --
??:
"user-zh"
Hi,all:
Table api??sqljoin"."???
??
Exception in thread "main" org.apache.flink.table.api.SqlParserException: SQL
parse failed. Encountered "." at line 1, column 36.
Was expecting one of:
Hi Xingbo Huang
我试一下，非常感谢
在 2020-09-29 13:53:02，"Xingbo Huang" 写道：
>Hi XiaChang
>
>你可以在flink-table目录下执行打包命令。然后flink-table-uber-blink的target目录下生成的flink-table-uber-blink_2.11-1.12-SNAPSHOT.jar这个包就是你要的flink-table-blink_2.11-1.12-SNAPSHOT.jar
>
>Best,
>Xingbo
>
Hi XiaChang
你可以在flink-table目录下执行打包命令。然后flink-table-uber-blink的target目录下生成的flink-table-uber-blink_2.11-1.12-SNAPSHOT.jar这个包就是你要的flink-table-blink_2.11-1.12-SNAPSHOT.jar
Best,
Xingbo
zilong xiao 于2020年9月29日周二 上午11:56写道：
> Hi XiaChang
>
>
> 你可以对整个Flink工程打包，然后在flink-dist/target/fli
Hi XiaChang
你可以对整个Flink工程打包，然后在flink-dist/target/flink-${version}-bin/flink-${version}/lib中找到，希望对你有帮助~
祝好
XiaChang <13628620...@163.com> 于2020年9月29日周二 上午10:46写道：
> 基于flink源码 如何编译打包生成flink-table-blink.jar
>
> 源码中，flink-table是多模块的，正常打包(mvn clean install -DskipTests
> -Dfast)
基于flink源码 如何编译打包生成flink-table-blink.jar
源码中，flink-table是多模块的，正常打包(mvn clean install -DskipTests
-Dfast)生成的是每个模块单独的jar，而不是flink-table-blink.jar
请问如何打包才能生成flink-table-blink.jar
',
> 'scan.startup.mode' = 'latest-offset',
> 'format' = 'canal-json');
>
> 这是kafka table option，
>
>
> 这是设置checkpoint了
>
> -- 原始邮件 --
> *发件人:* "user-zh" ;
> *发送时间:* 2020年9月9日(
1. 只支持指定顶层字段作为 rowtime，如果要使用 nested field 作为 rowtime，可以先使用计算列（仅在 DDL
上支持）生成顶层列。
2. Descriptor API 有很多问题，且缺失很多功能，不建议使用，建议使用 DDL。 Descriptor API 将在1.12 版本中重构。
Best,
Jark
On Thu, 17 Sep 2020 at 10:41, kylin wrote:
> flink版本1.7.2
>
> flink table api从kafka读取json数据，JsonSchema如下图所示
> 发
flink版本1.7.2
flink table api从kafka读取json数据，JsonSchema如下图所示
发现rowtime无法从子json中的字段指定，麻烦帮忙确认下rowtime是否只能从顶层的字段来指定？
tableEnv.connect(
new Kafka()
.version("0.10")
.topic(topic_in)
.property("bootstrap.servers", brokers)
.property("group.id", &quo
HI
> 在 2020年9月9日，16:37，marble.zh...@coinflex.com.invalid
> 写道：
>
> 如果某个message出现exception时
table的connector,
你用的format是什么？一般这种某条message解析异常引起的失败都是可以跳过，比如配置下json.ignore-parse-errors(json) 或
csv.ignore-parse-errors（csv）。
[1]
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/conn
具体是什么样的 exception？Kafka 的重连和 Task 重启是不同的事情。前者取决于 Kafka 的配置和异常的类型，后者取决于 Flink
的重启策略。
Best,
Paul Lam
> 2020年9月11日 11:42，marble.zh...@coinflex.com.invalid
> 写道：
>
> 自己顶一下， 有人给些建议吗？
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
自己顶一下， 有人给些建议吗？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
ectors/kafka.html#kafka-consumer-%E6%8F%90%E4%BA%A4-offset-%E7%9A%84%E8%A1%8C%E4%B8%BA%E9%85%8D%E7%BD%AE
> ?? 2020??9??916:24 <466792...@qq.com> ??
>
> ??kafka??flink
table??select??selectgroup
id??
%B8%BA%E9%85%8D%E7%BD%AE
> 在 2020年9月9日，16:24，凌天荣 <466792...@qq.com> 写道：
>
> 现有一张表基于kafka的flink
> table，我同时起两个任务对同一张表（这张表）进行select，得到的是分别每个任务得到一样的数据，也就是说每次select这个表，每次group
> id都不同吗？
你好。
当connector连接kafka，如果某个message出现exception时，task就停了， 没有自动重新连接， 看了kafka
connector的配置，没有这方面的设置，这个有什么重连机制吗？ Thanks.
--
Sent from: http://apache-flink.147419.n8.nabble.com/
??kafka??flink
table??select??selectgroup
id??
我觉得原因应该是 postgres 中在建表的时候，默认会把字段名转成小写的，所以你在 Flink SQL 这边也要声明成小写的。
你可以在postgres 中看一下表的字段信息。
Best,
Jark
On Fri, 7 Aug 2020 at 13:48, lgs <9925...@qq.com> wrote:
> schema是public
> 问题在这里：ERROR: column "recordid" of relation "alarm_history_data" does not
> exist
>
> 数据库表里面是“recordId”，这里的提示变成了“recordi
schema是public
问题在这里：ERROR: column "recordid" of relation "alarm_history_data" does not
exist
数据库表里面是“recordId”，这里的提示变成了“recordid”
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi，你的 alarm_history_data 表的 postgres 里面的 schema是 public 么？
如果不是的话，你需要显式地把 schema 名字声明到表名上，例如 schema 为 sch1，那么 FlinkSQL 里需要定义成
CREATE TABLE `sch1.alarm_history_data` (
...
) with (...);
select * from `sch1.alarm_history_data`;
Best,
Jark
On Tue, 4 Aug 2020 at 14:58, lgs <9925...@qq.com> wrote:
Hi，
postgres字段包含大小写。
postgres_sink = """
CREATE TABLE alarm_history_data (
`recordId` STRING,
`rowtime` TIMESTAMP(3),
`action` STRING,
`originalState`STRING,
`newState` STRING,
`originalCause`STRIN
1.??insert??checkg_sink_unit
2.kafkag_unit
就是没有数据，我这个是简化版本的，都切换为kafka的初始源是没问题的
--
Sent from: http://apache-flink.147419.n8.nabble.com/
你可以先只跑第一个insert，然后check一下g_sink_unit是否有数据。
另外，你可以把query 改为都读取 kafka_source_tab 再分别写到两个不同的sink：
sql1='''Insert into g_sink_unit select alarm_id,trck_id from
kafka_source_tab'''
sql2='''Insert into g_summary_base select alarm_id,trck_id from
kafka_source_tab;'''
小学生 <201782...@qq.com> 于2020年7月21日周
flink??g_unit()??kafka??g_unit??g_summary??g_line
from pyflink.datastream import StreamExecutionEnvironment, TimeCharacteristic,
CheckpointingMode
fro
ngyanan1...@foxmail.com
??
?????? 2020-07-21 16:38
user-zh
?? flink table??
flink??g_unit()??kafka??g_unit??g_summary??g_l
flink??g_unit()??kafka??g_unit??g_summary??g_line
from pyflink.datastream import StreamExecutionEnvironment, TimeCharacteristic,
CheckpointingMode
fro
flink??g_unit()??kafka??g_unit??g_summary??g_line
from pyflink.datastream import StreamExecutionEnvironment, TimeCharacteristic,
CheckpointingMode
fro
gt; >
> > > Hi 社区，
> > >
> > > 我现在正在迁移任务到 k8s ,目前版本为 Flink 1.6 版本，k8s 上面作业运行模式为 standalone per job.
> > >
> > > 现在遇到一个问题，业务方 Flink jar 任务使用了 org.apache.calcite.avatica 依赖，也就是下面依赖：
> > >
> > > org.apache.calcite.avat
he.calcite.avatica
> > avatica-core
> > ${avatica.version}
> >
> >
> > 但是这个依赖其实在 flink-table 模块中，也有这个依赖：
> > [image: image.png]
> >
> > 由于 flink on k8s standalone per job 模式，会把 Flink 任务 jar 包放入到 flink 本身的lib
> > 包中，我在任务启动的时候，就会
gt; 现在遇到一个问题，业务方 Flink jar 任务使用了 org.apache.calcite.avatica 依赖，也就是下面依赖：
>
> org.apache.calcite.avatica
> avatica-core
> ${avatica.version}
>
>
> 但是这个依赖其实在 flink-table 模块中，也有这个依赖：
> [image: image.png]
>
> 由于 flink on k8s sta
Hi 社区，
我现在正在迁移任务到 k8s ,目前版本为 Flink 1.6 版本，k8s 上面作业运行模式为 standalone per job.
现在遇到一个问题，业务方 Flink jar 任务使用了 org.apache.calcite.avatica 依赖，也就是下面依赖：
org.apache.calcite.avatica
avatica-core
${avatica.version}
但是这个依赖其实在 flink-table 模块中，也有这个依赖：
[image
flink??1.8.0
??flink table
??
tEnv.registerDataStream("t_data",dataStream,"f1-1");
??
org.apache.flink.table.api.TableException:
Field reference expression expected.
Hi，
> 如：select sum(distinct b,c) from orders group by a,w
sum function 的入参只能是一个，没太明白你的需求，如果是简单的去重，group by 所有需要去重的字段就可以去重：
.groupBy("a,b,c w")
.select("a, b, c”);
如果是group by分组还需要对非分组字段去重做聚合，那直接：
.groupBy("a, w")
.select("a, b.sum.distinct, c.sum.distinct”);
Best,
Leonard Xu
>
HI ALL，
Table groupByWindowDistinctResult = orders
.window(Tumble.over("5.minutes").on("rowtime").as("w"))
.groupBy("a, w")
.select("a, b.sum.distinct as d");
---
大佬们，flink-tablesink 实现与sql-cli结合有什么案例吗？
guaishushu1...@163.com
From: user-zh-digest-help
Date: 2020-05-21 21:45
To: user-zh
Subject: user-zh Digest 21 May 2020 13:45:23 - Issue 703
user-zh Digest 21 May 2020 13:45:23 - Issue 703
Topics (messages 3698 through 3702)
回å¤?：flinkå
Flink Table API Schema定义里面的 Types.SQL_TTIMESTAMP 类型用json表示的话一定要用
-MM-dd'T'HH:mm:ss.SSS'Z'表示吗？
示例程序如下：
StreamExecutionEnvironment env =
StreamExecutionEnvironment.getExecutionEnvironment();
env.setStreamTimeCharacteristic(TimeChar
共有 117 项搜索結果，以下是第 1 - 100 matches
Mail list logo
