Tumble Window某个时间区间没数据的问题

2020-12-12 文章 guoliubi...@foxmail.com
Flink 1.12.0版本,java代码做了如下处理 txnStream .window(TumblingEventTimeWindows.of(Time.seconds(3L))) .process(new NetValueAggregateFunction()) 在某个3秒的区间没有数据的话,就不会进入process的function里, 是否有什么配置可以让每3秒必定进process的function吗 guoliubi...@foxmail.com

Pandas UDF处理过的数据sink问题

2020-12-12 文章 Lucas
使用了1.12.0的flink,3.7的python。自定义了一个pandas的UDF,定义大概如下 @udf(input_types=[DataTypes.STRING(), DataTypes.FLOAT()], result_type=DataTypes.ROW( [DataTypes.FIELD('buyQtl', DataTypes.BIGINT()), DataTypes.FIELD('aveBuy', DataTypes.INT())), func_type='pandas') def orderCalc(code,

flink-shaded-hadoop-2-uber*-* 版本确定问题

2020-12-12 文章 Jacob
请问在升级flink版本的过程中,需要在flink/lib里面引入该包,但该包的版本号如何确定? flink-shaded-hadoop-2-uber*-* -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink 1.10.0 on yarn 提交job失败

2020-12-12 文章 Jacob
Hello, 请问在flink 1.10.0 on yarn提交job出现此问题是什么原因,hadoop jar包依赖吗?该程序在1.10以下的版本均可运行,在1.10.0无法提交。 谢谢! [jacob@hadoop001 bin]$ ./yarn logs -applicationId application_1603495749855_57650 20/12/11 18:52:55 INFO client.RMProxy: Connecting to R

Over window的watermark没有触发计算(附完整代码),谢谢

2020-12-12 文章 Appleyuchi
代码是: https://paste.ubuntu.com/p/GTgGhhcjyZ/ 文档是: https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/tableApi.html#group-windows 中的 Over Window Aggregation 代码bug free 但是无法输出,求助,谢谢

tEnv.executeSql(query).print() 这样不能成功消费kafka的数据

2020-12-12 文章 jy l
Hi: 我Flink消费kafka的数据,我创建一张表如下: val kafkaSource = """ |create table kafka_order( |order_id string, |order_price decimal(10,2), |order_time timestamp(3) |) |with( |'connector' = 'kafka', |'topic' = 'iceberg.order', |'prope