你好:
1. 实时通过读KAFKA,然后将数据写入了hive,建一张hive表,format 是 Parquet,是按天、小时、分钟来分区;
2. 通过实时 Pipeline 的手段消费 Hive Table 报java.lang.ArrayIndexOutOfBoundsException: -1
在flink sql client下:
1)直接select 所有字段,是没有问题,可以正常读出所有数据。
执行: select *
from ubtCatalog.ubtHive.event_all_dwd
/*+ OPTIONS('streamin
??,watermarks
kafka??
samuel@ubtrobot.com
?? 2020-09-03 09:23
user-zh
?? :
??
??Flink1.11.1??
package
您好,谢谢回复! 这个窗口在flink1.11.1里是关闭不了,要等下一个时间窗的一条数据来了才会触发。
发件人: taochanglian
发送时间: 2020-09-03 10:35
收件人: user-zh; samuel@ubtrobot.com
主题: Re: 请指教一个关于时间窗的问题,非常感谢!
没有问题的,时间窗口是左闭右开,你的窗口按照org.apache.flink.streaming.api.windowing.windows.TimeWindow按照
getWindowStartWithOffset方法的定义,应该是17-18的窗口,但是应该不是2020
entid = eventid;
}
public long getCnt() {
return cnt;
}
public void setCnt(long cnt) {
this.cnt = cnt;
}
public Timestamp getStime(){
return stime;
}
public void setStime(Timestamp stime){
this.stime = stime;
}
public Timestamp getEtime(){
return etime;
}
public void setEtime(Timestamp etime){
flink SQL,tumble
window
//eventtime??watermark
DataStream> withTimestampsAndWatermarksDS =
singleDS.assignTimestampsAndWatermarks(
WatermarkStrategy
.>forBoundedOutOfOrderne
flink
,??
??mysql??json
{"times":5} ---5??
{"temperature": 80} ---80
大家好,有哪位大神有现成的包,非常感谢!
flink-connector-elasticsearch7_2.11
深圳市优必选科技股份有限公司 | 平台软件部
邱钺 Samuel Qiu
手机/微信: +0086 150 1356 8368
Email: samuel@ubtrobot.com
UBTECH Robotics | www.ubtrobot.com
广东省深圳市南山区平山路鸿莱科创楼13栋3楼优必选
From: samuel@ubtrobot.com
Date: 2020-04-15 17:37
To: user-zh
Subject
在提交job后,发现不成功,这个问题要怎么解决?
版本:Flink1.10.0 elasticsearch:7.6.0
看了源码,确实是没这个类的:
Caused by: java.lang.NoClassDefFoundError:
org/apache/flink/elasticsearch7/shaded/org/elasticsearch/script/mustache/SearchTemplateRequest
at
org.apache.flink.streaming.connectors.elasticsearch7.Elasticsearch7ApiCall