flink1.17.1版本 flink sql多表关联优化
请问下多个表关联,这种flink sql如何优化呢,直接关联优点跑不动RuntimeExecutionMode.STREAMING 模式 select date_format(a.create_time, '-MM-dd HH:mm:ss') as create_time, b.vehicle_code, a.item_name, a.item_value, c.item_value as vehicle_score, d.current_fault, e.history_fault, f.late_mileage, g.fault_level_event_count, h.current_fault_subsystem, i.history_fault_subsystem from fault_record_subsystem a join mtr_vehicle_use b on a.vehicle_id = b.vehicle_id join fault_record_vehicle c on a.vehicle_id = c.vehicle_id join fault_record_current_count d on a.vehicle_id = d.vehicle_id join fault_record_history_count e on a.vehicle_id = e.vehicle_id join vehicle_usage_score f on a.vehicle_id = f.vehicle_id join fault_record_level_event_count g on a.vehicle_id = g.vehicle_id join fault_record_current_count_subsystem h on a.vehicle_id = h.vehicle_id and a.item_name = h.item_name join fault_record_history_count_subsystem i on a.vehicle_id = i.vehicle_id and a.item_name = i.item_name
Re: 作业full gc 很严重
GC日志看GC原因 2278179732 <2278179...@qq.com.invalid> 于2023年8月3日周四 13:59写道: > > 大家好,请问下作业跑一段时间就会偶发出现背压,full gc看着很严重,有什么好的工具排查下吗?或者经验文档?谢谢!
Re: flink1.17.1版本 flink sql多表关联优化
Regular Join 默认把数据都存储在State中,通常会结合TTL来进行优化 guanyq 于2023年8月3日周四 15:59写道: > 请问下多个表关联,这种flink sql如何优化呢,直接关联优点跑不动RuntimeExecutionMode.STREAMING 模式 > > select > date_format(a.create_time, '-MM-dd HH:mm:ss') as create_time, > b.vehicle_code, > a.item_name, > a.item_value, > c.item_value as vehicle_score, > d.current_fault, > e.history_fault, > f.late_mileage, > g.fault_level_event_count, > h.current_fault_subsystem, > i.history_fault_subsystem > from fault_record_subsystem a > join mtr_vehicle_use b on a.vehicle_id = b.vehicle_id > join fault_record_vehicle c on a.vehicle_id = c.vehicle_id > join fault_record_current_count d on a.vehicle_id = d.vehicle_id > join fault_record_history_count e on a.vehicle_id = e.vehicle_id > join vehicle_usage_score f on a.vehicle_id = f.vehicle_id > join fault_record_level_event_count g on a.vehicle_id = g.vehicle_id > join fault_record_current_count_subsystem h on a.vehicle_id = h.vehicle_id > and a.item_name = h.item_name > join fault_record_history_count_subsystem i on a.vehicle_id = i.vehicle_id > and a.item_name = i.item_name
Re: 作业full gc 很严重
Hi, 一般需要确认一下是哪块引起的fullgc,比如metaspace还是堆内存过大导致的。如果是堆内存过大导致的,可以将内存dump下来,用一些分析工具例如mat、visualvm等具体查看一下哪些对象占比比较多,是否存在内存泄漏等原因 Best, Shammon FY On Fri, Aug 4, 2023 at 10:00 AM yidan zhao wrote: > GC日志看GC原因 > > 2278179732 <2278179...@qq.com.invalid> 于2023年8月3日周四 13:59写道: > > > > 大家好,请问下作业跑一段时间就会偶发出现背压,full gc看着很严重,有什么好的工具排查下吗?或者经验文档?谢谢! >