??????Fiink-sql????????????????????????????
?? flink-table-runtime-blink # org.apache.flink.table.runtime.functions.SqlFunctionUtils ??demo -- -- ??: "??"
Fiink-sql的官方函数的代码哪里可以看到
Hi: 经常会用到flink-sql的内置函数，因为官方函数比自己写的UDF更加健壮，想学习下官方函数是怎么写的，请问在哪一块能看到这个代码呢？
Re:hive 进行 overwrite 合并数据后文件变大？
是不是数据重复了，如果是ORC格式可以尝试执行alter table table_name partition (pt_dt='2021-02-20') concatenate 语句进行小文件的合并。 -- Original -- From: "RS"; Date: 2022年2月22日(星期二) 上午9:36 To: "user-zh"; Subject: hive 进行 overwrite 合并数据后文件变大？ Hi， flink写hive任务，checkpoint周期配置的比较短，生成了很多小文件，一天一个目录， 然后我调用flink sql合并之前的数据，跑完之后，发现存储变大了，请教下这个是什么原因导致的？ 合并之前是很多小part文件，overwrite之后文件减少了，但是存储变大了，从274MB变大成2.9GB了？ hive表table1的分区字段是`date` insert overwrite aw_topic_compact select * from `table1` where `date`='2022-02-21'; 合并前： 514.0 M 1.5 G /user/hive/warehouse/ods.db/table1/date=2022-02-20 274.0 M 822.1 M /user/hive/warehouse/ods.db/table1/date=2022-02-21 48.1 M 144.2 M /user/hive/warehouse/ods.db/table1/date=2022-02-22 合并后： 514.0 M 1.5 G /user/hive/warehouse/ods.db/table1/date=2022-02-20 2.9 G 8.7 G /user/hive/warehouse/ods.db/table1/date=2022-02-21 47.6 M 142.9 M /user/hive/warehouse/ods.db/table1/date=2022-02-22
hive 进行 overwrite 合并数据后文件变大？
Hi， flink写hive任务，checkpoint周期配置的比较短，生成了很多小文件，一天一个目录， 然后我调用flink sql合并之前的数据，跑完之后，发现存储变大了，请教下这个是什么原因导致的？ 合并之前是很多小part文件，overwrite之后文件减少了，但是存储变大了，从274MB变大成2.9GB了？ hive表table1的分区字段是`date` insert overwrite aw_topic_compact select * from `table1` where `date`='2022-02-21'; 合并前： 514.0 M 1.5 G/user/hive/warehouse/ods.db/table1/date=2022-02-20 274.0 M 822.1 M /user/hive/warehouse/ods.db/table1/date=2022-02-21 48.1 M 144.2 M /user/hive/warehouse/ods.db/table1/date=2022-02-22 合并后： 514.0 M 1.5 G/user/hive/warehouse/ods.db/table1/date=2022-02-20 2.9 G8.7 G/user/hive/warehouse/ods.db/table1/date=2022-02-21 47.6 M 142.9 M /user/hive/warehouse/ods.db/table1/date=2022-02-22
????
????
退订
退订
