zjawj-123321 commented on issue #13090:
URL: https://github.com/apache/hudi/issues/13090#issuecomment-2816492997
开启/优化索引
Hudi spark 参数示例（推荐使用 Metadata Table Index）：
shell
--hoodie.metadata.enable=true
--hoodie.index.type=BUCKET
--hoodie.index.bucket.engine=CONSISTENT_HASHING
或尝试 Hudi 0.12+ 的 HFile Index 进行主键查找加速。
批次按分区拆分
输入数据先分组 by event_date，每次只 upsert 一到两天的数据。
定期合并小文件
使用 Hudi compaction/spark job，设置合并频率和目标文件大小。
shell
--hoodie.parquet.small.file.limit=134217728 # 128MB
写前去重
在 Spark 写入前：
scala
df = df.dropDuplicates("timestamp", "eventId", "skuNumber")
监控指标
监控表层级的文件数量、分区数据分布、索引查找时间、shuffle spill/GC 情况。
更多：https://code.mayoubang.cn/conversion/share/22805143081
--
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.
To unsubscribe, e-mail: [email protected]
For queries about this service, please contact Infrastructure at:
[email protected]
