don't try to run such huge job one time, please run them one by one, for
example, run 1 month data and then next one...
Best Regards!
-
Luke Han
2016-11-10 14:54 GMT+08:00 仇同心 :
> 大家好:
>
> 目前在构建cube时遇到问题:cube维度的基数不是很高,但是度量里的字段基数很高,Build Dimension
大家好:
目前在构建cube时遇到问题:cube维度的基数不是很高,但是度量里的字段基数很高,Build Dimension
Dictionary就非常的占用本机内存,选取的度量的基数有千万、亿,甚至是十亿左右的,度量大多都是SUM,Count_distinct的精确计算。数据量是10个月的数据,我们是打算一次跑完10个月历史数据,然后在按日增跑作业。
服务器的内存配置为125G,#4 Step Name: Build Dimension Dictionary 会一直在跑很长时间,最后到导致内存溢出。
对于这种度量基数高的问题,有什么好的优化方案吗?