Re: Cube 构建优化咨询

2016-11-11 Thread Luke Han
don't try to run such huge job one time, please run them one by one, for example, run 1 month data and then next one... Best Regards! - Luke Han 2016-11-10 14:54 GMT+08:00 仇同心 : > 大家好: > > 目前在构建cube时遇到问题:cube维度的基数不是很高,但是度量里的字段基数很高,Build Dimension

Cube 构建优化咨询

2016-11-09 Thread 仇同心
大家好: 目前在构建cube时遇到问题:cube维度的基数不是很高,但是度量里的字段基数很高,Build Dimension Dictionary就非常的占用本机内存,选取的度量的基数有千万、亿,甚至是十亿左右的,度量大多都是SUM,Count_distinct的精确计算。数据量是10个月的数据,我们是打算一次跑完10个月历史数据,然后在按日增跑作业。 服务器的内存配置为125G,#4 Step Name: Build Dimension Dictionary 会一直在跑很长时间,最后到导致内存溢出。 对于这种度量基数高的问题,有什么好的优化方案吗?