kylin expansion rate is too high

嗨，少峰 我在创建cube 的时候维度定义在14个维度，有层级关系的涉及到4个维度都已经做过优化，但是在计算完结果之后数据的膨胀率达到2% ，这么大的膨胀率对存储的消耗是非常浪费的。这个特别消耗存储是不可避免的实时还是我的cube 构建不合理？ 另外看到相关报道有说uber 线上用kylin 构建共60个维度的大cube ，这个是怎么做到的有什么指导性建议么？ 非常感谢。 -- E-mail: zeng.ya...@immomo.com

Re: [外部邮件] Create HTable：AccessDeniedException: Insufficient permissions namespace=default

可以看看这个 KYLIN-2846 https://issues.apache.org/jira/browse/KYLIN-2846 发件人: wanglb mailto:wanglb8...@qq.com>> 答复: user mailto:user@kylin.apache.org>> 日期: 2017年10月20日 星期五 下午1:55 至: user mailto:user@kylin.apache.org

Re: [外部邮件] Re: [外部邮件] Re: [外部邮件] 回复：kylin drop cube segment Htable 仍然存在

also support customized namespace. Thanks. 2017-10-18 20:37 GMT+08:00 曾耀武 mailto:zeng.ya...@immomo.com>>: Yeah I have checked it was a bug , because I used hbase namespace “kylin” with the patch "https://issues.apache.org/jira/secure/attachment/12885320/KYLIN-2846-001.patch” A

Re: [外部邮件] Re: [外部邮件] 回复：kylin drop cube segment Htable 仍然存在

k the output log of that command. It should say something. 在 2017年10月17日 下午3:39，yuyong.zhai mailto:yuyong.z...@ele.me>>写道： sh metastore.sh clean --delete true sh kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete true 原始邮件 发件人: 曾耀武mailto:zeng.ya...@immomo.com>>

Re: [外部邮件] 回复：kylin drop cube segment Htable 仍然存在

04 至: user mailto:user@kylin.apache.org>> 主题: [外部邮件] 回复：kylin drop cube segment Htable 仍然存在 cleanup storage http://kylin.apache.org/docs15/howto/howto_cleanup_storage.html 原始邮件 发件人: 曾耀武mailto:zeng.ya...@immomo.com>> 收件人: usermailto:user@kylin.apache.org>> 发送时间: 2017年10月17日(周二) 14:02

Re: [外部邮件] Map input splits are 0 bytes, something is wrong!

你的表输入数据为空，检查一下你需要计算的原始数据分区是否有数据。 发件人: "li...@fcyun.com" mailto:li...@fcyun.com>> 答复: user mailto:user@kylin.apache.org>> 日期: 2017年10月17日 星期二 下午2:06 至: user mailto:user@kylin.apache.org>> 主题: [外部邮件] Map input splits are 0 bytes, something is wrong! hi all, Have you ever s

kylin drop cube segment Htable 仍然存在

嗨，all ，在清理没用的cube （kylin2.1.0) 时，发现cube 被purge和drop 之后，对应的segment hbase 表仍然在 base中存在，只是在kylinmeta 表的里的元信息被清除， 这是我的特例还是为了数据安全特意让他存在， 只能人工删除相关的表呢？ Best regards

Re: [外部邮件] Re: FW: 建造cube 时报错，20个维度测试

7;s the current working-dir in kylin.properties? 在 2017年10月16日 下午6:55，曾耀武 mailto:zeng.ya...@immomo.com>>写道： 没编辑完整，抱歉， 代码在HbaseResourceStore里面做了判断 ， [cid:A3A95F86-6C8D-440C-B9CE-A56F9109F83B] 然后代码就走向检查了文件系统，报了上述错误。谁知道这是什么原因？该做什么配置么？ 发件人: MOMO mailto:zeng.ya...@immomo.com>> 日期: 2017年10

FW: 建造cube 时报错，20个维度测试

没编辑完整，抱歉， 代码在HbaseResourceStore里面做了判断 ， [cid:A3A95F86-6C8D-440C-B9CE-A56F9109F83B] 然后代码就走向检查了文件系统，报了上述错误。谁知道这是什么原因？该做什么配置么？ 发件人: MOMO mailto:zeng.ya...@immomo.com>> 日期: 2017年10月16日 星期一 下午6:50 至: user mailto:user@kylin.apache.org>> 主题: 建造cube 时报错，20个维度测试 请教个问题，在kylin2.1版本建造一个具有20个维度的cube 的时候，报了如下

建造cube 时报错，20个维度测试

请教个问题，在kylin2.1版本建造一个具有20个维度的cube 的时候，报了如下错误，在建造数量较少维度的时候，系统正常执行。看代码是在 java.lang.IllegalArgumentException: Wrong FS: hdfs://nameservice1/kylin/kylin-kylin_metadata/resources/cube_statistics/molive_pay_order_cube/9843c68a-d362-43fc-9c12-1b6bb9618dd9.seq, expected: hdfs://nameservice1:8020

Re: Build Dimension Dictionary timeout For Count-Distinct columns

嗨，少峰： 我使用kylin 1.6 版本，在测试 count-distinct 时有一个比较困扰的问题： 在用户级别达到4亿多的时候，我在计算uv 的时候kylin需要 对用户id 进行构建字典操作，官方说做全局字典的时候基数能达到20亿， 但是第四步在创建字典的时候好像是在本地执行的构建任务，特别消耗系统资源，cup 和内存几乎爆满。kylin 页面也没法访问，服务器的配置为推荐配置如下： KYLIN_JVM_SETTINGS="-Xms16g -Xmx16g -XX:MaxPermSize=512m -XX:NewSize=3g -XX:MaxNewSize=3g