Hi ,all:
I have a question about “kylin.dictionary.growing-enabled”, Can you tell me
the function of this parameter?
Thanks!
Hi,all
There is a business scenario is the detailed query. There are 45 metric for
design to “RAW”, one dimension and high base,but in “Rowkey” of “Advanced
Setting”,the Encoding is fixed._length,not dict.
But when build the cube, there are some errors in “#4 Step Name: Build
Dimension
Thank you ,I will have a try!
-邮件原件-
发件人: ShaoFeng Shi [mailto:shaofeng...@apache.org]
发送时间: 2017年7月3日 22:02
收件人: dev
主题: Re: How kylin2.0 open distributed build data dictionary
I think it is enabled by default:
kylin.engine.mr.build-dict-in-reducer=true
2017-07-03 14:03 GMT+08:00 仇同
Hi,all
Now,I’m using the version 0f kylin 2.0,so how kylin2.0 open distributed build
dictionary? Is itthat to configure a parameter in “kylin.properties”?
Thanks!
Hi ,all
The first step in cube merge, an error :
java.lang.RuntimeException: Too big dictionary, dictionary cannot be bigger
than 2GB
at
org.apache.kylin.dict.TrieDictionaryBuilder.buildTrieBytes(TrieDictionaryBuilder.java:421)
at
Hi,all
Building operation error on the of Step Name: Build Dimension Dictionary:
java.lang.RuntimeException: Failed to create dictionary on
DMT.DMT_KYLIN_JDMALL_ORDR_DTL_I_D.SALE_ORD_ID
at
org.apache.kylin.dict.DictionaryManager.buildDictionary(DictionaryManager.java:325)
here some threads about getting the right Date from Kylin
> http://apache-kylin.74782.x6.nabble.com/JDBC-query-result-
> Date-column-get-wrong-value-td5370.html
>
> 在 2016年12月8日 上午11:09，仇同心 <qiutong...@jd.com>写道：
>
> > 是的，构建好的segment进行SQL查询的时候，发现这些查询记录的时间也都是早了8小时
> &
，但是我还没有进行验证。
除此之外，我在对构建好的segment进行SQL查询的时候，发现这些查询记录的时间也都是早了8小时，不知道你有没有碰到这个问题？
在2016年12月8日 10:57， 仇同心<qiutong...@jd.com>写道：
我也遇到了一样的问题，cube的Last Build Time 是正确的：2016-12-08 10:48:37 GMT+8
但是segment的时间早8个小时：
Start Time: 2016-12-08 02:44:00
End Time: 2016-12-08 02:45:00
请问这个问题是kylin哪里造成
我也遇到了一样的问题，cube的Last Build Time 是正确的：2016-12-08 10:48:37 GMT+8
但是segment的时间早8个小时：
Start Time: 2016-12-08 02:44:00
End Time: 2016-12-08 02:45:00
请问这个问题是kylin哪里造成的？
发件人: 汪胜 [mailto:sky...@163.com]
发送时间: 2016年12月6日 21:17
收件人: dev
主题: Re: Kylin1.6.0流式Cube查询时间错误
你好，
非常感谢您的回答，但是我仍然有两个地方不太理解，望指教：
1
Hi ,all
I don’t understand the usage scenarios of EXTENDED_COLUMN,although I saw this
article “https://issues.apache.org/jira/browse/KYLIN-1313”.
What,s the means about parameters of “Host Column” and “Extended Column”? Why
use this expression,and what aspects of optimization that this
Hi,all
There is a cube optimization for help.
Cuhe has 15 dimensions, including 14 normal dimensions and 1 derived dimension,
and the cardinality of all dimensions is not high;And this cube also has 10
measures, including 1 count expression,2 sum expressions and 7 COUNT_DISTINCT
expressions,
Thanks!
发件人: Dong Li [mailto:lid...@apache.org]
发送时间: 2016年11月14日 18:13
收件人: dev@kylin.apache.org; u...@kylin.apache.org
主题: Re: About hybrid model of Kylin
Here’s the document about hybrid:
http://kylin.apache.org/blog/2015/09/25/hybrid-model/
Thanks,
Dong Li
Original Message
Sender: 仇同心
Hi ,all
When I designed a cube, and have built a period of time, if Iwant to modify
the cube dimensions or measurements, It is suggested to use hybrid mode:
Create a new cube, and then build back from now;Kylin has a hybrid model,
can put the new cube cube and history to make a
dictionary to do a string -> integer convertion.
To support ultra high cardinality, the "global dictionary" should be selected
as it has less memory footprint, which can support up to 2 billion
cardinality:
https://kylin.apache.org/blog/2016/08/01/count-distinct-in-kylin/
2016-11-10 14:35
大家好：
目前在构建cube时遇到问题：cube维度的基数不是很高，但是度量里的字段基数很高，Build Dimension
Dictionary就非常的占用本机内存，选取的度量的基数有千万、亿，甚至是十亿左右的，度量大多都是SUM，Count_distinct的精确计算。数据量是10个月的数据，我们是打算一次跑完10个月历史数据，然后在按日增跑作业。
服务器的内存配置为125G，#4 Step Name: Build Dimension Dictionary 会一直在跑很长时间，最后到导致内存溢出。
对于这种度量基数高的问题，有什么好的优化方案吗？
Hi,
The first step in the cube to merge, #1 Step Name: Merge Cuboid Dictionary
Error Log info:
2016-11-10 14:08:00,798 DEBUG [pool-7-thread-1] dict.DictionaryGenerator:91 :
Dictionary value samples: 10101001120172=>
479, 10101003212212=>480, 10101003812579=>481, 10101005033448=>482,
Hi,
The first step in the cube to merge, #1 Step Name: Merge Cuboid Dictionary
Error Log info:
2016-11-10 14:08:00,798 DEBUG [pool-7-thread-1] dict.DictionaryGenerator:91 :
Dictionary value samples: 10101001120172=>
479, 10101003212212=>480, 10101003812579=>481, 10101005033448=>482,
Hi,
Throw an exception information when using org.apache.kylin.storage.hbase.util
.CubeMigrationCLI migration cube, kylin version is kylin-1.5.4.1-HBase1.x.
2016-10-17 14:57:25,595 INFO [main CubeMigrationCLI:325]: Executing
operation: ADD_INTO_PROJECT:CUBE[name=testc], testc, test,
大家好：
目前在两台服务器上分别搭建了一个kylin servr,想做cube迁移。
能否用案例说明下kylin不同环境下cube迁移工具的参数说明
org.apache.kylin.storage.hbase.util.CubeMigrationCLI
特别是以下两个参数：
srcKylinConfigUri: The KylinConfig of the cube’s source
dstKylinConfigUri: The KylinConfig of the cube’s new home
谢谢！
大家好：
线上环境kylin 1.5.4.1版本，在cube详细页的SQL标签页报错，不能正常显示cube的sql语句，后台日志错误信息为：
ERROR [http-bio-8070-exec-2] controller.BasicController:44 :
java.lang.NullPointerException
at
org.apache.kylin.engine.EngineFactory.batchEngine(EngineFactory.java:44)
at
大家好：
今天在使用kylin1.5.4版本时，在同步hive元数据时报错：
Load Hive Table Metadata From Tree页面一直显示：Loading Databases.
错误信息打印在kylin.out文件
SEVERE: Servlet.service() for servlet [kylin] in context with path [/kylin]
threw exception [Handler processing failed;
nested exception is java.lang.NoClassDefFoundError:
非常感谢~
发件人: 赵天烁 [mailto:zhaotians...@meizu.com]
发送时间: 2016年9月12日 19:30
收件人: 仇同心; user; dev
主题: 回复: cube build error in "4 Step Name: Build Dimension Dictionary"
maybe is this issue ,already been solved at 1.5.4
https://issues.apache.org/jira/browse/KYLIN-1834
__
大家好：
在cube 构建的第四步：Build Dimension Dictionary 报错：
java.lang.IllegalArgumentException: Value not exists!
at
org.apache.kylin.common.util.Dictionary.getIdFromValueBytes(Dictionary.java:162)
at
org.apache.kylin.dict.TrieDictionary.getIdFromValueImpl(TrieDictionary.java:167)
大家好：
升级到1.5.3版本后，启动kylin，登录时kylin.log文件没生成，在kylin.out文件里报错：
INFO: Initializing log4j from [classpath:kylin-server-log4j.properties]
Aug 02, 2016 2:26:53 PM org.apache.catalina.core.StandardContext listenerStart
SEVERE: Exception sending context initialized event to listener instance of
class
we know; from Day to Month, it need
aggregate 30 times data in memory to result set; For Quarter it need more; So
when the measure is "memory-hungry" measure (like distinct count, raw, top-n),
it is likely to get the out of memory error; you can try to define "month" and
"
大家好：
目前在kylin的使用过程中遇到以下一个问题：
Cube构建时，开始时间设置为：2016-06-27 00:00:00结束时间为：2016-06-27 16:00:00
这样build 任务时，第一步从hive 抽取数据时where 条件是 >=2016-06-27 and <2016-06-27
导致没有抽取到数据，最后保存的hbase里也只是一个空表而已。
为了预计算27号的数据，也build另一个job, 开始时间设置为：2016-06-27 16:00:00结束时间为：2016-06-28
00:00:00
这样build 任务时，第一步从hive
p./bin/metastore.sh reset./bin/metastore.sh
> restore $KYLIN_HOME/meta_backups/meta__xx_xx_xx_xx_xx
>
>
> ------ 原始邮件 --
> 发件人: "仇同心";<qiutong...@jd.com>;
> 发送时间: 2016年6月30日(星期四) 下午2:18
> 收件人: "u...@kylin.apache.org"<u...@k
count" measures, are they HyperLogLog counter or
Bitmap counter?
2016-06-30 18:09 GMT+08:00 仇同心 <qiutong...@jd.com>:
> 大家好：
> Kylin查询时报超时异常,sql是：
> select b.dim_month_name,sum(a.ordr_amt) as 订单金额,
> sum(a.pay_amt) as 支付金额,count(*) as 订单数,
> count(distinct
大家好：
Kylin查询时报超时异常,sql是：
select b.dim_month_name,sum(a.ordr_amt) as 订单金额,
sum(a.pay_amt) as 支付金额,count(*) as 订单数,
count(distinct a.user_pin)as 用户数,count(distinct a.is_new) as 新用户数
from dmt.dmt_mem_vip_tx_ordr_det_i_d a
left join dim.dim_day b on a.pay_time=b.dim_day_txdate
left join
大家好：
Kylin查询时报超时异常,sql是：
select b.dim_month_name,sum(a.ordr_amt) as 订单金额,
sum(a.pay_amt) as 支付金额,count(*) as 订单数,
count(distinct a.user_pin)as 用户数,count(distinct a.is_new) as 新用户数
from dmt.dmt_mem_vip_tx_ordr_det_i_d a
left join dim.dim_day b on a.pay_time=b.dim_day_txdate
left join
大家好：
Kylin查询时报超时异常,sql是：
select b.dim_month_name,sum(a.ordr_amt) as 订单金额,
sum(a.pay_amt) as 支付金额,count(*) as 订单数,
count(distinct a.user_pin)as 用户数,count(distinct a.is_new) as 新用户数
from dmt.dmt_mem_vip_tx_ordr_det_i_d a
left join dim.dim_day b on a.pay_time=b.dim_day_txdate
left join
大家好：
在cubes list页面drop掉某些cube后，为啥每次loadAllCubeInstance时报错
2016-06-30 10:47:19,773 ERROR [localhost-startStop-1] cube.CubeManager:862 :
Error during load cube instance /cube/cube1
.json
java.lang.IllegalStateException: CubeInstance desc not found 'CUBE1', at
/cube/cube1.json
at
大家好：
在cubes list页面drop掉某些cube后，为啥每次loadAllCubeInstance时报错
2016-06-30 10:47:19,773 ERROR [localhost-startStop-1] cube.CubeManager:862 :
Error during load cube instance /cube/cube1
.json
java.lang.IllegalStateException: CubeInstance desc not found 'CUBE1', at
/cube/cube1.json
at
大家好：
用kylin的JDBC查询，查询条件是date类型的，但是查询不出数据，以下是代码：
driver = (Driver)
Class.forName("org.apache.kylin.jdbc.Driver").newInstance();
Properties info = new Properties();
info.put("user", "ADMIN");
info.put("password", "KYLIN");
conn =
大家好：
用kylin的JDBC查询，查询条件是date类型的，但是查询不出数据，以下是代码：
driver = (Driver)
Class.forName("org.apache.kylin.jdbc.Driver").newInstance();
Properties info = new Properties();
info.put("user", "ADMIN");
info.put("password", "KYLIN");
conn =
您好：
Hash值是否会出现重复呢？
谢谢！
发件人: Weatherpop [mailto:623891...@qq.com]
发送时间: 2016年6月21日 15:11
收件人: u...@kylin.apache.org; dev@kylin.apache.org
主题: 回复：DISTINCT_COUNT精确计算问题
可以自己做一张映射表，把值hash成int后就可以用精确的count distinct了
我们这边目前实践暂时是这样的
-- 原始邮件 --
发件人: "仇同心"
大家好：
Hive字段类型为varchar,字段内容也包含英文字母和中文，对这样的字段能否做DISTINCT_COUNT精确计算？如果不能，有什么好的建议吗？
谢谢！
大家好：
在cube构建时，根据cube 设计时，measure可以有不同的聚合函数。我想找到根据不同的聚合函数来做计算的源码，但是在
// Phase 3: Build Cube
addLayerCubingSteps(result, jobId, cuboidRootPath); // layer cubing, only
selected algorithm will execute
result.addTask(createInMemCubingStep(jobId, cuboidRootPath)); // inmem cubing,
only selected
Kylin crew:
“Extract Fact Table Distinct Columns”, In this step will often happen OOM,I
don't know what this step is doing, Can do a simple function description?
In this FactDistinctColumnsJob.class , Line 80 ,List columnsNeedDict
= cubeMgr.getAllDictColumnsOnFact(cubeDesc) : The method to
Kylin crew:
“Extract Fact Table Distinct Columns”, In this step will often happen OOM,I
don't know what this step is doing, Can do a simple function description?
In this FactDistinctColumnsJob.class , Line 80 ,List columnsNeedDict
= cubeMgr.getAllDictColumnsOnFact(cubeDesc) : The method to
-
赵天烁
Kevin Zhao
zhaotians...@meizu.com<mailto:zhaotians...@meizu.com>
珠海市魅族科技有限公司
MEIZU Technology Co., Ltd.
广东省珠海市科技创新海岸魅族科技楼
MEIZU Tech Bldg., Technology & Innovation Coast Zhuhai, 519085, Guangdong, China
meizu.com
发件人: 仇同心 [mailto:qiutong...@jd
您好：
由于根据公司项目使用需要，修改了部分js和html，但是这些修改的js和html要打到生产环境的哪个路径下？
在/kylin/tomcat/路径下没找到相关文件。
附件是相关js贴图。
[cid:image001.png@01D1C659.8536DFD0]
42 matches
Mail list logo
