[ 
https://issues.apache.org/jira/browse/KYLIN-5062?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel
 ]

star_dev updated KYLIN-5062:
----------------------------
    Description: 
将kylin配置如下:

kylin.env.hdfs-working-dir=s3://s3-hbase-bucket/kylin
 kylin.storage.hbase.cluster-fs=s3://s3-hbase-bucket

kylin.source.hive.redistribute-flat-table=false

 

那么在cube构建中,每一个segment构建都会在s3://s3-hbase-bucket/kylin/kylin_metadata/下产生一个临时目录,目录名为kylin-uuid,该目录在segment构建成功后并没有清除,久而久之,此部分目录会占比大量S3存储,示意图如

 

 

有没有什么办法在segment构建成功后清除掉此临时目录?

  was:
将kylin配置如下:

kylin.env.hdfs-working-dir=s3://s3-hbase-bucket/kylin
 kylin.storage.hbase.cluster-fs=s3://s3-hbase-bucket

kylin.source.hive.redistribute-flat-table=false

 

那么在cube构建中,每一个segment构建都会在s3://s3-hbase-bucket/kylin/kylin_metadata/下产生一个临时目录,目录名为kylin-uuid,该目录在segment构建成功后并没有清除,久而久之,此部分目录会占比大量S3存储,如图

 

 

有没有什么办法在segment构建成功后清除掉此临时目录?


> 配置为S3的kylin.env.hdfs-working-dir目录下kylin_metadata子目录下有大量的cube构建临时目录
> -------------------------------------------------------------------
>
>                 Key: KYLIN-5062
>                 URL: https://issues.apache.org/jira/browse/KYLIN-5062
>             Project: Kylin
>          Issue Type: Bug
>          Components: Job Engine
>    Affects Versions: v3.1.1
>            Reporter: star_dev
>            Priority: Major
>         Attachments: kylin-tmp-dir.png
>
>
> 将kylin配置如下:
> kylin.env.hdfs-working-dir=s3://s3-hbase-bucket/kylin
>  kylin.storage.hbase.cluster-fs=s3://s3-hbase-bucket
> kylin.source.hive.redistribute-flat-table=false
>  
> 那么在cube构建中,每一个segment构建都会在s3://s3-hbase-bucket/kylin/kylin_metadata/下产生一个临时目录,目录名为kylin-uuid,该目录在segment构建成功后并没有清除,久而久之,此部分目录会占比大量S3存储,示意图如
>  
>  
> 有没有什么办法在segment构建成功后清除掉此临时目录?



--
This message was sent by Atlassian Jira
(v8.3.4#803005)

Reply via email to