[
https://issues.apache.org/jira/browse/KYLIN-5062?page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel
]
star_dev updated KYLIN-5062:
----------------------------
Description:
将kylin配置如下:
kylin.env.hdfs-working-dir=s3://s3-hbase-bucket/kylin
kylin.storage.hbase.cluster-fs=s3://s3-hbase-bucket
kylin.source.hive.redistribute-flat-table=false
那么在cube构建中,每一个segment构建都会在s3://s3-hbase-bucket/kylin/kylin_metadata/下产生一个临时目录,目录名为kylin-uuid,该目录在segment构建成功后并没有清除,久而久之,此部分目录会占比大量S3存储,示意图如
有没有什么办法在segment构建成功后清除掉此临时目录?
was:
将kylin配置如下:
kylin.env.hdfs-working-dir=s3://s3-hbase-bucket/kylin
kylin.storage.hbase.cluster-fs=s3://s3-hbase-bucket
kylin.source.hive.redistribute-flat-table=false
那么在cube构建中,每一个segment构建都会在s3://s3-hbase-bucket/kylin/kylin_metadata/下产生一个临时目录,目录名为kylin-uuid,该目录在segment构建成功后并没有清除,久而久之,此部分目录会占比大量S3存储,如图
有没有什么办法在segment构建成功后清除掉此临时目录?
> 配置为S3的kylin.env.hdfs-working-dir目录下kylin_metadata子目录下有大量的cube构建临时目录
> -------------------------------------------------------------------
>
> Key: KYLIN-5062
> URL: https://issues.apache.org/jira/browse/KYLIN-5062
> Project: Kylin
> Issue Type: Bug
> Components: Job Engine
> Affects Versions: v3.1.1
> Reporter: star_dev
> Priority: Major
> Attachments: kylin-tmp-dir.png
>
>
> 将kylin配置如下:
> kylin.env.hdfs-working-dir=s3://s3-hbase-bucket/kylin
> kylin.storage.hbase.cluster-fs=s3://s3-hbase-bucket
> kylin.source.hive.redistribute-flat-table=false
>
> 那么在cube构建中,每一个segment构建都会在s3://s3-hbase-bucket/kylin/kylin_metadata/下产生一个临时目录,目录名为kylin-uuid,该目录在segment构建成功后并没有清除,久而久之,此部分目录会占比大量S3存储,示意图如
>
>
> 有没有什么办法在segment构建成功后清除掉此临时目录?
--
This message was sent by Atlassian Jira
(v8.3.4#803005)