Re: [PR] add docs k8s operator deploy on cloud platform [doris-website]

2025-02-05 Thread via GitHub


KassieZ merged PR #1815:
URL: https://github.com/apache/doris-website/pull/1815


-- 
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.

To unsubscribe, e-mail: commits-unsubscr...@doris.apache.org

For queries about this service, please contact Infrastructure at:
us...@infra.apache.org


-
To unsubscribe, e-mail: commits-unsubscr...@doris.apache.org
For additional commands, e-mail: commits-h...@doris.apache.org



Re: [PR] add docs k8s operator deploy on cloud platform [doris-website]

2025-02-05 Thread via GitHub


KassieZ commented on code in PR #1815:
URL: https://github.com/apache/doris-website/pull/1815#discussion_r1926781497


##
docs/ecosystem/doris-operator/doris-operator-overview.md:
##
@@ -0,0 +1,105 @@
+---
+{
+  "title": "Doris Kubernetes Operator",
+  "language": "en"
+}
+---
+
+
+
+为满足用户在 Kubernetes 平台上对 Doris 的高效部署和运维需求诞生的 [Kubernetes 
Operator](https://github.com/apache/doris-operator)(简称:Doris Operator),

Review Comment:
   中文内容出现在了英文文档中



-- 
This is an automated message from the Apache Git Service.
To respond to the message, please log on to GitHub and use the
URL above to go to the specific comment.

To unsubscribe, e-mail: commits-unsubscr...@doris.apache.org

For queries about this service, please contact Infrastructure at:
us...@infra.apache.org


-
To unsubscribe, e-mail: commits-unsubscr...@doris.apache.org
For additional commands, e-mail: commits-h...@doris.apache.org



Re: [PR] add docs k8s operator deploy on cloud platform [doris-website]

2025-01-21 Thread via GitHub


KassieZ commented on code in PR #1815:
URL: https://github.com/apache/doris-website/pull/1815#discussion_r1924748100


##
docs/install/cluster-deployment/k8s-deploy/install-on-cloud.md:
##
@@ -0,0 +1,212 @@
+---
+{
+"title": "Deploy on cloud platform",

Review Comment:
   Title 是否需要换



##
i18n/zh-CN/docusaurus-plugin-content-docs/current/install/cluster-deployment/k8s-deploy/install-on-cloud.md:
##
@@ -0,0 +1,209 @@
+---
+{
+"title": "在云平台部署",
+"language": "zh-CN"
+}
+---
+
+
+
+Doris-operator 开发按照标准的 K8s 规范进行,兼容所有标准 K8s 平台,包含主流云厂商提供的和基于标准自建的 K8s 
平台。本文主要提供在主流云厂商的容器化服务平台上,Doris-operator 使用的注意事项和一些使用建议。后续会更新更多云厂商及其产品的文档。

Review Comment:
   Doris-operator 还是 doris-operator



##
i18n/zh-CN/docusaurus-plugin-content-docs/current/install/cluster-deployment/k8s-deploy/install-on-cloud.md:
##
@@ -0,0 +1,209 @@
+---
+{
+"title": "在云平台部署",

Review Comment:
   Title 是否需要换



##
i18n/zh-CN/docusaurus-plugin-content-docs/current/install/cluster-deployment/k8s-deploy/install-on-cloud.md:
##
@@ -0,0 +1,209 @@
+---
+{
+"title": "在云平台部署",
+"language": "zh-CN"
+}
+---
+
+
+
+Doris-operator 开发按照标准的 K8s 规范进行,兼容所有标准 K8s 平台,包含主流云厂商提供的和基于标准自建的 K8s 
平台。本文主要提供在主流云厂商的容器化服务平台上,Doris-operator 使用的注意事项和一些使用建议。后续会更新更多云厂商及其产品的文档。
+
+## 阿里云容器服务 ACK
+
+阿里云容器服务 ACK 属于 购买 ECS 实例后,托管容器化服务的,因此可以获得完全访问控制权限来进行相关系统参数调整,使用实例镜像:Alibaba 
Cloud Linux 3 当前系统参数完全满足运行 Doris 需求。不符合要求的也能够通过 K8s 特权模式在容器内进行修正,以保证稳定运行。  
+**阿里云ACK集群,使用 doris-operator 部署,大部分环境要求,ECS默认配置即可满足,未满足的,doris-operator 
可自行修正**。 用户亦可手动修正, 如下:  
+
+### 已存在集群  
+
+若容器服务集群已经创建,则可以参考此文档进行修改:[操作系统检查](../../preparation/os-checking)
+重点关注 BE 启动参数要求:  
+1. 禁用和关闭 swap : `swapon --show`  未开启则无输出
+2. 查看系统最大打开文件句柄数 `ulimit -n`
+3. 查看修改虚拟内存区域数量  `sysctl vm.max_map_count`
+4. 透明大页是否关闭  `cat /sys/kernel/mm/transparent_hugepage/enabled`  是否包含 never
+对应参数的默认值如下:  
+ ```shell
+[root@iZj6c12a1czxk5oer9rbp8Z ~]# swapon --show
+[root@iZj6c12a1czxk5oer9rbp8Z ~]# ulimit -n
+65535
+[root@iZj6c12a1czxk5oer9rbp8Z ~]# sysctl vm.max_map_count
+vm.max_map_count = 262144
+[root@iZj6c12a1czxk5oer9rbp8Z ~]# cat 
/sys/kernel/mm/transparent_hugepage/enabled
+[always] madvise never
+```  
+
+### 新建集群  
+若集群未购买和创建,则可以在阿里云 容器服务 ACK 控制台 点击 “创建集群” 购买,可以按需调整配置,上述参数可以在 创建集群的 “节点池配置” 
步骤中在 “实例预自定义数据” 添加系统调整脚本。
+在集群启动后,重启节点即可实现配置完成。参考脚本如下:  
+```shell
+#!/bin/bash
+chmod +x /etc/rc.d/rc.local
+echo "sudo systemctl stop firewalld.service" >> /etc/rc.d/rc.local
+echo "sudo systemctl disable firewalld.service" >> /etc/rc.d/rc.local
+echo "sysctl -w vm.max_map_count=200" >> /etc/rc.d/rc.local
+echo "swapoff -a" >> /etc/rc.d/rc.local
+current_limit=$(ulimit -n)
+desired_limit=100
+config_file="/etc/security/limits.conf"
+ if [ "$current_limit" -ne "$desired_limit" ]; then
+echo "* soft nofile 100" >> "$config_file"
+echo "* hard nofile 100" >> "$config_file"
+fi
+```
+
+## 阿里云容器服务 ACS
+
+ACS 服务是以 K8s 为使用界面供给容器算力资源的云计算服务,提供按需计费的弹性算力资源。和上述 ACK 不同的是不需要关注具体使用 ECS。
+需要注意使用ACS的事项如下:
+
+### 镜像仓库访问  
+
+使用 ACS 推荐使用配套的阿里云镜像[仓库服务]( 
https://cr.console.aliyun.com/cn-hongkong/instances) 个人版和企业版按需开启
+
+在配置好镜像仓库和镜像中转的环境后,需要把 Doris 提供的官方镜像迁移到对应的阿里云镜像仓库中。  
+
+若使用私有镜像仓库开启了鉴权,可以参考以下步骤:  
+1. 需要提前设置类型为 `docker-registry` 的 `secret` 用以配置访问镜像仓库的身份认证信息。
+```

Review Comment:
   缩进



##
i18n/zh-CN/docusaurus-plugin-content-docs/current/install/cluster-deployment/k8s-deploy/install-on-cloud.md:
##
@@ -0,0 +1,209 @@
+---
+{
+"title": "在云平台部署",
+"language": "zh-CN"
+}
+---
+
+
+
+Doris-operator 开发按照标准的 K8s 规范进行,兼容所有标准 K8s 平台,包含主流云厂商提供的和基于标准自建的 K8s 
平台。本文主要提供在主流云厂商的容器化服务平台上,Doris-operator 使用的注意事项和一些使用建议。后续会更新更多云厂商及其产品的文档。
+
+## 阿里云容器服务 ACK
+
+阿里云容器服务 ACK 属于 购买 ECS 实例后,托管容器化服务的,因此可以获得完全访问控制权限来进行相关系统参数调整,使用实例镜像:Alibaba 
Cloud Linux 3 当前系统参数完全满足运行 Doris 需求。不符合要求的也能够通过 K8s 特权模式在容器内进行修正,以保证稳定运行。  
+**阿里云ACK集群,使用 doris-operator 部署,大部分环境要求,ECS默认配置即可满足,未满足的,doris-operator 
可自行修正**。 用户亦可手动修正, 如下:  
+
+### 已存在集群  
+
+若容器服务集群已经创建,则可以参考此文档进行修改:[操作系统检查](../../preparation/os-checking)
+重点关注 BE 启动参数要求:  
+1. 禁用和关闭 swap : `swapon --show`  未开启则无输出
+2. 查看系统最大打开文件句柄数 `ulimit -n`
+3. 查看修改虚拟内存区域数量  `sysctl vm.max_map_count`
+4. 透明大页是否关闭  `cat /sys/kernel/mm/transparent_hugepage/enabled`  是否包含 never
+对应参数的默认值如下:  
+ ```shell
+[root@iZj6c12a1czxk5oer9rbp8Z ~]# swapon --show
+[root@iZj6c12a1czxk5oer9rbp8Z ~]# ulimit -n
+65535
+[root@iZj6c12a1czxk5oer9rbp8Z ~]# sysctl vm.max_map_count
+vm.max_map_count = 262144
+[root@iZj6c12a1czxk5oer9rbp8Z ~]# cat 
/sys/kernel/mm/transparent_hugepage/enabled
+[always] madvise never
+```  
+
+### 新建集群  
+若集群未购买和创建,则可以在阿里云 容器服务 ACK 控制台 点击 “创建集群” 购买,可以按需调整配置,上述参数可以在 创建集群的 “节点池配置” 
步骤中在 “实例预自定义数据” 添加系统调整脚本。
+在集群启动后,重启节点即可实现配置完成。参考脚本如下:  
+```shell
+#!/bin/bash
+chmod +x /etc/rc.d/rc.local
+echo "sudo systemctl stop firewalld.service" >> /etc/rc.d/rc.local
+echo "sudo systemctl disable firewalld.service" >> /etc/rc.d/rc.local
+echo "sysctl -w vm.max_map_count=200" >> /etc/rc.d/rc.local
+echo "swapoff -a" >> /etc/rc.d/rc.local
+current_limi