This is an automated email from the ASF dual-hosted git repository.
jin pushed a commit to branch master
in repository https://gitbox.apache.org/repos/asf/incubator-hugegraph-doc.git
The following commit(s) were added to refs/heads/master by this push:
new 1b5c1c5f doc: add usage for kafka source (#290)
1b5c1c5f is described below
commit 1b5c1c5f7953027e2ac46cd44fd616967ff96aa4
Author: Liu Xiao <[email protected]>
AuthorDate: Sat Oct 7 16:52:41 2023 +0800
doc: add usage for kafka source (#290)
* auto-fix some words
---------
Co-authored-by: imbajin <[email protected]>
---
content/cn/docs/quickstart/hugegraph-client.md | 36 +++----
content/cn/docs/quickstart/hugegraph-loader.md | 129 ++++++++++++++-----------
content/cn/docs/quickstart/hugegraph-server.md | 16 +--
content/en/docs/quickstart/hugegraph-loader.md | 37 +++++--
4 files changed, 127 insertions(+), 91 deletions(-)
diff --git a/content/cn/docs/quickstart/hugegraph-client.md
b/content/cn/docs/quickstart/hugegraph-client.md
index 40bfd548..f1fee66b 100644
--- a/content/cn/docs/quickstart/hugegraph-client.md
+++ b/content/cn/docs/quickstart/hugegraph-client.md
@@ -4,9 +4,9 @@ linkTitle: "Develop with HugeGraph-Client"
weight: 6
---
-### 1 HugeGraph-Client概述
+### 1 HugeGraph-Client 概述
-HugeGraph-Client向HugeGraph-Server发出HTTP请求，获取并解析Server的执行结果。目前仅提供了Java版，用户可以使用HugeGraph-Client编写Java代码操作HugeGraph，比如元数据和图数据的增删改查，或者执行gremlin语句。
+HugeGraph-Client 向 HugeGraph-Server 发出 HTTP 请求，获取并解析 Server 的执行结果。目前仅提供了 Java
版，用户可以使用 HugeGraph-Client 编写 Java 代码操作 HugeGraph，比如元数据和图数据的增删改查，或者执行 gremlin 语句。
### 2 环境要求
@@ -15,34 +15,35 @@ HugeGraph-Client向HugeGraph-Server发出HTTP请求，获取并解析Server的
### 3 使用流程
-使用HugeGraph-Client的基本步骤如下:
+使用 HugeGraph-Client 的基本步骤如下：
-- 新建Eclipse/ IDEA Maven项目；
-- 在pom文件中添加HugeGraph-Client依赖；
-- 创建类，调用HugeGraph-Client接口；
+- 新建Eclipse/ IDEA Maven 项目；
+- 在 pom 文件中添加 HugeGraph-Client 依赖；
+- 创建类，调用 HugeGraph-Client 接口；
详细使用过程见下节完整示例。
### 4 完整示例
-#### 4.1 新建Maven工程
+#### 4.1 新建 Maven 工程
-可以选择Eclipse或者Intellij Idea创建工程：
+可以选择 Eclipse 或者 Intellij Idea 创建工程：
--
[Eclipse新建Maven工程](http://www.vogella.com/tutorials/EclipseMaven/article.html)
-- [Intellij Idea
创建maven工程](https://vaadin.com/docs/-/part/framework/getting-started/getting-started-idea.html)
+- [Eclipse 新建 Maven
工程](http://www.vogella.com/tutorials/EclipseMaven/article.html)
+- [Intellij Idea 创建 maven
工程](https://vaadin.com/docs/-/part/framework/getting-started/getting-started-idea.html)
-#### 4.2 添加hugegraph-client依赖
+#### 4.2 添加 hugegraph-client 依赖
-添加hugegraph-client依赖
+添加 hugegraph-client 依赖
```xml
+
<dependencies>
<dependency>
<groupId>org.apache.hugegraph</groupId>
<artifactId>hugegraph-client</artifactId>
<version>${version}</version>
- </dependency>
+ </dependency>
</dependencies>
```
@@ -340,11 +341,12 @@ public class BatchExample {
}
```
-### 4.4 运行Example
+### 4.4 运行 Example
-运行Example之前需要启动Server, 启动过程见[HugeGraph-Server Quick
Start](/cn/docs/quickstart/hugegraph-server)
+运行 Example 之前需要启动 Server,
+启动过程见[HugeGraph-Server Quick Start](/cn/docs/quickstart/hugegraph-server)
-### 4.5 Example示例说明
+### 4.5 Example 示例说明
-示例说明见[HugeGraph-Client基本API介绍](/cn/docs/clients/hugegraph-client)
+示例说明见[HugeGraph-Client 基本 API 介绍](/cn/docs/clients/hugegraph-client)
diff --git a/content/cn/docs/quickstart/hugegraph-loader.md
b/content/cn/docs/quickstart/hugegraph-loader.md
index e15e26f4..72baf3a8 100644
--- a/content/cn/docs/quickstart/hugegraph-loader.md
+++ b/content/cn/docs/quickstart/hugegraph-loader.md
@@ -4,7 +4,7 @@ linkTitle: "Load data with HugeGraph-Loader"
weight: 2
---
-### 1 HugeGraph-Loader概述
+### 1 HugeGraph-Loader 概述
HugeGraph-Loader 是 HugeGraph 的数据导入组件，能够将多种数据源的数据转化为图的顶点和边并批量导入到图数据库中。
@@ -29,7 +29,7 @@ HugeGraph-Loader 是 HugeGraph 的数据导入组件，能够将多种数据源
#### 2.1 下载已编译的压缩包
-下载最新版本的 HugeGraph-Toolchain Release 包, 里面包含了 loader + tool + hubble 全套工具,
如果你已经下载, 可跳过重复步骤
+下载最新版本的 HugeGraph-Toolchain Release 包，里面包含了 loader + tool + hubble
全套工具，如果你已经下载，可跳过重复步骤
```bash
wget
https://downloads.apache.org/incubator/hugegraph/1.0.0/apache-hugegraph-toolchain-incubating-1.0.0.tar.gz
@@ -48,8 +48,8 @@ git clone https://github.com/apache/hugegraph-toolchain.git
wget
https://downloads.apache.org/incubator/hugegraph/1.0.0/apache-hugegraph-toolchain-incubating-1.0.0-src.tar.gz
```
-由于Oracle ojdbc license的限制，需要手动安装ojdbc到本地maven仓库。
-访问[Oracle jdbc
下载](https://www.oracle.com/database/technologies/appdev/jdbc-downloads.html)
页面。选择Oracle Database 12c Release 2 (12.2.0.1) drivers，如下图所示。
+由于 Oracle ojdbc license 的限制，需要手动安装 ojdbc 到本地 maven 仓库。
+访问[Oracle jdbc
下载](https://www.oracle.com/database/technologies/appdev/jdbc-downloads.html)
页面。选择 Oracle Database 12c Release 2 (12.2.0.1) drivers，如下图所示。
<div style="text-align: center;">
<img src="/docs/images/oracle-download.png" alt="image">
@@ -63,12 +63,12 @@ wget
https://downloads.apache.org/incubator/hugegraph/1.0.0/apache-hugegraph-too
</div>
- 把ojdbc8安装到本地maven仓库，进入``ojdbc8.jar``所在目录，执行以下命令。
+ 把 ojdbc8 安装到本地 maven 仓库，进入`ojdbc8.jar`所在目录，执行以下命令。
```
mvn install:install-file -Dfile=./ojdbc8.jar -DgroupId=com.oracle
-DartifactId=ojdbc8 -Dversion=12.2.0.1 -Dpackaging=jar
```
-编译生成 tar 包:
+编译生成 tar 包：
```bash
cd hugegraph-loader
@@ -89,7 +89,7 @@ mvn clean package -DskipTests
这一步是建模的过程，用户需要对自己已有的数据和想要创建的图模型有一个清晰的构想，然后编写 schema 建立图模型。
比如想创建一个拥有两类顶点及两类边的图，顶点是"人"和"软件"，边是"人认识人"和"人创造软件"，并且这些顶点和边都带有一些属性，比如顶点"人"有："姓名"、"年龄"等属性，
-"软件"有："名字"、"售卖价格"等属性；边"认识"有: "日期"属性等。
+"软件"有："名字"、"售卖价格"等属性；边"认识"有："日期"属性等。
<div style="text-align: center;">
<img src="/docs/images/demo-graph-model.png" alt="image">
@@ -247,7 +247,7 @@ Office,388
输入源的映射文件用于描述如何将输入源数据与图的顶点类型/边类型建立映射关系，以`JSON`格式组织，由多个映射块组成，其中每一个映射块都负责将一个输入源映射为顶点和边。
-具体而言，每个映射块包含**一个输入源**和多个**顶点映射**与**边映射**块，输入源块对应上面介绍的`本地磁盘文件或目录`、`HDFS
文件或目录`和`关系型数据库`，负责描述数据源的基本信息，比如数据在哪，是什么格式的，分隔符是什么等。顶点映射/边映射与该输入源绑定，可以选择输入源的哪些列，哪些列作为id、哪些列作为属性，以及每一列映射成什么属性，列的值映射成属性的什么值等等。
+具体而言，每个映射块包含**一个输入源**和多个**顶点映射**与**边映射**块，输入源块对应上面介绍的`本地磁盘文件或目录`、`HDFS
文件或目录`和`关系型数据库`，负责描述数据源的基本信息，比如数据在哪，是什么格式的，分隔符是什么等。顶点映射/边映射与该输入源绑定，可以选择输入源的哪些列，哪些列作为
id、哪些列作为属性，以及每一列映射成什么属性，列的值映射成属性的什么值等等。
以最通俗的话讲，每一个映射块描述了：要导入的文件在哪，文件的每一行要作为哪一类顶点/边，文件的哪些列是需要导入的，以及这些列对应顶点/边的什么属性等。
@@ -569,7 +569,7 @@ bin/mapping-convert.sh struct.json
- time_zone: 设置日期数据是处于哪个时区的，默认值为`GMT+8`，选填；
- skipped_line: 想跳过的行，复合结构，目前只能配置要跳过的行的正则表达式，用子节点`regex`描述，默认不跳过任何行，选填；
- compression: 文件的压缩格式，可选值为
NONE、GZIP、BZ2、XZ、LZMA、SNAPPY_RAW、SNAPPY_FRAMED、Z、DEFLATE、LZ4_BLOCK、LZ4_FRAMED、ORC
和 PARQUET，默认为 NONE，表示非压缩文件，选填；
- - list_format: 当文件(非 JSON )的某列是集合结构时（对应图中的 PropertyKey 的 Cardinality 为 Set
或 List），可以用此项设置该列的起始符、分隔符、结束符，复合结构:
+ - list_format: 当文件 (非 JSON ) 的某列是集合结构时（对应图中的 PropertyKey 的 Cardinality 为
Set 或 List），可以用此项设置该列的起始符、分隔符、结束符，复合结构：
- start_symbol: 集合结构列的起始符 (默认值是 `[`, JSON 格式目前不支持指定)
- elem_delimiter: 集合结构列的分隔符 (默认值是 `|`, JSON 格式目前只支持原生`,`分隔)
- end_symbol: 集合结构列的结束符 (默认值是 `]`, JSON 格式目前不支持指定)
@@ -606,7 +606,7 @@ bin/mapping-convert.sh struct.json
| driver | com.mysql.cj.jdbc.Driver |
| url | jdbc:mysql://127.0.0.1:3306 |
-schema: 可空，若填写必须与database的值一样
+schema: 可空，若填写必须与 database 的值一样
**POSTGRESQL**
@@ -638,6 +638,23 @@ schema: 可空，默认值与用户名相同
schema: 必填
+###### 3.3.2.4 Kafka 输入源
+
+- type：输入源类型，必须填 `kafka` 或 `KAFKA`，必填；
+- bootstrap_server：设置 kafka bootstrap server 列表；
+- topic：订阅的 topic；
+- group：Kafka 消费者组；
+- from_beginning：设置是否从头开始读取；
+- format：本地文件的格式，可选值为 CSV、TEXT 及 JSON，必须大写，必填；
+- header：文件各列的列名，如不指定则会以数据文件第一行作为 header；当文件本身有标题且又指定了
header，文件的第一行会被当作普通的数据行；JSON 文件不需要指定 header，选填；
+- delimiter：文件行的列分隔符，默认以逗号","作为分隔符，JSON 文件不需要指定，选填；
+- charset：文件的编码字符集，默认 UTF-8，选填；
+- date_format：自定义的日期格式，默认值为 yyyy-MM-dd HH:mm:ss，选填；如果日期是以时间戳的形式呈现的，此项须写为
timestamp（固定写法）；
+- extra_date_formats：自定义的其他日期格式列表，默认为空，选填；列表中每一项都是一个 date_format 指定日期格式的备用日期格式；
+- time_zone：置日期数据是处于哪个时区的，默认值为 GMT+8，选填；
+- skipped_line：想跳过的行，复合结构，目前只能配置要跳过的行的正则表达式，用子节点 regex 描述，默认不跳过任何行，选填；
+- early_stop：某次从 Kafka broker 拉取的记录为空，停止任务，默认为 false，仅用于调试，选填；
+
##### 3.3.1 顶点和边映射
顶点和边映射的节点（JSON 文件中的一个 key）有很多相同的部分，下面先介绍相同部分，再分别介绍`顶点映射`和`边映射`的特有节点。
@@ -653,21 +670,21 @@ schema: 必填
- update_strategies: 如果数据需要按特定方式批量**更新**时可以对每个属性指定具体的更新策略 (具体见下)，选填；
- unfold: 是否将列展开，展开的每一列都会与其他列一起组成一行，相当于是展开成了多行；比如文件的某一列（id
列）的值是`[1,2,3]`，其他列的值是`18,Beijing`，当设置了 unfold 之后，这一行就会变成 3
行，分别是：`1,18,Beijing`，`2,18,Beijing`和`3,18,Beijing`。需要注意的是此项只会展开被选作为 id 的列。默认
false，选填；
-**更新策略**支持8种 : (需要全大写)
+**更新策略**支持 8 种 : (需要全大写)
1. 数值累加 : `SUM`
2. 两个数字/日期取更大的: `BIGGER`
3. 两个数字/日期取更小: `SMALLER`
-4. **Set**属性取并集: `UNION`
-5. **Set**属性取交集: `INTERSECTION`
-6. **List**属性追加元素: `APPEND`
-7. **List/Set**属性删除元素: `ELIMINATE`
-8. 覆盖已有属性: `OVERRIDE`
+4. **Set**属性取并集：`UNION`
+5. **Set**属性取交集：`INTERSECTION`
+6. **List**属性追加元素：`APPEND`
+7. **List/Set**属性删除元素：`ELIMINATE`
+8. 覆盖已有属性：`OVERRIDE`
-**注意:** 如果新导入的属性值为空, 会采用已有的旧数据而不会采用空值, 效果可以参考如下示例
+**注意：** 如果新导入的属性值为空，会采用已有的旧数据而不会采用空值，效果可以参考如下示例
```json
-// JSON文件中以如下方式指定更新策略
+// JSON 文件中以如下方式指定更新策略
{
"vertices": [
{
@@ -686,7 +703,7 @@ schema: 必填
]
}
-// 1.写入一行带OVERRIDE更新策略的数据 (这里null代表空)
+// 1.写入一行带 OVERRIDE 更新策略的数据 (这里 null 代表空)
'a b null null'
// 2.再写一行
@@ -695,7 +712,7 @@ schema: 必填
// 3.最后可以得到
'a b c d'
-// 如果没有更新策略, 则会得到
+// 如果没有更新策略，则会得到
'null null c d'
```
@@ -720,37 +737,37 @@ schema: 必填
##### 3.4.1 参数说明
-| 参数 | 默认值 | 是否必传 | 描述信息
|
-|------------------------------|-----------|------|-------------------------------------------------------------------|
-| `-f` 或 `--file` | | Y | 配置脚本的路径
|
-| `-g` 或 `--graph` | | Y | 图数据库空间
|
-| `-s` 或 `--schema` | | Y | schema文件路径
|
-| `-h` 或 `--host` | localhost | | HugeGraphServer 的地址
|
-| `-p` 或 `--port` | 8080 | | HugeGraphServer 的端口号
|
-| `--username` | null | | 当 HugeGraphServer
开启了权限认证时，当前图的 username |
-| `--token` | null | | 当 HugeGraphServer
开启了权限认证时，当前图的 token |
-| `--protocol` | http | | 向服务端发请求的协议，可选 http 或 https
|
-| `--trust-store-file` | | | 请求协议为 https 时，客户端的证书文件路径
|
-| `--trust-store-password` | | | 请求协议为 https 时，客户端证书密码
|
-| `--clear-all-data` | false | | 导入数据前是否清除服务端的原有数据
|
-| `--clear-timeout` | 240 | | 导入数据前清除服务端的原有数据的超时时间
|
-| `--incremental-mode` | false | | 是否使用断点续导模式，仅输入源为 FILE 和
HDFS 支持该模式，启用该模式能从上一次导入停止的地方开始导 |
-| `--failure-mode` | false | | 失败模式为 true
时，会导入之前失败了的数据，一般来说失败数据文件需要在人工更正编辑好后，再次进行导入 |
-| `--batch-insert-threads` | CPUs | | 批量插入线程池大小
(CPUs是当前OS可用**逻辑核**个数) |
-| `--single-insert-threads` | 8 | | 单条插入线程池的大小
|
-| `--max-conn` | 4 * CPUs | | HugeClient 与
HugeGraphServer 的最大 HTTP 连接数，**调整线程**的时候建议同时调整此项 |
-| `--max-conn-per-route` | 2 * CPUs | | HugeClient 与
HugeGraphServer 每个路由的最大 HTTP 连接数，**调整线程**的时候建议同时调整此项 |
-| `--batch-size` | 500 | | 导入数据时每个批次包含的数据条数
|
-| `--max-parse-errors` | 1 | | 最多允许多少行数据解析错误，达到该值则程序退出
|
-| `--max-insert-errors` | 500 | | 最多允许多少行数据插入错误，达到该值则程序退出
|
-| `--timeout` | 60 | | 插入结果返回的超时时间（秒）
|
-| `--shutdown-timeout` | 10 | | 多线程停止的等待时间（秒）
|
-| `--retry-times` | 0 | | 发生特定异常时的重试次数
|
-| `--retry-interval` | 10 | | 重试之前的间隔时间（秒）
|
-| `--check-vertex` | false | | 插入边时是否检查边所连接的顶点是否存在
|
-| `--print-progress` | true | | 是否在控制台实时打印导入条数
|
-| `--dry-run` | false | | 打开该模式，只解析不导入，通常用于测试
|
-| `--help` | false | | 打印帮助信息
|
+| 参数 | 默认值 | 是否必传 | 描述信息
|
+|---------------------------|-----------|------|-------------------------------------------------------------------|
+| `-f` 或 `--file` | | Y | 配置脚本的路径
|
+| `-g` 或 `--graph` | | Y | 图数据库空间
|
+| `-s` 或 `--schema` | | Y | schema 文件路径
| |
+| `-h` 或 `--host` | localhost | | HugeGraphServer 的地址
|
+| `-p` 或 `--port` | 8080 | | HugeGraphServer 的端口号
|
+| `--username` | null | | 当 HugeGraphServer
开启了权限认证时，当前图的 username |
+| `--token` | null | | 当 HugeGraphServer
开启了权限认证时，当前图的 token |
+| `--protocol` | http | | 向服务端发请求的协议，可选 http 或 https
|
+| `--trust-store-file` | | | 请求协议为 https 时，客户端的证书文件路径
|
+| `--trust-store-password` | | | 请求协议为 https 时，客户端证书密码
|
+| `--clear-all-data` | false | | 导入数据前是否清除服务端的原有数据
|
+| `--clear-timeout` | 240 | | 导入数据前清除服务端的原有数据的超时时间
|
+| `--incremental-mode` | false | | 是否使用断点续导模式，仅输入源为 FILE 和 HDFS
支持该模式，启用该模式能从上一次导入停止的地方开始导 |
+| `--failure-mode` | false | | 失败模式为 true
时，会导入之前失败了的数据，一般来说失败数据文件需要在人工更正编辑好后，再次进行导入 |
+| `--batch-insert-threads` | CPUs | | 批量插入线程池大小 (CPUs 是当前 OS
可用可用**逻辑核**个数) |
+| `--single-insert-threads` | 8 | | 单条插入线程池的大小
|
+| `--max-conn` | 4 * CPUs | | HugeClient 与 HugeGraphServer
的最大 HTTP 连接数，**调整线程**的时候建议同时调整此项 |
+| `--max-conn-per-route` | 2 * CPUs | | HugeClient 与 HugeGraphServer
每个路由的最大 HTTP 连接数，**调整线程**的时候建议同时调整此项 |
+| `--batch-size` | 500 | | 导入数据时每个批次包含的数据条数
|
+| `--max-parse-errors` | 1 | | 最多允许多少行数据解析错误，达到该值则程序退出
|
+| `--max-insert-errors` | 500 | | 最多允许多少行数据插入错误，达到该值则程序退出
|
+| `--timeout` | 60 | | 插入结果返回的超时时间（秒）
|
+| `--shutdown-timeout` | 10 | | 多线程停止的等待时间（秒）
|
+| `--retry-times` | 0 | | 发生特定异常时的重试次数
|
+| `--retry-interval` | 10 | | 重试之前的间隔时间（秒）
|
+| `--check-vertex` | false | | 插入边时是否检查边所连接的顶点是否存在
|
+| `--print-progress` | true | | 是否在控制台实时打印导入条数
|
+| `--dry-run` | false | | 打开该模式，只解析不导入，通常用于测试
|
+| `--help` | false | | 打印帮助信息
|
##### 3.4.2 断点续导模式
@@ -834,9 +851,9 @@ id|name|lang|price|ISBN
{"aname": "peter", "bname": "lop", "date": "20170324", "weight": 0.2}
```
-#### 4.2 编写schema
+#### 4.2 编写 schema
-schema文件：`example/file/schema.groovy`
+schema 文件：`example/file/schema.groovy`
```groovy
schema.propertyKey("name").asText().ifNotExist().create();
@@ -954,12 +971,12 @@ count metrics
```
#### 4.5 使用 spark-loader 导入
-> Spark 版本：Spark 3+， 其他版本未测试。
-> HugeGraph Toolchain 版本: toolchain-1.0.0
+> Spark 版本：Spark 3+，其他版本未测试。
+> HugeGraph Toolchain 版本：toolchain-1.0.0
>
`spark-loader` 的参数分为两部分，注意：因二者参数名缩写存在重合部分，请使用参数全称。两种参数之间无需保证先后顺序。
- hugegraph 参数（参考：[hugegraph-loader
参数说明](https://hugegraph.apache.org/cn/docs/quickstart/hugegraph-loader/#341-%E5%8F%82%E6%95%B0%E8%AF%B4%E6%98%8E)
）
-- Spark 任务提交参数 （参考：[Submitting
Applications](https://spark.apache.org/docs/3.3.0/submitting-applications.html#content)）
+- Spark 任务提交参数（参考：[Submitting
Applications](https://spark.apache.org/docs/3.3.0/submitting-applications.html#content)）
示例：
```bash
diff --git a/content/cn/docs/quickstart/hugegraph-server.md
b/content/cn/docs/quickstart/hugegraph-server.md
index 9d985b72..9c818dce 100644
--- a/content/cn/docs/quickstart/hugegraph-server.md
+++ b/content/cn/docs/quickstart/hugegraph-server.md
@@ -129,7 +129,7 @@ HugeGraphServer 启动时会连接后端存储并尝试检查后端存储版本
#### 5.1 Memory
-修改 hugegraph.properties
+修改 `hugegraph.properties`
```properties
backend=memory
@@ -146,7 +146,7 @@ Starting HugeGraphServer...
Connecting to HugeGraphServer (http://127.0.0.1:8080/graphs)....OK
```
-提示的 url 与 rest-server.properties 中配置的 restserver.url 一致
+提示的 url 与 `rest-server.properties` 中配置的 `restserver.url` 一致
#### 5.2 RocksDB
@@ -466,9 +466,9 @@ $bin/stop-hugegraph.sh
### 9 在启动 Server 时创建示例图
有三种方式可以在启动 Server 时创建示例图
-- 方式一: 直接修改配置文件
-- 方式二: 启动脚本使用命令行参数
-- 方式三: 使用docker或docker-compose添加环境变量
+- 方式一：直接修改配置文件
+- 方式二：启动脚本使用命令行参数
+- 方式三：使用 docker 或 docker-compose 添加环境变量
#### 9.1 直接修改配置文件
@@ -530,7 +530,7 @@ schema = graph.schema()
#### 9.2 启动脚本时指定参数
-在脚本启动时候携带 `-p true` 参数, 表示preload, 即创建示例图
+在脚本启动时候携带 `-p true`参数，表示 preload, 即创建示例图图
```
bin/start-hugegraph.sh -p true
@@ -549,9 +549,9 @@ Connecting to HugeGraphServer
(http://127.0.0.1:8080/graphs)......OK
代表创建示例图成功。
-#### 9.3 使用docker启动
+#### 9.3 使用 docker 启动
-在docker启动的时候设置环境变量 `PRELOAD=true`, 从而实现启动脚本的时候加载数据。
+在 docker 启动的时候设置环境变量 `PRELOAD=true`, 从而实现启动脚本的时候加载数据。
1. 使用`docker run`
diff --git a/content/en/docs/quickstart/hugegraph-loader.md
b/content/en/docs/quickstart/hugegraph-loader.md
index 8cb72cc1..7b018147 100644
--- a/content/en/docs/quickstart/hugegraph-loader.md
+++ b/content/en/docs/quickstart/hugegraph-loader.md
@@ -62,7 +62,7 @@ After opening the link, select "ojdbc8.jar" as shown below.
</center>
- Install ojdbc8 to the local maven repository, enter the directory where
``ojdbc8.jar`` is located, and execute the following command.
+ Install ojdbc8 to the local maven repository, enter the directory where
`ojdbc8.jar` is located, and execute the following command.
```
mvn install:install-file -Dfile=./ojdbc8.jar -DgroupId=com.oracle
-DartifactId=ojdbc8 -Dversion=12.2.0.1 -Dpackaging=jar
```
@@ -635,6 +635,23 @@ schema: nullable, the default value is the same as the
username
schema: required
+###### 3.3.2.4 Kafka input source
+
+- type: input source type, `kafka` or `KAFKA`, required;
+- bootstrap_server: set the list of kafka bootstrap servers;
+- topic: the topic to subscribe to;
+- group: group of Kafka consumers;
+- from_beginning: set whether to read from the beginning;
+- format: format of the local file, options are CSV, TEXT and JSON, must be
uppercase, required;
+- header: column name of each column of the file, if not specified, the first
line of the data file will be used as the header; when the file itself has a
header and the header is specified, the first line of the file will be treated
as an ordinary data line; JSON files do not need to specify the header,
optional;
+- delimiter: delimiter of the file line, default is comma "," as delimiter,
JSON files do not need to specify, optional;
+- charset: encoding charset of the file, default is UTF-8, optional;
+- date_format: customized date format, default value is yyyy-MM-dd HH:mm:ss,
optional; if the date is presented in the form of timestamp, this item must be
written as timestamp (fixed);
+- extra_date_formats: a customized list of other date formats, empty by
default, optional; each item in the list is an alternate date format to the
date_format specified date format;
+- time_zone: set which time zone the date data is in, default is GMT+8,
optional;
+- skipped_line: the line you want to skip, composite structure, currently can
only configure the regular expression of the line to be skipped, described by
the child node regex, the default is not to skip any line, optional;
+- early_stop: the record pulled from Kafka broker at a certain time is empty,
stop the task, default is false, only for debugging, optional;
+
##### 3.3.1 Vertex and Edge Mapping
The nodes of vertex and edge mapping (a key in the JSON file) have a lot of
the same parts. The same parts are introduced first, and then the unique nodes
of `vertex map` and `edge map` are introduced respectively.
@@ -717,13 +734,13 @@ The import process is controlled by commands submitted by
the user, and the user
##### 3.4.1 Parameter description
-| Parameter | Default value | Required or not | Description
|
-|-------------------------|---------------|-----------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
-| `-f` or `--file` | | Y | path to
configure script
|
-| `-g` or `--graph` | | Y | graph space
name
|
-| `-s` or `--schema` | | Y | schema file
path
|
-| `-h` or `--host` | localhost | | address of
HugeGraphServer
|
-| `-p` or `--port` | 8080 | | port number
of HugeGraphServer
|
+| Parameter | Default value | Required or not | Description
|
+|---------------------------|---------------|-----------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
+| `-f` or `--file` | | Y | path to
configure script
|
+| `-g` or `--graph` | | Y | graph space
name
|
+| `-s` or `--schema` | | Y | schema file
path
|
+| `-h` or `--host` | localhost | | address of
HugeGraphServer
|
+| `-p` or `--port` | 8080 | | port number of
HugeGraphServer
|
| `--username` | null | | When
HugeGraphServer enables permission authentication, the username of the current
graph
|
| `--token` | null | | When
HugeGraphServer has enabled authorization authentication, the token of the
current graph
|
| `--protocol` | http | | Protocol for
sending requests to the server, optional http or https
|
@@ -755,7 +772,7 @@ Usually, the Loader task takes a long time to execute. If
the import interrupt p
The user sets the command line parameter --incremental-mode to true to open
the breakpoint resume mode. The key to breakpoint continuation lies in the
progress file. When the import process exits, the import progress at the time
of exit will be recorded.
Recorded in the progress file, the progress file is located in the `${struct}`
directory, the file name is like `load-progress ${date}`, ${struct} is the
prefix of the mapping file, and ${date} is the start of the import
-moment. For example: for an import task started at `2019-10-10 12:30:30`, the
mapping file used is `struct-example.json`, then the path of the progress file
is the same as struct-example.json
+moment. For example, for an import task started at `2019-10-10 12:30:30`, the
mapping file used is `struct-example.json`, then the path of the progress file
is the same as struct-example.json
Sibling `struct-example/load-progress 2019-10-10 12:30:30`.
> Note: The generation of progress files is independent of whether
> --incremental-mode is turned on or not, and a progress file is generated at
> the end of each import.
@@ -791,7 +808,7 @@ bin/hugegraph-loader -g {GRAPH_NAME} -f ${INPUT_DESC_FILE}
-s ${SCHEMA_FILE} -h
### 4 Complete example
-Given below is an example in the example directory of the hugegraph-loader
package.([GitHub
address](https://github.com/apache/hugegraph-toolchain/tree/master/hugegraph-loader/assembly/static/example/file))
+Given below is an example in the example directory of the hugegraph-loader
package. ([GitHub
address](https://github.com/apache/hugegraph-toolchain/tree/master/hugegraph-loader/assembly/static/example/file))
#### 4.1 Prepare data
