Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Explorer supports nfs #2726

Merged
merged 6 commits into from
May 17, 2023
Merged
Show file tree
Hide file tree
Changes from 4 commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
Original file line number Diff line number Diff line change
Expand Up @@ -10,7 +10,7 @@ Dashboard 企业版支持升级现有 NebulaGraph 集群的版本。

!!! note

- 仅支持升级版本不低于 **3.0.0** 的 NebulaGraph 集群,且最高升级至 **3.2.1** 版本。如需升级至 **3.3.0**,请参见[手动升级文档](../../..//4.deployment-and-installation/3.upgrade-nebula-graph/upgrade-nebula-from-300-to-latest.md)。
- 仅支持升级版本不低于 **3.0.0** 的 NebulaGraph 集群,且最高升级至 **3.2.1** 版本。如需升级至 **3.3.0**,请参见[手动升级文档](../../../4.deployment-and-installation/3.upgrade-nebula-graph/upgrade-nebula-from-300-to-latest.md)。
- 不支持跨大版本升级集群。
- 支持社区版升级为企业版(需要上传校验 License)或企业版升级为社区版。
- 支持升级为当前大版本内的任意小版本(包括比当前版本低的小版本)。
Expand Down
47 changes: 37 additions & 10 deletions docs-2.0/nebula-explorer/workflow/1.prepare-resources.md
Original file line number Diff line number Diff line change
@@ -1,6 +1,6 @@
# 资源配置

使用工作流之前,需要进行资源配置,包括 NebulaGraph 配置、HDFS 配置和 NebulaGraph Analytics 配置。
使用工作流之前,需要进行资源配置,包括 NebulaGraph 配置、DAG 配置、NebulaGraph Analytics 配置和 HDFS 配置。

## 前提条件

Expand All @@ -11,16 +11,43 @@

1. 在 Explorer 页面顶部的导航栏中,单击 **Workflow**。

2. 在**工作流**标签页单击**配置**。
2. 在页面右上角单击**工作流配置**。

3. 配置如下三种资源
3. 配置如下资源

![workflow_configuration](https://docs-cdn.nebula-graph.com.cn/figures/workflow_configuration_221117_cn.png)
![workflow_configuration](https://docs-cdn.nebula-graph.com.cn/figures/workflow_configuration_230424_cn.png)

|类型|说明|
|:--|:--|
|NebulaGraph 配置| 执行图查询或写入图计算结果的 Graph 服务地址。默认为登录 Explorer 使用的 Graph 服务,无法修改。可以设置三种服务的超时时间。|
|HDFS 配置| 存储结果的 HDFS 地址。单击**添加**新增地址,设置 HDFS 名称、HDFS 路径(`fs.defaultFS`配置)、HDFS 用户名。HDFS 路径支持配置保存路径,例如`hdfs://192.168.8.100:9000/test`。需要先在 Analytics 所在机器上安装 HDFS 客户端,该配置才能生效。|
|NebulaGraph Analytics 配置| 执行图计算的 NebulaGraph Analytics 地址。单击**添加**新增地址。|
- NebulaGraph 配置

4. 配置完成后,单击**确认**。
执行图查询或写入图计算结果的 Graph 服务地址。默认为登录 Explorer 使用的 Graph 服务,无法修改。可以设置三种服务的超时时间。

- DAG 配置

执行图计算的 Dag Controller 的相关配置。

- 用户名:固定为`vesoft`,无需修改。
- 数据路径:Analytics 数据目录,NFS 服务的共享目录。工作流默认使用 NFS 方式存储图计算结果,但是需要用户手动安装 NFS 并挂载目录。
- SH 免密私钥路径:Dag Controller 所在机器的私钥文件路径。用于机器间 SSH 免密登录。
cooper-lzy marked this conversation as resolved.
Show resolved Hide resolved
cooper-lzy marked this conversation as resolved.
Show resolved Hide resolved

- NebulaGraph Analytics 节点配置

添加执行图计算的 NebulaGraph Analytics 地址。

- Nebula Analytics 节点 IP 地址:填写新的 Analytics 节点 IP 地址。
- 用户名:默认为`vesoft`,无需修改。
- Analytics 节点 SSH 端口号:默认为`22`。
- Analytics 节点用户 SSH 免密私钥路径:用于机器间 SSH 免密登录。默认为`~/.ssh/id_rsa`。
- Analytics 节点本地数据目录:默认为`~/analytics-data`。
- Analytics 节点算法脚本路径:默认为`~/nebula-analytics/scripts/run_algo.sh`。

- HDFS 配置(可选)

默认情况下使用的是 NFS 保存图计算结果,如果需要使用 HDFS,请先在 Analytics 所在机器上安装 HDFS 客户端,该配置才能生效。

- HDFS 名称:填写 HDFS 配置名称,方便区分不同 HDFS 配置。
- HDFS 路径:即`fs.defaultFS`配置。支持配置保存路径,例如`hdfs://192.168.8.100:9000/test`。
- HDFS 用户名:使用 HDFS 的用户名称。

4. 配置完成后,单击**保存**。

5. 在右上角单击**配置检查**,然后单击**开始检查**,检查配置是否正常。
10 changes: 5 additions & 5 deletions docs-2.0/nebula-explorer/workflow/2.create-workflow.md
Original file line number Diff line number Diff line change
Expand Up @@ -4,7 +4,7 @@

## 前提条件

- 已有数据源。数据源可以是 NebulaGraph 中的数据或者 HDFS 上的 CSV 文件。
- 已有数据源。数据源可以是 NebulaGraph 中的数据、NFS/HDFS 上的 CSV 文件。

- 已完成[资源配置](1.prepare-resources.md)。

Expand All @@ -26,7 +26,7 @@
|查询语言|选择执行nGQL语句的图空间,以及填写nGQL语句。填写语句后单击**解析参数**,会在**输出**里展示返回的列名。|
|输入|设置自定义参数,可以用于参数化查询。单击**添加参数**可以增加更多自定义参数。|
|输出|解析查询语言得到的返回结果列名。可以修改名称,相当于用`AS`设置列的别名。|
|结果|设置结果的保存位置。为方便其他算法调用结果,图查询组件的结果只支持保存在 HDFS 上。|
|结果|设置结果的保存位置。为方便其他算法调用结果,图查询组件的结果只支持保存在 NFS/HDFS 上。|

!!! note

Expand All @@ -42,16 +42,16 @@

5. 单击该图计算组件,在右侧弹出的工作流配置面板中进行如下设置。

![connect-component](https://docs-cdn.nebula-graph.com.cn/figures/ex-algorithm-220623-cn.png)
![connect-component](https://docs-cdn.nebula-graph.com.cn/figures/ex-algorithm-230423-cn.png)

|配置项|说明|
|:---|:---|
|PageRank|单击![pencil](https://docs-cdn.nebula-graph.com.cn/figures/workflow-edit.png)可以修改组件名称,方别识别。|
|输入|支持三种数据源作为输入。**NebulaGraph** 可以选择图空间和对应的边类型**Dependence** 会根据锚点的连接情况自动识别**HDFS**可以选择 HDFS 和数据源文件的相对路径。|
|输入|支持多种数据源作为输入。<br>**NebulaGraph** 可以选择图空间和对应的边类型。<br>**Dependence** 会根据锚点的连接情况自动识别。<br>**HDFS**可以选择 HDFS 和数据源文件的相对路径。<br>**Local**可以选择 NFS 中数据源文件的相对路径。|
|参数配置|设置图算法特有的参数。不同算法的参数不同,部分参数可以从任意上游组件获取,此时锚点显示为黄色。|
|输出|显示图计算结果的列名,无法修改。|
|执行配置|**机器数量**表示将要执行算法的机器数量。<br>**进程数量**表示将要执行算法的总进程数,会根据机器数量平均分配到各个机器。<br>**线程数量**表示每个进程会启动多少个线程。|
|结果|设置结果的保存位置。可以保存在 HDFS 或 NebulaGraph 中。 <br>保存为 HDFS 时只需要选择 HDFS ,保存路径无需修改,会根据作业和任务 ID 自动生成。<br>保存为 NebulaGraph 时,需要预先在相应图空间中创建 Tag 用于保存结果。Tag 的属性说明请参见[算法简介](../../graph-computing/algorithm-description.md)。<br>部分算法只支持保存在 HDFS 上。|
|结果|设置结果的保存位置。可以保存在 NFS、HDFS 或 NebulaGraph 中。 <br>保存至 NFS 时无需修改路径,会根据作业和任务 ID 自动生成。<br>保存至 HDFS 时只需要选择 HDFS 名称,保存路径无需修改,会根据作业和任务 ID 自动生成。<br>保存至 NebulaGraph 时,需要预先在相应图空间中创建 Tag 用于保存结果。Tag 的属性说明请参见[算法简介](../../graph-computing/algorithm-description.md)。<br>部分算法只支持保存在 HDFS 上。|

6. 在画布左上角自动生成的工作流名称旁单击![pencil](https://docs-cdn.nebula-graph.com.cn/figures/workflow-edit.png)修改工作流名称,然后在画布右上角单击**运行**,会自动跳转至作业页面显示作业进度,耐心等待作业完成即可查看结果。详情参见[作业管理](4.jobs-management.md)。

Expand Down
6 changes: 3 additions & 3 deletions docs-2.0/nebula-explorer/workflow/workflows.md
Original file line number Diff line number Diff line change
Expand Up @@ -25,14 +25,14 @@ Nebula Explorer 提供多种**组件**(Component),包括图查询组件和

- 图查询组件的输入只能是查询语言。

- 图查询组件的结果仅支持保存在 HDFS,方便被多个算法调用。
- 图查询组件的结果默认支持保存在 NFS,也可以保存在 HDFS,方便被多个算法调用。

- 图计算组件的输入可以是 NebulaGraph 或 HDFS 的指定数据,也可以依赖于图查询组件的结果。
- 图计算组件的输入可以是 NebulaGraph、NFS 或 HDFS 的指定数据,也可以依赖于图查询组件的结果。
如果依赖于前一个图查询组件的结果,必须和该图查询组件全连接,即该图计算组件的白色输入锚点全都和上一个图查询组件的白色输出锚点连接。

- 部分算法的参数配置也可以依赖于上游节点。

- 图计算组件结果允许保存在 HDFS、NebulaGraph,但是并非所有算法的结果都适合存入到 NebulaGraph 里,在设置**结果保存**页面时,部分算法只能选择 HDFS。
- 图计算组件结果允许保存在 NebulaGraph、NFS 或 HDFS中,但是并非所有算法的结果都适合存入到 NebulaGraph 里,在设置**结果保存**页面时,部分算法只能选择 NFS 或 HDFS。

## 算法参数配置说明

Expand Down