From 07983298c15394652c7437e9f71de8b504d18113 Mon Sep 17 00:00:00 2001 From: cooper-lzy <78672629+cooper-lzy@users.noreply.github.com> Date: Thu, 17 Nov 2022 15:15:52 +0800 Subject: [PATCH 1/2] add hdfs error for dag --- .../nebula-explorer/deploy-connect/ex-ug-deploy.md | 6 ++++++ docs-2.0/nebula-explorer/faq.md | 14 ++++++++++++++ 2 files changed, 20 insertions(+) diff --git a/docs-2.0/nebula-explorer/deploy-connect/ex-ug-deploy.md b/docs-2.0/nebula-explorer/deploy-connect/ex-ug-deploy.md index 16c6e1062d..106d375b7a 100644 --- a/docs-2.0/nebula-explorer/deploy-connect/ex-ug-deploy.md +++ b/docs-2.0/nebula-explorer/deploy-connect/ex-ug-deploy.md @@ -25,6 +25,12 @@ License 仅在企业版提供，申请 License 需填写 [Nebula Explorer 试用申请](https://wj.qq.com/s2/10158890/69a8)。 +- 如果需要使用图计算，需要部署 HDFS。namenode 默认使用 8020 端口，datanode 默认使用 50010 端口。 + + !!! caution + + 如果 HDFS 端口不通，可能会提示连接超时。 + ## 注意事项 Explorer 从 3.2.0 版本开始内置了 Dag Controller 安装包，用于提供图计算服务。用户可以自行决定是否启动 Dag Controller 服务。如果没有启动 Dag Controller 服务， Explorer 中的 **Workflow** 菜单将显示为灰色无法点击。 diff --git a/docs-2.0/nebula-explorer/faq.md b/docs-2.0/nebula-explorer/faq.md index 408837b7ed..68281dce87 100644 --- a/docs-2.0/nebula-explorer/faq.md +++ b/docs-2.0/nebula-explorer/faq.md @@ -68,6 +68,20 @@ Dag Controller 包含图查询组件和图计算组件。图查询是发送请 3. 修改上述配置后需要重启 Dag Controller 使配置生效。 +## 任务运行失败，报错`no available namenodes: dial tcp xx.xx.xx.xx:8020: connect: connection timed out`怎么办？ + +请检查 HDFS 的 namenode 端口是否开放。 + +## 任务运行失败，报错`org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout`怎么办？ + +请检查 HDFS 的 datanode 端口是否开放。 + +如果没有开放端口，还可能报类似如下错误： + +- `Check failed: false close hdfs-file failed` +- `org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /analytics/xx/tasks/analytics_xxx/xxx.csv could only be replicated to 0 nodes instead of minReplication` + + ## 任务运行失败，报错`broadcast.hpp:193] Check failed: (size_t)recv_bytes >= sizeof(chunk_tail_t) recv message too small: 0`怎么办？ 任务要处理的数据量过小，但是配置的计算节点数与进程数太多。需要在提交作业时设置较小的`clusterSize`和`processes`。 From 862bdf2ff80db3943d0dc9855f3da979a2faaf55 Mon Sep 17 00:00:00 2001 From: cooper-lzy <78672629+cooper-lzy@users.noreply.github.com> Date: Thu, 17 Nov 2022 17:10:57 +0800 Subject: [PATCH 2/2] update --- docs-2.0/nebula-explorer/faq.md | 4 ++-- docs-2.0/nebula-explorer/workflow/1.prepare-resources.md | 4 +++- 2 files changed, 5 insertions(+), 3 deletions(-) diff --git a/docs-2.0/nebula-explorer/faq.md b/docs-2.0/nebula-explorer/faq.md index 68281dce87..b68302e2fc 100644 --- a/docs-2.0/nebula-explorer/faq.md +++ b/docs-2.0/nebula-explorer/faq.md @@ -70,11 +70,11 @@ Dag Controller 包含图查询组件和图计算组件。图查询是发送请 ## 任务运行失败，报错`no available namenodes: dial tcp xx.xx.xx.xx:8020: connect: connection timed out`怎么办？ -请检查 HDFS 的 namenode 端口是否开放。 +请检查 HDFS 的 namenode 端口 8020 是否开放。 ## 任务运行失败，报错`org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout`怎么办？ -请检查 HDFS 的 datanode 端口是否开放。 +请检查 HDFS 的 datanode 端口 50010 是否开放。 如果没有开放端口，还可能报类似如下错误： diff --git a/docs-2.0/nebula-explorer/workflow/1.prepare-resources.md b/docs-2.0/nebula-explorer/workflow/1.prepare-resources.md index 8761ac796f..e3cfb24e70 100644 --- a/docs-2.0/nebula-explorer/workflow/1.prepare-resources.md +++ b/docs-2.0/nebula-explorer/workflow/1.prepare-resources.md @@ -15,10 +15,12 @@ 3. 配置如下三种资源： + ![workflow_configuration](https://docs-cdn.nebula-graph.com.cn/figures/workflow_configuration_221117_cn.png) + |类型|说明| |:--|:--| |NebulaGraph 配置| 执行图查询或写入图计算结果的 Graph 服务地址。默认为登录 Explorer 使用的 Graph 服务，无法修改。可以设置三种服务的超时时间。| - |HDFS 配置| 存储结果的 HDFS 地址（`fs.defaultFS`配置）。单击**添加**新增地址，设置 HDFS 名称、HDFS 路径、HDFS 用户名（可选）。需要先在 Analytics 所在机器上安装 HDFS 客户端，该配置才能生效。| + |HDFS 配置| 存储结果的 HDFS 地址（`fs.defaultFS`配置）。支持配置保存路径，例如`hdfs://192.168.8.100:9000/test`。单击**添加**新增地址，设置 HDFS 名称、HDFS 路径、HDFS 用户名（可选）。需要先在 Analytics 所在机器上安装 HDFS 客户端，该配置才能生效。| |NebulaGraph Analytics 配置| 执行图计算的 NebulaGraph Analytics 地址。单击**添加**新增地址。| 4. 配置完成后，单击**确认**。