[minor] support multi-node training

[cdliang11]

No description provided.

[cdliang11]

voxceleb/v2/run.sh and cnceleb/v2/run.sh have been verified.
The default setting is HOST_NODE_ADDR="localhost:0", which means single machine.

++++++++++++++++++++++++++++++++++++++++++

已验证 voxceleb/v2/run.sh / cnceleb/v2/run.sh
默认设置为HOST_NODE_ADDR="localhost:0" 表示单机

[JiJiJiang]

Please check the difference. @cdliang11

#131 by @czy97

[cdliang11]

Please check the difference. @cdliang11

#131 by @czy97

ok，之前没注意这个#131 。
对比了下：

• torchrun的用法相同
• train.py中更改了一个小bug：gpu通过local_rank获取，否则会报list越界。
• 同时改了run.sh脚本，方便使用

[JiJiJiang]

1. 这里的port 0是必须的吗？0感觉更容易被系统进程占用的样子（torchrun的默认端口应该是29400）
2. 如果是单机上跑两个多卡任务，是否把port 0改成其他值即可？（可以验证下）

[cdliang11]

part0不是必须的，可以随便改。可以统一改为29400。
单机跑两个多卡任务，用两个不同的端口号即可。

[JiJiJiang]

Good job!

[czy97]

voxceleb/v2/run.sh and cnceleb/v2/run.sh have been verified. The default setting is HOST_NODE_ADDR="localhost:0", which means single machine.

++++++++++++++++++++++++++++++++++++++++++

已验证 voxceleb/v2/run.sh / cnceleb/v2/run.sh 默认设置为HOST_NODE_ADDR="localhost:0" 表示单机

chengdong @cdliang11 , 问一下，我看这里其实并没有显示指定哪个机器才是host_node, 是torchrun现在支持根据相同的job_id去找关联的进程，然后随机分配一个host_node吗？不知道我理解的对不对

[cdliang11]

voxceleb/v2/run.sh and cnceleb/v2/run.sh have been verified. The default setting is HOST_NODE_ADDR="localhost:0", which means single machine.
++++++++++++++++++++++++++++++++++++++++++
已验证 voxceleb/v2/run.sh / cnceleb/v2/run.sh 默认设置为HOST_NODE_ADDR="localhost:0" 表示单机

chengdong @cdliang11 , 问一下，我看这里其实并没有显示指定哪个机器才是host_node, 是torchrun现在支持根据相同的job_id去找关联的进程，然后随机分配一个host_node吗？不知道我理解的对不对

指定master。
以voxceleb/v2为例，假设有两台机器，选172.16.0.101为master节点:

# 在172.16.0.101执行
bash run.sh --stage 3 --stop-stage 3 --HOST_NODE_ADDR "172.16.0.101:23333" --num_nodes 2
# 在172.16.0.102执行
bash run.sh --stage 3 --stop-stage 3 --HOST_NODE_ADDR "172.16.0.101:23333" --num_nodes 2