多机多卡训练出错 #314

New Issue

11322648042cs · 2024-10-28T17:50:46+08:00

11322648042cs commented

2024-10-28 17:50:46 +08:00

多机多卡环境训练出错，我替换了master的ip地址（如图所示），还是出错！

1.png

69 KiB

2.png

74 KiB

21547230244cs commented

2024-10-29 11:11:59 +08:00

请确保有cd code，这里的命令应该在code目录下进行

应该是路径问题，你试试在
NPROC_PER_NODE=4 NNODES=2 PORT=22222 ADDR=10.244.209.56 NODE_RANK=0 xtuner train llama2_7b_chat_lora_lawyer_e3_copy.py --work-dir /userhome/xtuner-workdir3 -- deepspeed deepspeed_zero3_offload
代码中将llama2_7b_chat_lora_lawyer_e3_copy.py替换为完整的llama2_7b_chat_lora_lawyer_e3_copy.py路径看可不可以成功。后面那个命令也是同理

请确保有cd code，这里的命令应该在code目录下进行应该是路径问题，你试试在 NPROC_PER_NODE=4 NNODES=2 PORT=22222 ADDR=10.244.209.56 NODE_RANK=0 xtuner train llama2_7b_chat_lora_lawyer_e3_copy.py --work-dir /userhome/xtuner-workdir3 -- deepspeed deepspeed_zero3_offload 代码中将llama2_7b_chat_lora_lawyer_e3_copy.py替换为完整的llama2_7b_chat_lora_lawyer_e3_copy.py路径看可不可以成功。后面那个命令也是同理

Sign in to join this conversation.