求助贴--大模型04期使用xtuner微调开源大模型 #392

New Issue

11252177484cs · 2024-11-21T11:44:10+08:00

11252177484cs commented

2024-11-21 11:44:10 +08:00

按照教材，进行单机多卡微调训练操作，模型为Baichuan-7B，数据为：timdettmers/openassistant-guanaco ，配置文件做了简单修改，主要是模型和数据的目录修改，详见图一。执行命令参考教程，NPROC_PER_NODE=4 xtuner train /code/llama2_7b_chat_qlora_alpaca_e3_copy.py --deepspeed deepspeed_zero3
报错信息详见图二，11/20 16:46:21 - mmengine - INFO - xtuner_dataset_timeout = 0:30:00
Repo card metadata block was not found. Setting CardData to empty.
Generating train split: 9846 examples [00:00, 49692.76 examples/s]
Generating test split: 518 examples [00:00, 26114.20 examples/s]
附图一：
![image](uploading ...)

附图二：
![image](uploading ...)

按照教材，进行单机多卡微调训练操作，模型为Baichuan-7B，数据为：timdettmers/openassistant-guanaco ，配置文件做了简单修改，主要是模型和数据的目录修改，详见图一。执行命令参考教程，NPROC_PER_NODE=4 xtuner train /code/llama2_7b_chat_qlora_alpaca_e3_copy.py --deepspeed deepspeed_zero3 报错信息详见图二，11/20 16:46:21 - mmengine - INFO - xtuner_dataset_timeout = 0:30:00 Repo card metadata block was not found. Setting CardData to empty. Generating train split: 9846 examples [00:00, 49692.76 examples/s] Generating test split: 518 examples [00:00, 26114.20 examples/s] 附图一： ![image](uploading ...) 附图二： ![image](uploading ...)

11252177484cs commented

2024-11-21 11:48:06 +08:00

看上去好像还是微调数据库的问题，不过数据都是正常下载的，不应该有问题。详见附图三。

附图一

附图二

附图三

看上去好像还是微调数据库的问题，不过数据都是正常下载的，不应该有问题。详见附图三。附图一 <img width="407" alt="image" src="/attachments/a133210e-7fce-4be0-8977-213e61189e5f"> 附图二 <img width="407" alt="image" src="/attachments/f5a9304d-340a-4813-8d3b-c475a027d574"> 附图三 <img width="413" alt="image" src="/attachments/d21a2f54-b9e5-4135-a4fd-684fdf8db5cd">

image.png

950 KiB

image.png

955 KiB

image.png

975 KiB

21970855250cs commented

2024-11-21 22:56:35 +08:00

看训练模版，应该是要使用alpaca数据集格式；
如果想用百川模型，需要使用百川的训练模板
可以使用这个模板：xtuner copy-cfg baichuan_7b_qlora_oasst1_e3 .

看训练模版，应该是要使用alpaca数据集格式；如果想用百川模型，需要使用百川的训练模板可以使用这个模板：`xtuner copy-cfg baichuan_7b_qlora_oasst1_e3 .`

11252177484cs commented

2024-11-23 14:48:58 +08:00