07-使用xtuner微调开源模型 #147

New Issue

Open

opened 2024-09-30 17:53:12 +08:00 by 12535224197cs · 0 comments

12535224197cs commented 2024-09-30 17:53:12 +08:00

Copy Link

step1: 创建notebook

step2: 查找配置文件， 复制配置文件

xtuner list-cfg -p  yi_6b_qlora_alpaca_enzh_e3
xtuner copy-cfg yi_6b_qlora_alpaca_enzh_e3 /code

step3: 下载模型文件和数据下载

1. 打开yi_6b_qlora_alpaca_enzh_e3.py文件，查看需要的模型文件和数据文件名并下载。
2. # 在平台上设置网络代理才能连接到互联网
#只有在汇视威计算平台才可用
export http_proxy=http://10.10.9.50:3000
export https_proxy=http://10.10.9.50:3000
export no_proxy=localhost,127.0.0.1
#设置huggingface的cache目录在共享目录下
export HF_HOME=/code/huggingface-cache
#设置huggingface访问站点为国内镜像站点
export HF_ENDPOINT=https://hf-mirror.com
3. 下载模型文件：huggingface-cli download 01-ai/Yi-6B --revision main --local-dir-use-symlinks False --local-dir /code/data/models/01-ai_Yi-6B
4. 下载数据文件：huggingface-cli download silk-road/alpaca-data-gpt4-chinese --repo-type dataset --revision main --local-dir-use-symlinks False --local-dir /code/data/datasets/silk-road--alpaca-data-gpt4-chinese
5. 下载数据文件： huggingface-cli download tatsu-lab/alpaca --repo-type dataset --revision main --local-dir-use-symlinks False --local-dir /code/data/datasets/tatsu-lab_alpaca

step4: 修改模型文件路径和数据文件路径为本地路径

step5: 注释掉量化参数（平台暂时不支持量化训练需要将相关参数注释掉不启用）

step6: 启动微调

NPROC_PER_NODE=4 xtuner train /code/yi_6b_qlora_alpaca_enzh_e3_copy.py --deepspeed deepspeed_zero3

### step1: 创建notebook  ### step2: 查找配置文件， 复制配置文件 ``` xtuner list-cfg -p yi_6b_qlora_alpaca_enzh_e3 xtuner copy-cfg yi_6b_qlora_alpaca_enzh_e3 /code ```  ### step3: 下载模型文件和数据下载 ``` 1. 打开yi_6b_qlora_alpaca_enzh_e3.py文件，查看需要的模型文件和数据文件名并下载。 2. # 在平台上设置网络代理才能连接到互联网 #只有在汇视威计算平台才可用 export http_proxy=http://10.10.9.50:3000 export https_proxy=http://10.10.9.50:3000 export no_proxy=localhost,127.0.0.1 #设置huggingface的cache目录在共享目录下 export HF_HOME=/code/huggingface-cache #设置huggingface访问站点为国内镜像站点 export HF_ENDPOINT=https://hf-mirror.com 3. 下载模型文件：huggingface-cli download 01-ai/Yi-6B --revision main --local-dir-use-symlinks False --local-dir /code/data/models/01-ai_Yi-6B 4. 下载数据文件：huggingface-cli download silk-road/alpaca-data-gpt4-chinese --repo-type dataset --revision main --local-dir-use-symlinks False --local-dir /code/data/datasets/silk-road--alpaca-data-gpt4-chinese 5. 下载数据文件： huggingface-cli download tatsu-lab/alpaca --repo-type dataset --revision main --local-dir-use-symlinks False --local-dir /code/data/datasets/tatsu-lab_alpaca ```   ### step4: 修改模型文件路径和数据文件路径为本地路径  ### step5: 注释掉量化参数（平台暂时不支持量化训练需要将相关参数注释掉不启用）  ### step6: 启动微调 `NPROC_PER_NODE=4 xtuner train /code/yi_6b_qlora_alpaca_enzh_e3_copy.py --deepspeed deepspeed_zero3`  

Sign in to join this conversation.

No Branch/Tag Specified

Branches Tags

main

No results found.

Labels

Clear labels   

bug

Something is not working

  

duplicate

This issue or pull request already exists

  

enhancement

New feature

  

help wanted

Need some help

  

invalid

Something is wrong

  

question

More information is needed

  

wontfix

This won't be fixed

No Label

bug

duplicate

enhancement

help wanted

invalid

question

wontfix

Milestone

Clear milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

No Assignees

1 Participants

Notifications

Subscribe

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#147

No description provided.