HswOAuth/llm_course

大模型提示词工程实践(跟练)-微调CodeLlama-7b-hf模型 #16

New Issue

Closed

opened 2024-09-05 20:08:25 +08:00 by 12535224197cs · 0 comments

12535224197cs commented

2024-09-05 20:08:25 +08:00

必备条件

开发环境：通过云平台创建
（模型训练时间：2小时15分钟）

step1: 创建notebook

算法:(prompts04)复制公共算法prompts_enginnering_04
镜像:(aihpc3-with-vscode:v0)
数据:(huggingface-cache)包含了模型'/dataset/CodeLlama-7b-hf/'和数据集'/dataset/datasets/sql_datasets'
task:2(使用2机8卡)

step2: 使用数据集sql_datasets微调CodeLlama-7b-hf模型

1、打开task0，task1两个notebook
2、将task0打开的notebook作为master，获取该机器的IP地址，该机器的地址为10.244.37.87
3、在task0运行：NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.37.87 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload

4、在task1运行：NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.37.87 NODE_RANK=1 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload

5、在task0查看训练进度完成模型训练，模型训练时间：2小时15分钟。
![截屏2024-09-05 19.15.32.png]
7、使用微调前和微调后的模型进行问答对比
![截屏2024-09-05 19.18.35.png]

必备条件 - [x] 开发环境：通过云平台创建（模型训练时间：2小时15分钟） # step1: 创建notebook 算法:(prompts04)复制公共算法prompts_enginnering_04 镜像:(aihpc3-with-vscode:v0) 数据:(huggingface-cache)包含了模型'/dataset/CodeLlama-7b-hf/'和数据集'/dataset/datasets/sql_datasets' task:2(使用2机8卡) ![截屏2024-09-05 16.49.28.png](/attachments/7dcb52ff-5435-4b73-85a5-490a367b0868) # step2: 使用数据集sql_datasets微调CodeLlama-7b-hf模型 1、打开task0，task1两个notebook 2、将task0打开的notebook作为master，获取该机器的IP地址，该机器的地址为10.244.37.87 3、在task0运行：NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.37.87 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload ![截屏2024-09-05 17.05.39.png](/attachments/10681092-06aa-49ea-9286-3fa6bd941779) 4、在task1运行：NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.37.87 NODE_RANK=1 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload ![截屏2024-09-05 17.03.51.png](/attachments/16efe859-8bd4-4399-b49d-83c9f969c879) 5、在task0查看训练进度完成模型训练，模型训练时间：2小时15分钟。 ![截屏2024-09-05 19.15.32.png] 7、使用微调前和微调后的模型进行问答对比 ![截屏2024-09-05 19.18.35.png]

截屏2024-09-05 16.49.28.png

1.0 MiB

截屏2024-09-05 17.03.51.png

1.6 MiB

截屏2024-09-05 17.05.39.png

1.5 MiB

截屏2024-09-05 19.15.32.png

1.7 MiB

截屏2024-09-05 19.15.32.png

12535224197cs closed this issue

2024-09-05 20:10:30 +08:00

Sign in to join this conversation.

No Label

No Milestone

No project

No Assignees

1 Participants

Notifications

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#16

No description provided.