HswOAuth/llm_course

大模型提示词工程实践(跟练)-微调CodeLlama-7b-hf模型 #13

New Issue

Closed

opened 2024-09-05 18:03:20 +08:00 by 12535224197cs · 0 comments

12535224197cs commented

2024-09-05 18:03:20 +08:00

必备条件

开发环境：通过云平台创建
（模型训练时间：2小时15分钟）

step1: 创建notebook

算法:(prompts04)复制公共算法prompts_enginnering_04
镜像:(aihpc3-with-vscode:v0)
数据:(huggingface-cache)包含了模型'/dataset/CodeLlama-7b-hf/'和数据集'/dataset/datasets/sql_datasets'
task:2(使用2机8卡)

step2: 使用数据集sql_datasets微调CodeLlama-7b-hf模型

1、打开task0，task1两个notebook
2、将task0打开的notebook作为master，获取该机器的IP地址，该机器的地址为10.244.37.87
3、在task0运行：NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.37.87 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload

4、在task1运行：NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.37.87 NODE_RANK=1 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload

5、在task0查看训练进度

6、完成模型训练，模型训练时间：2小时15分钟。

7、使用微调前和微调后的模型进行问答对比

必备条件 - [x] 开发环境：通过云平台创建（模型训练时间：2小时15分钟） # step1: 创建notebook 算法:(prompts04)复制公共算法prompts_enginnering_04 镜像:(aihpc3-with-vscode:v0) 数据:(huggingface-cache)包含了模型'/dataset/CodeLlama-7b-hf/'和数据集'/dataset/datasets/sql_datasets' task:2(使用2机8卡) ![截屏2024-09-05 16.49.28.png](/attachments/ff90e848-e80b-4caa-b92a-0857273725c2) # step2: 使用数据集sql_datasets微调CodeLlama-7b-hf模型 1、打开task0，task1两个notebook 2、将task0打开的notebook作为master，获取该机器的IP地址，该机器的地址为10.244.37.87 3、在task0运行：NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.37.87 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload ![截屏2024-09-05 17.05.39.png](/attachments/a218d77b-0e8e-4206-ab1f-7f765dee70b9) 4、在task1运行：NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.37.87 NODE_RANK=1 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload ![截屏2024-09-05 17.03.51.png](/attachments/1952485a-ee04-4e19-bd58-6edfec3c1111) 5、在task0查看训练进度 ![截屏2024-09-05 17.07.19.png](/attachments/c4262834-b87a-4af3-b992-06588195a426) 6、完成模型训练，模型训练时间：2小时15分钟。 ![截屏2024-09-05 19.15.32.png](/attachments/7fdd605b-1215-46c1-9bb2-654765cafae4) 7、使用微调前和微调后的模型进行问答对比 ![截屏2024-09-05 19.18.35.png](/attachments/87edeaff-0d5a-430e-a184-5e3ceffaf9f5)

截屏2024-09-05 16.49.28.png

1.0 MiB

截屏2024-09-05 17.03.51.png

1.6 MiB

截屏2024-09-05 17.05.39.png

1.5 MiB

截屏2024-09-05 17.07.19.png

1.3 MiB

12535224197cs closed this issue

2024-09-05 20:13:29 +08:00

Sign in to join this conversation.

No Label

No Milestone

No project

No Assignees

1 Participants

Notifications

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#13

No description provided.