HswOAuth/llm_course

03-大模型提示词工程实践(跟练)-微调CodeLlama-7b-hf模型 #17

New Issue

Open

opened 2024-09-05 20:13:06 +08:00 by 12535224197cs · 0 comments

12535224197cs commented

2024-09-05 20:13:06 +08:00

必备条件

开发环境：通过云平台创建
（模型训练时间：2小时15分钟）

step1: 创建notebook

算法:(prompts04)复制公共算法prompts_enginnering_04
镜像:(aihpc3-with-vscode:v0)
数据:(huggingface-cache)包含了模型'/dataset/CodeLlama-7b-hf/'和数据集'/dataset/datasets/sql_datasets'
task:2(使用2机8卡)

step2: 使用数据集sql_datasets微调CodeLlama-7b-hf模型

1、打开task0，task1两个notebook
2、将task0打开的notebook作为master，获取该机器的IP地址，该机器的地址为10.244.37.87
3、在task0运行：NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.37.87 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload

4、在task1运行：NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.37.87 NODE_RANK=1 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload

5、在task0查看训练进度完成模型训练，模型训练时间：2小时15分钟。

6、使用微调前和微调后的模型进行问答对比

必备条件 - [x] 开发环境：通过云平台创建（模型训练时间：2小时15分钟） # step1: 创建notebook 算法:(prompts04)复制公共算法prompts_enginnering_04 镜像:(aihpc3-with-vscode:v0) 数据:(huggingface-cache)包含了模型'/dataset/CodeLlama-7b-hf/'和数据集'/dataset/datasets/sql_datasets' task:2(使用2机8卡) ![截屏2024-09-05 16.49.28.png](/attachments/b43ac7c3-00cb-4170-b69f-8420f3afd420) # step2: 使用数据集sql_datasets微调CodeLlama-7b-hf模型 1、打开task0，task1两个notebook 2、将task0打开的notebook作为master，获取该机器的IP地址，该机器的地址为10.244.37.87 3、在task0运行：NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.37.87 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload ![截屏2024-09-05 17.05.39.png](/attachments/f6507fc8-bba2-4634-b95b-a3bd17c91533) 4、在task1运行：NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.37.87 NODE_RANK=1 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload ![截屏2024-09-05 17.03.51.png](/attachments/d98403fe-d785-47f8-bac9-b534d9e6ab92) 5、在task0查看训练进度完成模型训练，模型训练时间：2小时15分钟。 ![截屏2024-09-05 19.15.32.png](/attachments/44d7d197-daff-4def-a046-e41ce467d2cd) 6、使用微调前和微调后的模型进行问答对比 ![截屏2024-09-05 19.18.35.png](/attachments/d0a7c0b2-9e7e-440b-9a70-8632347319aa)

截屏2024-09-05 19.15.32.png

1.7 MiB

截屏2024-09-05 19.18.35.png

1.1 MiB

截屏2024-09-05 16.49.28.png

1.0 MiB

截屏2024-09-05 17.03.51.png

1.6 MiB

截屏2024-09-05 17.05.39.png

1.5 MiB

12535224197cs changed title from ~~大模型提示词工程实践(跟练)-微调CodeLlama-7b-hf模型~~ to 03-大模型提示词工程实践(跟练)-微调CodeLlama-7b-hf模型

2024-09-28 17:05:38 +08:00

Sign in to join this conversation.

No Label

No Milestone

No project

No Assignees

1 Participants

Notifications

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#17

No description provided.