大语言模型训练篇：提示词工程【进阶版作业】 #45

New Issue

Open

opened 2024-11-26 15:27:35 +08:00 by GANGUAGUA · 0 comments

GANGUAGUA commented 2024-11-26 15:27:35 +08:00

Copy Link

模型调试

一、开发环境准备

准备算法

创建notebook

设置网络环境

准备数据集

下载数据

huggingface-cli download jtjt520j/CSpider_sql_create_context --repo-type dataset --revision main --local-dir-use-symlinks False --local-dir code/huggingface-cache/datasets/jtjt520j/CSpider_sql_create_context/

这个命令使用 Hugging Face 的 huggingface-cli 工具来下载一个名为 b-mc2/sql-create-context 的数据集。以下是命令各部分的详细解释：

1. huggingface-cli download：这是调用 huggingface-cli 工具的命令，用于下载模型、数据集或其他资源。
2. b-mc2/sql-create-context：这是要下载的数据集的名称。在 Hugging Face 上，数据集通常由用户名和数据集名组成，这里 b-mc2 可能是用户名或组织名，而 sql-create-context 是数据集的具体名称。
3. --repo-type dataset：这个参数指定要下载的资源类型是数据集（dataset）。
4. --revision main：这个参数指定要下载的版本或分支。在这里，main 通常指的是主分支或主版本。
5. --local-dir-use-symlinks False：这个参数设置为 False，意味着在本地目录中不会使用符号链接（symlinks）。如果设置为 True，则可能会在本地目录中创建指向数据集文件的符号链接，而不是复制文件。
6. --local-dir /dataset/datasets/b-mc2___sql-create-context/：这个参数指定了数据集下载到本地的目录路径。在这个例子中，数据集将被下载到 /dataset/datasets/b-mc2___sql-create-context/ 目录下。

总结来说，这个命令的作用是从 Hugging Face 的数据集仓库中下载 b-mc2/sql-create-context 数据集的主版本到本地指定的目录 /dataset/datasets/b-mc2___sql-create-context/，并且在下载过程中不会使用符号链接。

检查数据集及位置

准备模型

由于本次使用的是云平台上一下载好的模型，所以只需要打开训练文件llama2_7b_chat_qlora_sql_e3_copy.py（此文件位于code目录下），确认使用的模型及其路径。同时，也检查数据集的路径是否正确。

二、本地开源模型部署

使用FastChat部署codellama-7b-hf模型

# 按顺序依次执行
# 新建终端，输入如下命令
python -m fastchat.serve.controller --host 0.0.0.0
# 新建终端，输入如下命令
python -m fastchat.serve.model_worker --model-path /dataset/CodeLlama-7b-hf/ --host 0.0.0.0 --num-gpus 4 --max-gpu-memory 15GiB
# 新建终端，输入如下命令
python -m fastchat.serve.openai_api_server --host 0.0.0.0

终端一：

终端二：

终端三：

模型调用

根据数据修改prompt；然后打开新的终端，将其粘贴到终端里

curl -X POST http://localhost:8000/v1/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "CodeLlama-7b-hf",
    "prompt": "You are a powerful text-to-SQL model. Your job is to answer questions about a database. You are given a question and context regarding one or more tables. You must output the SQL query that answers the question. ### Input: 出生在“浙江”州以外的人的名字是什么？ ### Context: CREATE TABLE head (born_state VARCHAR, name VARCHAR) ### Response:",
    "max_tokens": 41,
    "temperature": 0.5
  }'

终端四：

模型给出回答

三、微调训练

设置环境

获取master IP地址

用ifconfig查看主节点IP地址

启动训练

先转到code目录下

cd code

在第一台notebook中输入：

NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.241.125 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload

在第二台notebook中输入：

NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.241.125 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload

四、训练后测试

转换模型格式

测试

这里我测试了两条数据。

测试1：

修改测试文件

执行测试文件

测试2：

修改测试文件

执行测试文件

训练管理

一、开发环境准备

准备算法

准备notebook

设置环境

下载数据集

修改算法/训练文件

在code目录下打开llama2_7b_chat_qlora_sql_e3_copy.py文件

二、微调训练

在训练管理里创建新的训练任务：

输入以下命令，开启训练：

训练开始

训练完毕

三、训练后测试

查看模型保存位置

查看训练后模型被保存的位置

转换模型格式

从pth格式转到hf格式

测试1：

修改模型路径及提示词

执行测试文件

测试2 ：

修改模型路径以及提示词

执行测试文件

# 模型调试 ## 一、开发环境准备 ### 准备算法  ### 创建notebook  ### 设置网络环境 ###  ### ### ### 准备数据集  #### 下载数据 ```plain huggingface-cli download jtjt520j/CSpider_sql_create_context --repo-type dataset --revision main --local-dir-use-symlinks False --local-dir code/huggingface-cache/datasets/jtjt520j/CSpider_sql_create_context/ ``` <font style="color:rgb(6, 6, 7);">这个命令使用 Hugging Face 的 </font>`huggingface-cli`<font style="color:rgb(6, 6, 7);"> 工具来下载一个名为 </font>`b-mc2/sql-create-context`<font style="color:rgb(6, 6, 7);"> 的数据集。以下是命令各部分的详细解释：</font> 1. `huggingface-cli download`<font style="color:rgb(6, 6, 7);">：这是调用 </font>`huggingface-cli`<font style="color:rgb(6, 6, 7);"> 工具的命令，用于下载模型、数据集或其他资源。</font> 2. `b-mc2/sql-create-context`<font style="color:rgb(6, 6, 7);">：这是要下载的数据集的名称。在 Hugging Face 上，数据集通常由用户名和数据集名组成，这里 </font>`b-mc2`<font style="color:rgb(6, 6, 7);"> 可能是用户名或组织名，而 </font>`sql-create-context`<font style="color:rgb(6, 6, 7);"> 是数据集的具体名称。</font> 3. `--repo-type dataset`<font style="color:rgb(6, 6, 7);">：这个参数指定要下载的资源类型是数据集（dataset）。</font> 4. `--revision main`<font style="color:rgb(6, 6, 7);">：这个参数指定要下载的版本或分支。在这里，</font>`main`<font style="color:rgb(6, 6, 7);"> 通常指的是主分支或主版本。</font> 5. `--local-dir-use-symlinks False`<font style="color:rgb(6, 6, 7);">：这个参数设置为 </font>`False`<font style="color:rgb(6, 6, 7);">，意味着在本地目录中不会使用符号链接（symlinks）。如果设置为 </font>`True`<font style="color:rgb(6, 6, 7);">，则可能会在本地目录中创建指向数据集文件的符号链接，而不是复制文件。</font> 6. `--local-dir /dataset/datasets/b-mc2___sql-create-context/`<font style="color:rgb(6, 6, 7);">：这个参数指定了数据集下载到本地的目录路径。在这个例子中，数据集将被下载到 </font>`/dataset/datasets/b-mc2___sql-create-context/`<font style="color:rgb(6, 6, 7);"> 目录下。</font> <font style="color:rgb(6, 6, 7);">总结来说，这个命令的作用是从 Hugging Face 的数据集仓库中下载 </font>`b-mc2/sql-create-context`<font style="color:rgb(6, 6, 7);"> 数据集的主版本到本地指定的目录 </font>`/dataset/datasets/b-mc2___sql-create-context/`<font style="color:rgb(6, 6, 7);">，并且在下载过程中不会使用符号链接。</font> <font style="color:rgb(6, 6, 7);"></font>  #### 检查数据集及位置  ### 准备模型 由于本次使用的是云平台上一下载好的模型，所以只需要打开训练文件llama2_7b_chat_qlora_sql_e3_copy.py（此文件位于code目录下），确认使用的模型及其路径。同时，也检查数据集的路径是否正确。  ## 二、本地开源模型部署 ### 使用FastChat部署codellama-7b-hf模型 ```plain # 按顺序依次执行 # 新建终端，输入如下命令 python -m fastchat.serve.controller --host 0.0.0.0 # 新建终端，输入如下命令 python -m fastchat.serve.model_worker --model-path /dataset/CodeLlama-7b-hf/ --host 0.0.0.0 --num-gpus 4 --max-gpu-memory 15GiB # 新建终端，输入如下命令 python -m fastchat.serve.openai_api_server --host 0.0.0.0 ``` 终端一：  终端二：  终端三：  ### 模型调用  根据数据修改prompt；然后打开新的终端，将其粘贴到终端里 ```plain curl -X POST http://localhost:8000/v1/completions \ -H "Content-Type: application/json" \ -d '{ "model": "CodeLlama-7b-hf", "prompt": "You are a powerful text-to-SQL model. Your job is to answer questions about a database. You are given a question and context regarding one or more tables. You must output the SQL query that answers the question. ### Input: 出生在“浙江”州以外的人的名字是什么？ ### Context: CREATE TABLE head (born_state VARCHAR, name VARCHAR) ### Response:", "max_tokens": 41, "temperature": 0.5 }' ``` 终端四：  模型给出回答   ## 三、微调训练 ### 设置环境   ### 获取master IP地址 用ifconfig查看主节点IP地址  ### 启动训练 先转到code目录下 ```plain cd code ```  在第一台notebook中输入： ```plain NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.241.125 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload ```  在第二台notebook中输入： ```plain NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.241.125 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-workdir --deepspeed deepspeed_zero3_offload ```    ## 四、训练后测试 ### 转换模型格式    ### 测试 这里我测试了两条数据。 #### 测试1： ##### 修改测试文件    ##### 执行测试文件  #### 测试2： ##### 修改测试文件   ##### 执行测试文件  # 训练管理 ## 一、开发环境准备 ### 准备算法  ### 准备notebook  ### 设置环境  ### 下载数据集  ### 修改算法/训练文件 在code目录下打开llama2_7b_chat_qlora_sql_e3_copy.py文件  ## 二、微调训练 在训练管理里创建新的训练任务：  输入以下命令，开启训练：  训练开始  训练完毕  ## 三、训练后测试 ### 查看模型保存位置 查看训练后模型被保存的位置  ### 转换模型格式 从pth格式转到hf格式   ### 测试1： #### 修改模型路径及提示词   #### 执行测试文件  ### 测试2 ： #### 修改模型路径以及提示词   #### 执行测试文件 

GANGUAGUA changed title from 大语言模型训练篇：提示词工程【进阶作业】 to 大语言模型训练篇：提示词工程【进阶版作业】 2024-11-26 15:27:50 +08:00

Sign in to join this conversation.

No Branch/Tag Specified

Branches Tags

main

No results found.

Labels

Clear labels

No items

No Label

Milestone

Clear milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

No Assignees

1 Participants

Notifications

Subscribe

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_share#45

No description provided.