prompt课后作业 #192

New Issue

Open

opened 2024-10-15 14:16:32 +08:00 by 12390900721cs · 0 comments

12390900721cs commented 2024-10-15 14:16:32 +08:00

Copy Link

【基础】申请国内线上大模型的apikey并进行调用

这里我选择调用的是百度千帆的ERNIE-Speed-Pro-128K模型。

百度千帆大模型

申请API

在应用接入中创建应用，选择对应的模型并创建应用获得API。

查看使用文档

写调用文件

阅读文档后，按格式改写模型输入：

import os
import qianfan

# 替换下列示例中参数，将应用API_Key、应用Secret key值替换为真实值
os.environ["QIANFAN_AK"] = "Your API_Key"
os.environ["QIANFAN_SK"] = "Your Secret Key"

chat_comp = qianfan.ChatCompletion()

# 提示词
prompt = """You are a powerful text-to-SQL model. Your job is to answer questions about a database. You are given a question and context regarding one or more tables.

You must output the SQL query that answers the question.
### Input:
Which Class has a Frequency MHz larger than 91.5, and a City of license of hyannis, nebraska?

### Context:
CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)

### Response:
"""

# 指定特定模型
resp = chat_comp.do(model="ERNIE-Speed-128K", messages=[{
    "role": "user",
    "content": prompt
}])

print(resp["body"])

模型调用

由于调用文件导入了外部库，所以我们要先进行安装：

pip install qianfan

安装完成后对调用文件进行编译：

python call_ernie.py

结果如下，可以看到成功进行了APIKey的调用并输出了正确结果。

【进阶】使用中文数据微调code-llama，并测试效果

数据准备

本次微调使用的数据集：Chinese_SQL_Content

使用如下命令将数据下载到/code/dataset/datasets/sql_datasets2目录下：

huggingface-cli download jtjt520j/CSpider_sql_create_context --repo-type dataset --revision main --local-dir-use-symlinks False --local-dir /code/dataset/datasets/sql_datasets2

这里我本来想下载到dataset/datasets/sql_datasets2的，但是这个目录我不晓得为什么不能编辑。

算法准备

准备好数据集后，我们要在对应的训练算法（llama2_7b_chat_qlora_sql_e3_copy.py）中将数据集的路径也做对应修改。

模型微调

实验使用二机8卡进行，确定一台主机的IP作为master节点，这里我的主节点IP为10.244.174.187。

确定主节点后，分别使用如下命令进行微调：

# NODE 0:
NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.174.187 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-homeworkdir/ --deepspeed deepspeed_zero3_offload

# NODE 1:
NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.174.187  NODE_RANK=1 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-homeworkdir --deepspeed deepspeed_zero3_offload

注意：这里的--work-dir参数选择了训练检查点存储的位置：

--work-dir /code/xtuner-homeworkdir 

NODE 1：

NODE 2：

训练ing...

训练完成。

训练后获得的模型：xtuner-homeworkdir/iter_271.pth

模型测试

模型转换

• 模型转换lora->hf，将lora训练的checkpoint转成hf格式的模型。
• 在前面提到过，我将训练的检查点存储在--work-dir /code/xtuner-homeworkdir 位置，故需要将该位置下存储的iter_271.pth转化为hf格式的模型。这里我选择将转换后的模型存储在/code/iter_271_hf_homework/位置。
• 注意⚠️ 这里的模型位置/code/xtuner-homeworkdir/iter_271.pth是我训练好放在这里的，如果是自己训练的模型，并修改了work-dir，需要填写对应的路径。

xtuner convert pth_to_hf /code/llama2_7b_chat_qlora_sql_e3_copy.py /code/xtuner-homeworkdir/iter_271.pth/ /code/iter_271_hf_homework/

可以看到在/code目录下出现了/iter_271_hf_homework目录。

测试文件准备

对在final_test.py文件中的prompt做对应修改：

对微调后模型的位置做对应修改：

模型测试

python final_test.py

测试1：

可以看到微调前后的模型都给出了正确答案，可能是问题太简单了，再换一个难一点的看看。

测试2：

test文件：

测试效果：

微调前：

CREATE TABLE employee (name VARCHAR, salary VARCHAR, department_id VARCHAR), CREATE TABLE department (num_employees VARCHAR, name VARCHAR, department_id VARCHAR)

微调后：

SELECT name , num_employees FROM department JOIN management ON department.department_id = management.department_id WHERE management.temporary_acting = "是"

正确答案：SELECT T1.name , T1.num_employees FROM department AS T1 JOIN management AS T2 ON T1.department_id = T2.department_id WHERE T2.temporary_acting = '是'

可以看到，很明显，训练后的模型得到的答案更接近正确答案（但是还是有点不一样，那个T1、T2我不知道是干嘛的，除了这个都差不多），而且会说中文了，证明我们使用中文数据集的微调是有效的。

# <font style="color:#333333;">【基础】申请国内线上大模型的apikey并进行调用</font> 这里我选择调用的是百度千帆的[**<font style="color:rgb(34, 34, 34);">ERNIE-Speed-Pro-128K</font>**](https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Bm0hnziyn)模型。 [<font style="color:#117CEE;">百度千帆大模型</font>](https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Nlks5zkzu) ## <font style="color:#333333;">申请API</font> 在应用接入中创建应用，选择对应的模型并创建应用获得API。  #### ## 查看使用文档   ## 写调用文件 阅读文档后，按格式改写模型输入： ```plain import os import qianfan # 替换下列示例中参数，将应用API_Key、应用Secret key值替换为真实值 os.environ["QIANFAN_AK"] = "Your API_Key" os.environ["QIANFAN_SK"] = "Your Secret Key" chat_comp = qianfan.ChatCompletion() # 提示词 prompt = """You are a powerful text-to-SQL model. Your job is to answer questions about a database. You are given a question and context regarding one or more tables. You must output the SQL query that answers the question. ### Input: Which Class has a Frequency MHz larger than 91.5, and a City of license of hyannis, nebraska? ### Context: CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR) ### Response: """ # 指定特定模型 resp = chat_comp.do(model="ERNIE-Speed-128K", messages=[{ "role": "user", "content": prompt }]) print(resp["body"]) ```  ## 模型调用 由于调用文件导入了外部库，所以我们要先进行安装： ```plain pip install qianfan ```  安装完成后对调用文件进行编译： ```plain python call_ernie.py ``` 结果如下，可以看到成功进行了APIKey的调用并输出了正确结果。  # <font style="color:#333333;">【进阶】使用中文数据微调code-llama，并测试效果</font> ## 数据准备 本次微调使用的数据集：[Chinese_SQL_Content](https://huggingface.co/datasets/jtjt520j/CSpider_sql_create_context/viewer)  使用如下命令将数据下载到/code/dataset/datasets/sql_datasets2目录下： huggingface-cli download jtjt520j/CSpider_sql_create_context --repo-type dataset --revision main --local-dir-use-symlinks False --local-dir /code/dataset/datasets/sql_datasets2 <font style="color:#DF2A3F;">这里我本来想下载到dataset/datasets/sql_datasets2的，但是这个目录我不晓得为什么不能编辑。</font>  ## 算法准备 准备好数据集后，我们要在对应的训练算法（llama2_7b_chat_qlora_sql_e3_copy.py）中将数据集的路径也做对应修改。  ## 模型微调 实验使用二机8卡进行，确定一台主机的IP作为master节点，这里我的主节点IP为10.244.174.187。 确定主节点后，分别使用如下命令进行微调： ```plain # NODE 0: NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.174.187 NODE_RANK=0 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-homeworkdir/ --deepspeed deepspeed_zero3_offload # NODE 1: NPROC_PER_NODE=4 NNODES=2 PORT=12345 ADDR=10.244.174.187 NODE_RANK=1 xtuner train llama2_7b_chat_qlora_sql_e3_copy.py --work-dir /code/xtuner-homeworkdir --deepspeed deepspeed_zero3_offload ``` ### 注意：这里的--work-dir参数选择了训练检查点存储的位置： ```plain --work-dir /code/xtuner-homeworkdir ``` NODE 1：  NODE 2：  训练ing...  训练完成。  训练后获得的模型：xtuner-homeworkdir/iter_271.pth  ## 模型测试 ### 模型转换 + <font style="color:#333333;">模型转换lora->hf，将lora训练的checkpoint转成hf格式的模型。</font> + <font style="color:#333333;">在前面提到过，我将训练的检查点存储在--work-dir /code/xtuner-homeworkdir 位置，故需要将该位置下存储的iter_271.pth转化为hf格式的模型。这里我选择将转换后的模型存储在/code/iter_271_hf_homework/位置。</font> + <font style="color:#333333;">注意</font><font style="color:#333333;">⚠️</font><font style="color:#333333;"> 这里的模型位置/code/xtuner-homeworkdir/iter_271.pth是我训练好放在这里的，如果是自己训练的模型，并修改了work-dir，需要填写对应的路径。</font> ```plain xtuner convert pth_to_hf /code/llama2_7b_chat_qlora_sql_e3_copy.py /code/xtuner-homeworkdir/iter_271.pth/ /code/iter_271_hf_homework/ ```  可以看到在/code目录下出现了/iter_271_hf_homework目录。  ### <font style="color:#000000;">测试文件准备</font> 对在final_test.py文件中的prompt做对应修改：  对微调后模型的位置做对应修改：  ### 模型测试 ```plain python final_test.py ``` #### 测试1：   可以看到微调前后的模型都给出了正确答案，可能是问题太简单了，再换一个难一点的看看。 #### 测试2： test文件：  测试效果： 微调前： CREATE TABLE employee (name VARCHAR, salary VARCHAR, department_id VARCHAR), CREATE TABLE department (num_employees VARCHAR, name VARCHAR, department_id VARCHAR) 微调后： SELECT name , num_employees FROM department JOIN management ON department.department_id = management.department_id WHERE management.temporary_acting = "是"  正确答案：SELECT T1.name , T1.num_employees FROM department AS T1 JOIN management AS T2 ON T1.department_id = T2.department_id WHERE T2.temporary_acting = '是'  可以看到，很明显，训练后的模型得到的答案更接近正确答案（但是还是有点不一样，那个T1、T2我不知道是干嘛的，除了这个都差不多），而且会说中文了，证明我们使用中文数据集的微调是有效的。

Sign in to join this conversation.

No Branch/Tag Specified

Branches Tags

main

No results found.

Labels

Clear labels   

bug

Something is not working

  

duplicate

This issue or pull request already exists

  

enhancement

New feature

  

help wanted

Need some help

  

invalid

Something is wrong

  

question

More information is needed

  

wontfix

This won't be fixed

No Label

bug

duplicate

enhancement

help wanted

invalid

question

wontfix

Milestone

Clear milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

No Assignees

1 Participants

Notifications

Subscribe

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#192

No description provided.