【求助帖】关于微调后的大模型如何评估？ #164

New Issue

11320390987cs · 2024-10-08T22:10:03+08:00

11320390987cs commented

2024-10-08 22:10:03 +08:00

我们已经讲解了大模型的微调技术，在实际使用过程中，微调后的效果如何评估？使用哪些工具？希望老师指导一下，或者给一些方向。

12390900721cs commented

2024-10-09 10:26:35 +08:00

可以根据训练任务的要求在模型输出的内容上进行对比评估。

具体来说，对于上次Function Call实践课程中的模型，我们在训练微调时给出的提示词要求是这样的：

可以看到我们在输出格式和参数格式给出了要求：

翻译过来是，如果使用了这个工具就必须将参数用jason格式传递。

后面一大块则是调用时需要说出的一堆格式上的要求。

此外，在测试文件中，我们可以看到在eval_prompt（我理解的是微调提示词）中的Action部分需要给出tools的名字和输入。此时的输入应该是jason格式（function call中函数的输入都应该是这个格式）。

对于测试后的结果可以看出微调后的模型，可以正确给出json格式function参数。

而没有经过微调的就不行。

此外，经过微调后的模型在thought和action等方面的输出也比微调前的更为清楚、详细。

至于如何对准确性和质量在数量上或者更为专业的方式进行评估我也不知道，我只知道这个。

可以根据训练任务的要求在模型输出的内容上进行对比评估。具体来说，对于上次Function Call实践课程中的模型，我们在训练微调时给出的提示词要求是这样的：![](https://cdn.nlark.com/yuque/0/2024/png/48516026/1728440048721-d33745c4-f368-4cc4-9755-3124dd84b15d.png) 可以看到我们在输出格式和参数格式给出了要求： ![](https://cdn.nlark.com/yuque/0/2024/png/48516026/1728440100241-b0db7bb5-12b9-4b3c-aa92-256b78129e1d.png) 翻译过来是，如果使用了这个工具就必须将参数用jason格式传递。后面一大块则是调用时需要说出的一堆格式上的要求。此外，在测试文件中，我们可以看到在eval_prompt（我理解的是微调提示词）中的Action部分需要给出tools的名字和输入。此时的输入应该是jason格式（function call中函数的输入都应该是这个格式）。 ![](https://cdn.nlark.com/yuque/0/2024/png/48516026/1728440271679-31be545d-d94c-40e7-ad9f-8e8d4d1c225d.png) 对于测试后的结果可以看出<font style="color:rgb(24, 28, 33);">微调后的模型，可以正确给出json格式function参数。</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48516026/1728440582972-a7e2fba8-493e-4398-8ff0-409cc97b199d.png) 而没有经过微调的就不行。此外，经过微调后的模型在thought和action等方面的输出也比微调前的更为清楚、详细。至于如何对准确性和质量在数量上或者更为专业的方式进行评估我也不知道，我只知道这个。

👍 2

21970855250cs commented

2024-10-09 20:40:10 +08:00

如果自己有比较多的数据用于评估，可以使用OpenCompass工具：https://github.com/open-compass/OpenCompass/
使用指南在这里：https://opencompass.org.cn/doc

如果自己有比较多的数据用于评估，可以使用OpenCompass工具：https://github.com/open-compass/OpenCompass/ 使用指南在这里：https://opencompass.org.cn/doc

Sign in to join this conversation.