模型的微调出错 #258

New Issue

flys_zhb · 2024-10-21T21:13:11+08:00

flys_zhb commented

2024-10-21 21:13:11 +08:00

按照教材和老师数据以及步骤，微调时始终没有出现曲线，从后台来看似乎没有问题，调整了训练轮数和学习率都没有效果，chat时明显看出数据被污染了，模型回复完全不对。不知道要怎么处理

image.png

91 KiB

4521b95afe48bb03cbe8c343506c596.png

64 KiB

21484771638cs commented

2024-10-21 21:43:42 +08:00

您好，有解决吗？我也是相同问题，一直没找到什么原因。
这个是我之前提的问题
#229

您好，有解决吗？我也是相同问题，一直没找到什么原因。这个是我之前提的问题 https://hsw-git.huishiwei.cn/HswOAuth/llm_course/issues/229

flys_zhb commented

2024-10-21 22:07:10 +08:00

您好，有解决吗？我也是相同问题，一直没找到什么原因。
这个是我之前提的问题
#229

没有呢，等着老师回复吧

> 您好，有解决吗？我也是相同问题，一直没找到什么原因。 > 这个是我之前提的问题 > https://hsw-git.huishiwei.cn/HswOAuth/llm_course/issues/229 没有呢，等着老师回复吧

Chanson commented

2024-10-21 22:59:45 +08:00

+1，一样的问题

11.png

98 KiB

22.png

259 KiB

flys_zhb commented

2024-10-22 11:51:59 +08:00

今天又做了一遍，还是不行。
重新换了qwen8B的模型，同样的数据训练轮数为6和学习率5e-4，微调成功，量化8和4都成功

今天又做了一遍，还是不行。重新换了qwen8B的模型，同样的数据训练轮数为6和学习率5e-4，微调成功，量化8和4都成功

21484771638cs commented

2024-10-22 16:39:12 +08:00

今天又做了一遍，还是不行。
重新换了qwen8B的模型，同样的数据训练轮数为6和学习率5e-4，微调成功，量化8和4都成功

千问的我也试过了，确实没问题。

> 今天又做了一遍，还是不行。 > 重新换了qwen8B的模型，同样的数据训练轮数为6和学习率5e-4，微调成功，量化8和4都成功千问的我也试过了，确实没问题。

HswOAuth commented

2024-10-22 21:08:31 +08:00

请录屏整个屏幕操作流程，或者截图时候截取完整网页界面，便于后续问题排查

txg0612 commented

2024-10-23 16:09:17 +08:00

我也是同样的问题，哪位兄台解决了没？

GANGUAGUA commented

2024-10-25 11:54:51 +08:00

请将LLaMA-Factory放置在/root/目录下，也就是：/root/LLaMA-Factory，然后再重复做一次实验

请将LLaMA-Factory放置在/root/目录下，也就是：/root/LLaMA-Factory，然后再重复做一次实验 ![image](/attachments/c3fc3dac-11fb-4a14-bfc9-e2d00bcbde7d)

image.png

78 KiB

Sign in to join this conversation.

No Label

No Milestone

No project

No Assignees

6 Participants

Notifications

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#258