HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

【求助】LLaMA-Factory对 GLM-4-9B-Chat 进行模型微调loss直接为0 #229

New Issue
Open
opened 2024-10-19 11:08:36 +08:00 by 21484771638cs · 2 comments
21484771638cs commented 2024-10-19 11:08:36 +08:00
Copy Link

问题

这个实验在之前讲课的时候试过一次，没有问题。这两天整理笔记的时候有重新操作了一下，基座模型下载后运行没问题，通过LLaMA-Factory微调后，第二次打印日志时loss已经是0了，模型回答也乱码，试了Qwen-7B-Chat模型相同数据集微调后没有这个问题，这个是GLM-4-9B-Chat问题吗，微调参数要调整哪个地方。请大家帮忙解答一下。
微调参数没动
image
训练情况
image
日志
image

### 问题 这个实验在之前讲课的时候试过一次，没有问题。这两天整理笔记的时候有重新操作了一下，基座模型下载后运行没问题，通过LLaMA-Factory微调后，第二次打印日志时loss已经是0了，模型回答也乱码，试了Qwen-7B-Chat模型相同数据集微调后没有这个问题，这个是GLM-4-9B-Chat问题吗，微调参数要调整哪个地方。请大家帮忙解答一下。 **微调参数没动** ![image](/attachments/cda5aa28-8107-4e95-b138-484eb372e787) **训练情况** ![image](/attachments/a9499b33-5a68-47b9-8d01-56f2c5c0a035) **日志** ![image](/attachments/82a0752b-6176-4017-88e1-fee7935aa69c)
image.png
85 KiB
image.png
85 KiB
image.png
55 KiB
image.png
287 KiB
image.png
HswOAuth commented 2024-10-22 21:11:25 +08:00
Owner
Copy Link

可以尝试将模型删除，然后重新下载基座模型试试，另外请保持与上课时参数一模一样，再尝试看能否可以微调

可以尝试将模型删除，然后重新下载基座模型试试，另外请保持与上课时参数一模一样，再尝试看能否可以微调
21484771638cs commented 2024-10-23 12:47:23 +08:00
Author
Copy Link

可以尝试将模型删除，然后重新下载基座模型试试，另外请保持与上课时参数一模一样，再尝试看能否可以微调

都试过了。老师，我看这个好像是普遍问题，看到别的同学也没法复现。

> 可以尝试将模型删除，然后重新下载基座模型试试，另外请保持与上课时参数一模一样，再尝试看能否可以微调 都试过了。老师，我看这个好像是普遍问题，看到别的同学也没法复现。
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#229
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?