HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

【求助】基于LLaMA-Factory的模型微调训练train_loss为1985太大 #243

New Issue
Open
opened 2024-10-20 22:34:26 +08:00 by king · 6 comments
king commented 2024-10-20 22:34:26 +08:00
Copy Link

image

image

控制台打印日志如附件txt

![image](/attachments/e1e08b9f-2bd2-41d2-ad59-9840f60b5f80) ![image](/attachments/c2be3d8f-525f-4d29-a91c-51917f8df428) 控制台打印日志如附件txt
image.png
33 KiB
image.png
33 KiB
image.png
79 KiB
控制台日志.txt
31 KiB
image.png
12390900721cs commented 2024-10-21 18:30:26 +08:00
Copy Link

可以尝试对学习率进行调整？学习率过高或过低都可能导致训练损失过高。

可以尝试对学习率进行调整？学习率过高或过低都可能导致训练损失过高。
HswOAuth commented 2024-10-22 21:12:52 +08:00
Owner
Copy Link

请保持所有参数与上课时一致，再次尝试微调，观察下loss

请保持所有参数与上课时一致，再次尝试微调，观察下loss
txg0612 commented 2024-10-23 16:16:24 +08:00
Copy Link

我的参数和上课设置一样的，步骤也一样的，但微调结束后没有画出损失曲线，测试效果时，胡言乱语。

我的参数和上课设置一样的，步骤也一样的，但微调结束后没有画出损失曲线，测试效果时，胡言乱语。
12390900721cs commented 2024-10-24 18:21:01 +08:00
Copy Link

我的参数和上课设置一样的，步骤也一样的，但微调结束后没有画出损失曲线，测试效果时，胡言乱语。

可以在这个后面跟进一下喔，这个问题不少同学都有，如果有后续解决方案会在这里更新#273 (comment)

> 我的参数和上课设置一样的，步骤也一样的，但微调结束后没有画出损失曲线，测试效果时，胡言乱语。 > 可以在这个后面跟进一下喔，这个问题不少同学都有，如果有后续解决方案会在这里更新https://hsw-git.huishiwei.cn/HswOAuth/llm_course/issues/273#issue-315
txg0612 commented 2024-10-25 10:25:33 +08:00
Copy Link

我也是，做了几次了，都一样的效果，没损失曲线，改成6次，学习率改成10^-4次方都试过

我也是，做了几次了，都一样的效果，没损失曲线，改成6次，学习率改成10^-4次方都试过
GANGUAGUA commented 2024-10-25 11:57:55 +08:00
Copy Link

请将LLaMA-Factory放置在/root/目录下，也就是：/root/LLaMA-Factory，然后再重复做一次实验

image

请将LLaMA-Factory放置在/root/目录下，也就是：/root/LLaMA-Factory，然后再重复做一次实验 ![image](/attachments/f09f6292-0ebe-462a-8eaf-a2b346fe3cb5)
image.png
79 KiB
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
5 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#243
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?