HswOAuth/llm_course

微调时，没有曲线，检查点选中后，大模型开始胡言乱语 #261

New Issue

Open

opened 2024-10-21 23:12:29 +08:00 by Chanson · 20 comments

Chanson commented

2024-10-21 23:12:29 +08:00

No description provided.

98 KiB

259 KiB

胡言乱语.png

356 KiB

胡言乱语.png

rebibabo commented

2024-10-22 09:39:55 +08:00

同求助，蹲点，查看服务器那端日志发现第一轮的梯度范数为nan

同求助，蹲点，查看服务器那端日志发现第一轮的梯度范数为nan

21547230244cs commented

2024-10-22 16:28:24 +08:00

可以提供更多信息嘛？比如模型名称等。

然后在加载模型前先确保已经卸载了之前的模型。

可以提供更多信息嘛？比如模型名称等。然后在加载模型前先确保已经卸载了之前的模型。

Chanson commented

2024-10-22 17:04:47 +08:00

Author

可以提供更多信息嘛？比如模型名称等。

然后在加载模型前先确保已经卸载了之前的模型。

GLM-4-9b-chat

> 可以提供更多信息嘛？比如模型名称等。 > > 然后在加载模型前先确保已经卸载了之前的模型。 GLM-4-9b-chat

Chanson commented

2024-10-22 17:05:23 +08:00

Author

可以提供更多信息嘛？比如模型名称等。

然后在加载模型前先确保已经卸载了之前的模型。

GLM-4-9b-chat

卸载过的，不然服务器端无法微调

> > 可以提供更多信息嘛？比如模型名称等。 > > > > 然后在加载模型前先确保已经卸载了之前的模型。 > > GLM-4-9b-chat 卸载过的，不然服务器端无法微调

HswOAuth commented

2024-10-22 21:06:48 +08:00

Owner

请截完整的ui界面，便于排查模型问题，确保使用了GLM-4-9b-chat，如果条件允许，请录屏，然后上传操作视频，方便排查问题，谢谢。

请截完整的ui界面，便于排查模型问题，确保使用了GLM-4-9b-chat，如果条件允许，请录屏，然后上传操作视频，方便排查问题，谢谢。

Chanson commented

2024-10-22 21:26:15 +08:00

Author

请截完整的ui界面，便于排查模型问题，确保使用了GLM-4-9b-chat，如果条件允许，请录屏，然后上传操作视频，方便排查问题，谢谢。

已上传

> 请截完整的ui界面，便于排查模型问题，确保使用了GLM-4-9b-chat，如果条件允许，请录屏，然后上传操作视频，方便排查问题，谢谢。已上传

Chanson commented

2024-10-22 21:27:49 +08:00

Author

No description provided.

模型微调问题.mp4

101 MiB

guowenlong referenced this issue

2024-10-23 16:23:20 +08:00

【求助帖】2024-10-20 基于LLaMA-Factory的模型微调训练过程中报错，查看控制台日志发现有一处有问题 #273

21547230244cs commented

2024-10-23 18:44:37 +08:00

在视频中看到有将数据路径从data改成了LLaMAFactory/data，可以保持原来的data，试试这样行不行

在视频中看到有将数据路径从data改成了LLaMAFactory/data，可以保持原来的data，试试这样行不行 ![image](/attachments/4a4be569-ffd2-45b6-8ccf-86789ddeda58)

626 KiB

Chanson commented

2024-10-23 21:05:40 +08:00

Author

在视频中看到有将数据路径从data改成了LLaMAFactory/data，可以保持原来的data，试试这样行不行

我在data/下，什么也没有

> 在视频中看到有将数据路径从data改成了LLaMAFactory/data，可以保持原来的data，试试这样行不行 > > ![image](/attachments/4a4be569-ffd2-45b6-8ccf-86789ddeda58) 我在data/下，什么也没有

qiuzhen commented

2024-10-25 09:15:01 +08:00

请问解决了吗

请问解决了吗

HswOAuth commented

2024-10-25 11:03:01 +08:00

Owner

请将LLaMA-Factory放置在/root/目录下，也就是：/root/LLaMA-Factory，然后再重复做一次实验

请将LLaMA-Factory放置在/root/目录下，也就是：/root/LLaMA-Factory，然后再重复做一次实验 <img width="1040" alt="image" src="/attachments/9d6e2945-6b25-40dc-9986-25e4154192cd">

32 KiB

Chanson commented

2024-10-25 15:28:51 +08:00

Author

请问解决了吗

没有呢

> 请问解决了吗没有呢

Chanson commented

2024-10-25 15:30:00 +08:00

Author

请将LLaMA-Factory放置在/root/目录下，也就是：/root/LLaMA-Factory，然后再重复做一次实验

试过了，可以在data/下载入my_demo了，还是没曲线,回复异常。我看到我的服务器端训练的时候中间有一段代码Could not load library libnvrtc.so.12. Error: libnvrtc.so.12: cannot open shared object file: No such file or directory

> 请将LLaMA-Factory放置在/root/目录下，也就是：/root/LLaMA-Factory，然后再重复做一次实验 > <img width="1040" alt="image" src="/attachments/9d6e2945-6b25-40dc-9986-25e4154192cd"> 试过了，可以在data/下载入my_demo了，还是没曲线,回复异常。我看到我的服务器端训练的时候中间有一段代码Could not load library libnvrtc.so.12. Error: libnvrtc.so.12: cannot open shared object file: No such file or directory

HswOAuth commented

2024-10-25 20:54:55 +08:00

Owner

请将LLaMA-Factory放置在/root/目录下，也就是：/root/LLaMA-Factory，然后再重复做一次实验

试过了，可以在data/下载入my_demo了，还是没曲线,回复异常。我看到我的服务器端训练的时候中间有一段代码Could not load library libnvrtc.so.12. Error: libnvrtc.so.12: cannot open shared object file: No such file or directory

麻烦将使用的镜像截图一下？或者试试cuda12的版本

> > 请将LLaMA-Factory放置在/root/目录下，也就是：/root/LLaMA-Factory，然后再重复做一次实验 > > <img width="1040" alt="image" src="/attachments/9d6e2945-6b25-40dc-9986-25e4154192cd"> > > 试过了，可以在data/下载入my_demo了，还是没曲线,回复异常。我看到我的服务器端训练的时候中间有一段代码Could not load library libnvrtc.so.12. Error: libnvrtc.so.12: cannot open shared object file: No such file or directory 麻烦将使用的镜像截图一下？或者试试cuda12的版本

HswOAuth commented

2024-10-26 02:35:55 +08:00

Owner

并使用fp16试试

并使用fp16试试<img width="1219" alt="image" src="/attachments/69d34e1f-678e-44ea-9b4d-a7205a8c54e4">

87 KiB

12717839409cs commented

2024-10-26 20:54:43 +08:00

请将LLaMA-Factory放置在/root/目录下，也就是：/root/LLaMA-Factory，然后再重复做一次实验

试过了，可以在data/下载入my_demo了，还是没曲线,回复异常。我看到我的服务器端训练的时候中间有一段代码Could not load library libnvrtc.so.12. Error: libnvrtc.so.12: cannot open shared object file: No such file or directory

麻烦将使用的镜像截图一下？或者试试cuda12的版本

> > > 请将LLaMA-Factory放置在/root/目录下，也就是：/root/LLaMA-Factory，然后再重复做一次实验 > > > <img width="1040" alt="image" src="/attachments/9d6e2945-6b25-40dc-9986-25e4154192cd"> > > > > 试过了，可以在data/下载入my_demo了，还是没曲线,回复异常。我看到我的服务器端训练的时候中间有一段代码Could not load library libnvrtc.so.12. Error: libnvrtc.so.12: cannot open shared object file: No such file or directory > > 麻烦将使用的镜像截图一下？或者试试cuda12的版本

模型镜像.png

41 KiB

模型镜像.png

12717839409cs commented

2024-10-26 23:06:57 +08:00

并使用fp16试试

更新CUDA前，使用fp16出现曲线如下图1-2；执行在线课件中的安装特定版本依赖后（应该是更新CUDA12的），使用bf16微调后曲线正常；感谢老师的耐心解答

> 并使用fp16试试<img width="1219" alt="image" src="/attachments/69d34e1f-678e-44ea-9b4d-a7205a8c54e4"> 更新CUDA前，使用fp16出现曲线如下图1-2；执行在线课件中的安装特定版本依赖后（应该是更新CUDA12的），使用bf16微调后曲线正常；感谢老师的耐心解答

出现曲线.png

218 KiB

CUDA11.8 fp16训练后的结果.png

169 KiB

更新CUDA后曲线正常.png

274 KiB

出现曲线.png

CUDA11.8 fp16训练后的结果.png

更新CUDA后曲线正常.png

12717839409cs commented

2024-10-26 23:40:23 +08:00

实验复现完成
8bit 量化后，结果正常

实验复现完成 8bit 量化后，结果正常

8bit量化微调训练内存占用减小.png

94 KiB

8bit量化微调训练成功.png

168 KiB

8bit量化微调训练曲线图.png

269 KiB

8bit量化微调训练内存占用减小.png

8bit量化微调训练成功.png

8bit量化微调训练曲线图.png

12717839409cs commented

2024-10-26 23:40:57 +08:00

4bit量化训练后，结果正常

4bit量化训练后，结果正常

4bit量化微调训练内存占用进一步减小.png

93 KiB

4bit量化微调训练成功.png

260 KiB

4bit量化微调训练已成功.png

163 KiB

4bit量化微调训练内存占用进一步减小.png

4bit量化微调训练成功.png

4bit量化微调训练已成功.png

12717839409cs commented

2024-10-26 23:41:37 +08:00

nextchat接入微调后的模型，回答正常

nextchat接入微调后的模型，回答正常

nextchat 接口地址修改.png

155 KiB

nextchat回答正常.png

117 KiB

命令行回答正常.png

303 KiB

nextchat 接口地址修改.png

nextchat回答正常.png

命令行回答正常.png

Sign in to join this conversation.

No Label

No Milestone

No project

No Assignees

6 Participants

Notifications

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#261

No description provided.