HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

【求助帖】将微调模型仿OpenAI兼容接口出错 #366

New Issue
Open
opened 2024-11-08 22:07:25 +08:00 by 137_512 · 14 comments
137_512 commented 2024-11-08 22:07:25 +08:00
Copy Link

将微调模型仿OpenAI兼容接口出错

将微调模型仿OpenAI兼容接口出错
20241108_220347.mp4
8.6 MiB
137_512 commented 2024-11-08 22:10:38 +08:00
Author
Copy Link

按照《基于LLaMA-Factory的模型微调训练》课件操纵

按照《基于LLaMA-Factory的模型微调训练》课件操纵
rayhsw commented 2024-11-11 16:13:25 +08:00
Copy Link

也许是启动接口的时候，出了问题，方便对启动llama-factory 接口的时候录屏么？我这边方便判断，接口是否启动成功

也许是启动接口的时候，出了问题，方便对启动llama-factory 接口的时候录屏么？我这边方便判断，接口是否启动成功
137_512 commented 2024-11-19 09:54:04 +08:00
Author
Copy Link

这里没有看懂image

  1. 如何查看显存
  2. 在哪里启动接口
  3. GIT bash 在微调时，是一直在运行中的，需要先退出运行状态，再设置一个新的隧道吗?
    这里的操作能否录个视频
这里没有看懂<img width="569" alt="image" src="/attachments/e99194e0-4d12-45ed-bbff-1871a05b20c3"> 1. 如何查看显存 2. 在哪里启动接口 3. GIT bash 在微调时，是一直在运行中的，需要先退出运行状态，再设置一个新的隧道吗? 这里的操作能否录个视频
image.png
97 KiB
image.png
107 KiB
image.png
rayhsw commented 2024-11-19 15:05:59 +08:00
Copy Link

这里没有看懂image

  1. 如何查看显存
  2. 在哪里启动接口
  3. GIT bash 在微调时，是一直在运行中的，需要先退出运行状态，再设置一个新的隧道吗?
    这里的操作能否录个视频

  1. 如何查看显存:
    在命令行输入：nvidia-smi

  2. 在哪里启动接口
    在autodl的命令行里，输入命令，具体命令请参考文档，下面是一个例子：llamafactory-cli api --model_name_or_path /root/autodl-tmp/modelscope/hub/ZhipuAI/glm-4-9b-chat --template glm4 --adapter_name_or_path saves/GLM-4-9B-Chat/lora/train_2024-08-31-17-56-13 --finetuning_type lora

  3. GIT bash 在微调时，是一直在运行中的，需要先退出运行状态，再设置一个新的隧道吗?
    不需要

> 这里没有看懂<img width="569" alt="image" src="/attachments/e99194e0-4d12-45ed-bbff-1871a05b20c3"> > 1. 如何查看显存 > 2. 在哪里启动接口 > 3. GIT bash 在微调时，是一直在运行中的，需要先退出运行状态，再设置一个新的隧道吗? > 这里的操作能否录个视频 1. 如何查看显存: 在命令行输入：nvidia-smi 2. 在哪里启动接口 在autodl的命令行里，输入命令，具体命令请参考文档，下面是一个例子：llamafactory-cli api --model_name_or_path /root/autodl-tmp/modelscope/hub/ZhipuAI/glm-4-9b-chat --template glm4 --adapter_name_or_path saves/GLM-4-9B-Chat/lora/train_2024-08-31-17-56-13 --finetuning_type lora 3. GIT bash 在微调时，是一直在运行中的，需要先退出运行状态，再设置一个新的隧道吗? 不需要
rayhsw commented 2024-11-19 15:10:10 +08:00
Copy Link

注意，上述命令llamafactory-cli api --model_name_or_path /root/autodl-tmp/modelscope/hub/ZhipuAI/glm-4-9b-chat --template glm4 --adapter_name_or_path saves/GLM-4-9B-Chat/lora/train_2024-08-31-17-56-13 --finetuning_type lora中，--adapter_name_or_path后，跟随的内容：saves/GLM-4-9B-Chat/lora/train_2024-08-31-17-56-13，可能和你实际需要键入的内容不同，因为你的微调文件夹也许不叫这个名字，要根据实际情况而定。下面是启动命令截图：
image

注意，上述命令llamafactory-cli api --model_name_or_path /root/autodl-tmp/modelscope/hub/ZhipuAI/glm-4-9b-chat --template glm4 --adapter_name_or_path saves/GLM-4-9B-Chat/lora/train_2024-08-31-17-56-13 --finetuning_type lora中，--adapter_name_or_path后，跟随的内容：saves/GLM-4-9B-Chat/lora/train_2024-08-31-17-56-13，可能和你实际需要键入的内容不同，因为你的微调文件夹也许不叫这个名字，要根据实际情况而定。下面是启动命令截图： <img width="1863" alt="image" src="/attachments/050d4e0c-f607-435e-9e3e-21037c9a75fd">
image.png
483 KiB
137_512 commented 2024-11-22 16:20:12 +08:00
Author
Copy Link

nextchat无回复

nextchat无回复
nextchat出错.mp4
29 MiB
rayhsw commented 2024-11-22 18:45:18 +08:00
Copy Link

视频最后，发送信息以后，可以麻烦看一下jupyter里面的命令行报什么错么？看看nextchat的api密钥随便设置一个，还有就是聊天之前，模型是否选择对了。

视频最后，发送信息以后，可以麻烦看一下jupyter里面的命令行报什么错么？看看nextchat的api密钥随便设置一个，还有就是聊天之前，模型是否选择对了。
137_512 commented 2024-11-22 22:06:04 +08:00
Author
Copy Link

请给出操作教程，这些都不知如何操作

请给出操作教程，这些都不知如何操作
137_512 commented 2024-11-23 10:02:27 +08:00
Author
Copy Link

如何设置nextchat的api密钥？

如何设置nextchat的api密钥？
137_512 commented 2024-11-23 10:03:47 +08:00
Author
Copy Link

这一步之前的操作都是按照《基于LLaMA-Factory的模型微调训练》教程操作，结果与教程陈述一致，模型应该是选择对的

这一步之前的操作都是按照《基于LLaMA-Factory的模型微调训练》教程操作，结果与教程陈述一致，模型应该是选择对的
137_512 commented 2024-11-23 10:04:27 +08:00
Author
Copy Link

教程中是否有些操作省略掉了

教程中是否有些操作省略掉了
rayhsw commented 2024-11-23 19:12:15 +08:00
Copy Link
image
<img width="1261" alt="image" src="/attachments/4aaabb5a-4fec-4101-9a46-d523ee62287e">
image.png
936 KiB
rayhsw commented 2024-11-23 19:16:19 +08:00
Copy Link

可以看下面的截图，确认下模型名称：
image

image
可以看下面的截图，确认下模型名称： <img width="640" alt="image" src="/attachments/315f96b0-1b4f-4ca5-9f6f-8049adc9d7fd"> <img width="470" alt="image" src="/attachments/f0aa57b7-c092-40dc-a27c-be0c70e66493">
image.png
408 KiB
image.png
339 KiB
rayhsw commented 2024-11-23 19:17:17 +08:00
Copy Link
image
<img width="693" alt="image" src="/attachments/9fd32475-802a-448e-b2f3-cbf4f0e718d3">
image.png
795 KiB
image.png
795 KiB
image.png
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#366
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?