《中文llama3仿openai api实战》学完后的几个问题。 #502

New Issue

18980478433 · 2025-02-06T11:08:46+08:00

18980478433 commented

2025-02-06 11:08:46 +08:00

1、课程中是用Chinese-LLaMA-Alpaca-3进行了例子讲授，是否其它的开源模型部署，都可以用实战中的方法？
2、https://github.com/ymcui/Chinese-LLaMA-Alpaca-3，此开源项目的作用是什么呢?
因为我下载大模型本身是用的modelscope download --model ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3，这个是大模型本身的数据模型文件吗？
而github上的源码项目的目的是作为运行服务去调用数据模型文件，然后通过fastapi提供 api供程序调用吗？适用于所有的此类开源llm项目吗？
3、新的requirements.txt中的依赖，比源码中下下来的多很多，多近100个。这个依赖列表是如何来的呢？如果要本地部署其它的模型，我应该如何得到正确的requirements中的列表呢？
4、启动服务的命令：python openai_api_server.py --gpus 3 --base_model /home/llm_course/.cache/modelscope/hub/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3。此命令适用于其它的模型吗？还是每个模型都不一样？

1、课程中是用Chinese-LLaMA-Alpaca-3进行了例子讲授，是否其它的开源模型部署，都可以用实战中的方法？ 2、https://github.com/ymcui/Chinese-LLaMA-Alpaca-3，此开源项目的作用是什么呢? 因为我下载大模型本身是用的modelscope download --model ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3，这个是大模型本身的数据模型文件吗？而github上的源码项目的目的是作为运行服务去调用数据模型文件，然后通过fastapi提供 api供程序调用吗？适用于所有的此类开源llm项目吗？ 3、新的requirements.txt中的依赖，比源码中下下来的多很多，多近100个。这个依赖列表是如何来的呢？如果要本地部署其它的模型，我应该如何得到正确的requirements中的列表呢？ 4、启动服务的命令：python openai_api_server.py --gpus 3 --base_model /home/llm_course/.cache/modelscope/hub/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3。此命令适用于其它的模型吗？还是每个模型都不一样？

rayhsw commented

2025-02-06 16:52:01 +08:00

不同模型，会有一些差异；
因为我下载大模型本身是用的modelscope download --model ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3，这个是大模型本身的数据模型文件吗？是的；而github上的源码项目的目的是作为运行服务去调用数据模型文件，然后通过fastapi提供 api供程序调用吗？是的；适用于所有的此类开源llm项目吗？适用于大部份，不是所有；
新的requirements.txt中的依赖，比源码中下下来的多很多，多近100个。这个依赖列表是如何来的呢？是老师经过部署，确定能使用后得到的，原有的requirements.txt不完整；如果要本地部署其它的模型，我应该如何得到正确的requirements中的列表呢？本次课的案例，使用老师提供的即可 后续如果你需要自己学习其他开源项目，经常会碰到requirements.txt不完整的情况，需要自己遇到错误以后，去解决错误；
每个模型不一样；

1. 不同模型，会有一些差异； 2. 因为我下载大模型本身是用的modelscope download --model ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3，这个是大模型本身的数据模型文件吗？**是的**；而github上的源码项目的目的是作为运行服务去调用数据模型文件，然后通过fastapi提供 api供程序调用吗？**是的**；适用于所有的此类开源llm项目吗？**适用于大部份，不是所有**； 3. 新的requirements.txt中的依赖，比源码中下下来的多很多，多近100个。这个依赖列表是如何来的呢？**是老师经过部署，确定能使用后得到的，原有的requirements.txt不完整**；如果要本地部署其它的模型，我应该如何得到正确的requirements中的列表呢？**本次课的案例，使用老师提供的即可** 后续如果你需要自己学习其他开源项目，经常会碰到requirements.txt不完整的情况，需要自己遇到错误以后，去解决错误； 4. 每个模型不一样；

18980478433 commented

2025-02-06 17:00:03 +08:00

那老师，这种模型实战，并没有普世的方法，针对不同的模型部署，我们是要去研读提供者的源码才行？如果一个新的模型，很可能我们会预到新的坑，是否老师在你的经验上，你能抽像出一些基本步骤出来呢？感觉老师你教给我们鱼了，而没有教给我们渔。

rayhsw commented

2025-02-06 17:57:17 +08:00

那老师，这种模型实战，并没有普世的方法，针对不同的模型部署，我们是要去研读提供者的源码才行？如果一个新的模型，很可能我们会预到新的坑，是否老师在你的经验上，你能抽像出一些基本步骤出来呢？感觉老师你教给我们鱼了，而没有教给我们渔。

如果只是部署模型，而不想深究内部web推理部分的代码，可是使用xinference、ollama等工具（这些工具已经将部署现成模型进行了高度抽象）。我们这部份实战课是侧重于机遇源码方式来部署，侧重不一样。

> 那老师，这种模型实战，并没有普世的方法，针对不同的模型部署，我们是要去研读提供者的源码才行？如果一个新的模型，很可能我们会预到新的坑，是否老师在你的经验上，你能抽像出一些基本步骤出来呢？感觉老师你教给我们鱼了，而没有教给我们渔。如果只是部署模型，而不想深究内部web推理部分的代码，可是使用xinference、ollama等工具（这些工具已经将部署现成模型进行了高度抽象）。我们这部份实战课是侧重于机遇源码方式来部署，侧重不一样。

Sign in to join this conversation.