求助贴（关于nextchat的问题） #202

New Issue

xhh · 2024-10-16T22:39:18+08:00

xhh commented

2024-10-16 22:39:18 +08:00

关于nextchat对话可视化的问题，我是用windows系统上本地部署的glm4模型，这样部署的模型可以导入在nextchat中吗，可以的话，那nextchat的接口地址填什么？

xhh changed title from ~~求助贴~~ to 求助贴（关于nextchat的问题）

2024-10-16 22:40:56 +08:00

best_newnew commented

2024-10-17 14:49:09 +08:00

我是在Linux系统上部署的，在用代码“python openai_api_server.py --gpus 0 --base_model /llama-3-chinese-8b-instruct-v3”启动大模型服务后一般会出现类似这样的输出：
可以看到图中注明了端口号。

如果你是在windows本地部署模型的话，应该也会出现类似的输出。可能需要你提供一些的具体运行时的截图信息喔

我是在Linux系统上部署的，在用代码“python openai_api_server.py --gpus 0 --base_model /llama-3-chinese-8b-instruct-v3”启动大模型服务后一般会出现类似这样的输出：![image](/attachments/8db1915a-77a7-49a7-ad8d-cf1986fd0d0d) 可以看到图中注明了端口号。如果你是在windows本地部署模型的话，应该也会出现类似的输出。可能需要你提供一些的具体运行时的截图信息喔

image.png

42 KiB

xhh commented

2024-10-19 18:41:42 +08:00

ray老师，我这个东西报这个错误，然后我自己尝试各种方法都安装失败，求一个安装vllm教程

<img width="1891" alt="image" src="/attachments/19a8b20c-d87e-4904-a5ed-8fd5309bd693">ray老师，我这个东西报这个错误，然后我自己尝试各种方法都安装失败，求一个安装vllm教程

image.png

205 KiB

image.png

304 KiB

xhh commented

2024-10-19 21:36:51 +08:00

我电脑是windows系统，Python的环境是用conda搭建的，然后按照老师的代码运行，后面就是会报一个错误，没有vllm这个模块，然后安装就出了很多问题，换了方式安装也装不上去，老师可以给个conda安装vllm包的详细教程吗？上面那个是报错的图

我是在Linux系统上部署的，在用代码“python openai_api_server.py --gpus 0 --base_model /llama-3-chinese-8b-instruct-v3”启动大模型服务后一般会出现类似这样的输出：
可以看到图中注明了端口号。

如果你是在windows本地部署模型的话，应该也会出现类似的输出。可能需要你提供一些的具体运行时的截图信息喔

我电脑是windows系统，Python的环境是用conda搭建的，然后按照老师的代码运行，后面就是会报一个错误，没有vllm这个模块，然后安装就出了很多问题，换了方式安装也装不上去，老师可以给个conda安装vllm包的详细教程吗？上面那个是报错的图 > 我是在Linux系统上部署的，在用代码“python openai_api_server.py --gpus 0 --base_model /llama-3-chinese-8b-instruct-v3”启动大模型服务后一般会出现类似这样的输出：![image](/attachments/8db1915a-77a7-49a7-ad8d-cf1986fd0d0d) > 可以看到图中注明了端口号。 > > 如果你是在windows本地部署模型的话，应该也会出现类似的输出。可能需要你提供一些的具体运行时的截图信息喔

12390900721cs commented

2024-10-21 14:32:30 +08:00

vLLM可以在训练平台使用喔~
HswOAuth/llm_share#25 (comment)
这里有在训练平台使用已经安装好的环境的教程

vLLM可以在训练平台使用喔~ https://hsw-git.huishiwei.cn/HswOAuth/llm_share/issues/25#issue-278 这里有在训练平台使用已经安装好的环境的教程

Sign in to join this conversation.