HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

【求助帖】vLLM作业遇到的问题 #214

New Issue
Open
opened 2024-10-17 19:20:59 +08:00 by GANGUAGUA · 1 comment
GANGUAGUA commented 2024-10-17 19:20:59 +08:00
Copy Link

查看vLLM支持的模型后，选择了vLLM支持的并且平台上已经下载好了的模型chatglm3-6b。

离线推理

使用单卡推理时把模型路径换成了chatglm3-6b的路径。执行执行python vllm_standalone.py没出现问题。

分布式推理

启动ray后，将vllm_distributed_ray.py文件中pretrained的模型改成了chatglm3-6b。启动 python vllm_distributed_ray.py 也没问题。

在线推理

单卡

输入以下命令报错

python -m vllm.entrypoints.openai.api_server --model /dataset/Qwen1.5-0.5B-Chat/ --tensor-parallel-size 1 --dtype float16

然后添加了--trust-remote-code后执行成功了

python -m vllm.entrypoints.openai.api_server --model /dataset/Qwen1.5-0.5B-Chat/ --tensor-parallel-size 1 --dtype float16 --trust-remote-code

多卡推理

多卡推理也是加了--trust-remote-code后执行成功了

python -m vllm.entrypoints.openai.api_server --model /dataset/chatglm3-6b/ --tensor-parallel-size 4 --dtype float16 --trust-remote-code

使用OpenAI python SDK调用vllm部署的模型

然后将vllm_openai_call.py文件中的模型改为chatglm3-6b，在执行该文件时显示404报错

查看vLLM支持的模型后，选择了vLLM支持的并且平台上已经下载好了的模型chatglm3-6b。 ## 离线推理 <font style="color:#333333;">使用单卡推理时把模型路径换成了chatglm3-6b的路径。执行</font><font style="color:#333333;">执行</font>**<font style="color:#333333;">python vllm_standalone.py</font>**<font style="color:#333333;">没出现问题。</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1729163111919-1e531d3c-571b-4f18-b6b5-29af86bbb21b.png) ### 分布式推理 启动ray后，将<font style="color:#000000;">vllm_distributed_ray.py文件中pretrained的模型改成了chatglm3-6b。启动 python vllm_distributed_ray.py 也没问题。</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1729163120838-2adde754-e99f-428f-9c4d-9c6ef959877a.png) ## 在线推理 ### 单卡 输入以下命令报错 ```plain python -m vllm.entrypoints.openai.api_server --model /dataset/Qwen1.5-0.5B-Chat/ --tensor-parallel-size 1 --dtype float16 ``` 然后添加了`--trust-remote-code`后执行成功了 ```plain python -m vllm.entrypoints.openai.api_server --model /dataset/Qwen1.5-0.5B-Chat/ --tensor-parallel-size 1 --dtype float16 --trust-remote-code ``` ### 多卡推理 多卡推理也是加了`--trust-remote-code`后执行成功了 ```plain python -m vllm.entrypoints.openai.api_server --model /dataset/chatglm3-6b/ --tensor-parallel-size 4 --dtype float16 --trust-remote-code ``` ### **<font style="color:#333333;">使用OpenAI python SDK调用vllm部署的模型</font>** 然后将<font style="color:#000000;">vllm_openai_call.py文件中的模型改为chatglm3-6b，在执行该文件时显示404报错</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1729163128643-beab526f-330c-463c-b2c2-15cc2d060b7b.png) ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1729163821194-bf9f0012-72f8-462a-bbde-68429c01c697.png) ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1729163832265-4ec3998d-a778-498b-afcd-c37b8cda6ad3.png)
image.png
224 KiB
image.png
21970855250cs commented 2024-10-18 22:55:55 +08:00
Copy Link

建议在使用vllm的时候添加参数--served-model-name把模型名字改一下，因为模型名字里有特殊符号/，可能会有bug

建议在使用vllm的时候添加参数`--served-model-name`把模型名字改一下，因为模型名字里有特殊符号/，可能会有bug
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#214
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?