HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

【求助帖】prompt微调-xinference部署时报错 #380

New Issue
Open
opened 2024-11-16 22:29:43 +08:00 by 11315032393cs · 5 comments
11315032393cs commented 2024-11-16 22:29:43 +08:00
Copy Link

下载模型到本地后，部署时显示如下报错
操作以及模型文件如图二所示

下载模型到本地后，部署时显示如下报错 操作以及模型文件如图二所示
image.png
362 KiB
屏幕截图 2024-11-16 223244.png
128 KiB
image.png 屏幕截图 2024-11-16 223244.png
12019701659cs commented 2024-11-17 19:43:00 +08:00
Copy Link

可能是没有成功建立共享目录，可以手动把模型目录放到xinference镜像的/home下面

可能是没有成功建立共享目录，可以手动把模型目录放到xinference镜像的/home下面
qiuzhen commented 2024-11-18 13:46:20 +08:00
Copy Link

可能是没有成功建立共享目录，可以手动把模型目录放到xinference镜像的/home下面

我的模型就是在xinference下，像图二中所显示的结构，/mnt/xinference/code-llama-sql。我在/mnt/xinference下用老师课件的代码启动docker，在xinference中设置模型路径如图一所示

> 可能是没有成功建立共享目录，可以手动把模型目录放到xinference镜像的/home下面 我的模型就是在xinference下，像图二中所显示的结构，/mnt/xinference/code-llama-sql。我在/mnt/xinference下用老师课件的代码启动docker，在xinference中设置模型路径如图一所示
12019701659cs commented 2024-11-18 14:14:03 +08:00
Copy Link

你可以进入xinference镜像看下/home目录下面有没有code-llama-sql模型，没有就手动把模型目录放到xinference镜像的/home下面，xinference镜像的/home是本地的根目录

你可以进入xinference镜像看下/home目录下面有没有code-llama-sql模型，没有就手动把模型目录放到xinference镜像的/home下面，xinference镜像的/home是本地的根目录
qiuzhen commented 2024-11-18 16:23:58 +08:00
Copy Link

你可以进入xinference镜像看下/home目录下面有没有code-llama-sql模型，没有就手动把模型目录放到xinference镜像的/home下面，xinference镜像的/home是本地的根目录

docker命令中设置的当前目录(/mnt/xinference)为/home目录，所以我在填写模型文件目录时填写的是/home/code-llama-sql。确定能找到模型，因为我填别的路径时显示的是does not exist，填/home/code-llama-sql时能找到模型但是如图所示报错。

> 你可以进入xinference镜像看下/home目录下面有没有code-llama-sql模型，没有就手动把模型目录放到xinference镜像的/home下面，xinference镜像的/home是本地的根目录 docker命令中设置的当前目录(/mnt/xinference)为/home目录，所以我在填写模型文件目录时填写的是/home/code-llama-sql。确定能找到模型，因为我填别的路径时显示的是does not exist，填/home/code-llama-sql时能找到模型但是如图所示报错。
qiuzhen commented 2024-11-18 16:35:57 +08:00
Copy Link

你可以进入xinference镜像看下/home目录下面有没有code-llama-sql模型，没有就手动把模型目录放到xinference镜像的/home下面，xinference镜像的/home是本地的根目录

已解决，开量化部署成功

> 你可以进入xinference镜像看下/home目录下面有没有code-llama-sql模型，没有就手动把模型目录放到xinference镜像的/home下面，xinference镜像的/home是本地的根目录 已解决，开量化部署成功
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
3 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#380
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?