06班级-舆情系统-第32节课-林辉老师 #687

New Issue

Aa123456 · 2025-04-10T22:01:42+08:00

Aa123456 commented

2025-04-10 22:01:42 +08:00

老师，用图2命令在本地 dos执行命令后，输入密码，无提示，是正常的，127.0.0.1:9997无法访问
m3e-base 无法下载，如图·1，搜索的是 m3e-base模型，报错却是：Model not found in the model list, uid: qwen2.5-instruct-0，在这个模型之前，我下的是：qwen2.5-instruct-32b-8bit，是可以的。

老师，用图2命令在本地 dos执行命令后，输入密码，无提示，是正常的，127.0.0.1:9997无法访问 m3e-base 无法下载，如图·1，搜索的是 m3e-base模型，报错却是：Model not found in the model list, uid: qwen2.5-instruct-0，在这个模型之前，我下的是：qwen2.5-instruct-32b-8bit，是可以的。

1744293117175.png

94 KiB

1744293291264.png

85 KiB

linhui commented

2025-04-10 22:05:30 +08:00

把命令中的127.0.0.1改成0.0.0.0 然后再使用127.0.0.1:9997试试

Aa123456 commented

2025-04-11 09:46:06 +08:00

xinference-local --host 0.0.0.0 --port 6006 老师，我是用这个命令启动的，这个对吗？

Aa123456 commented

2025-04-11 09:52:57 +08:00

qwen2.5-instruct-32b-8bit 还有，下载这个模型，报错如下，是我这配置不行吗？
配置：
镜像 PyTorch 2.1.0 Python 3.10(ubuntu22.04) CUDA 12.1
GPU RTX 3090(24GB) * 1
CPU 14 vCPU Intel(R) Xeon(R) Platinum 8362 CPU @ 2.80GHz

qwen2.5-instruct-32b-8bit 还有，下载这个模型，报错如下，是我这配置不行吗？配置：镜像 PyTorch 2.1.0 Python 3.10(ubuntu22.04) CUDA 12.1 GPU RTX 3090(24GB) * 1 CPU 14 vCPU Intel(R) Xeon(R) Platinum 8362 CPU @ 2.80GHz

1744336196329.png

31 KiB