HswOAuth/llm_course
19
16
Fork 0
Code Issues 633 Pull Requests Actions Packages Projects Releases Wiki Activity

第6期课程 31-25.3.21-实时网页信息爬取+RAG的实时简报编写 -林辉老师 #776

New Issue
Open
opened 2025-09-14 19:15:50 +08:00 by Aa123456 · 15 comments
Aa123456 commented 2025-09-14 19:15:50 +08:00
Copy Link

老师好，我想用下 qwen-2-vl-instruct 多模态模型识别图片文字 模拟你上课讲的，图1是我的，图2是你上课我的截图
有两个问题：
1.我fastgpt 没法上传图片，这是我版本的问题吗？
2.我这两个模型图标不一样，是什么原因呢？
3.我在autodl上租用服务器，下载m3e-large模型，总报这个错：
Server error: 400 - [address=0.0.0.0:17556, pid=5239] Model m3e-large cannot be run on engine .

老师好，我想用下 qwen-2-vl-instruct 多模态模型识别图片文字 模拟你上课讲的，图1是我的，图2是你上课我的截图 有两个问题： 1.我fastgpt 没法上传图片，这是我版本的问题吗？ 2.我这两个模型图标不一样，是什么原因呢？ 3.我在autodl上租用服务器，下载m3e-large模型，总报这个错： Server error: 400 - [address=0.0.0.0:17556, pid=5239] Model m3e-large cannot be run on engine .
1757847640383.png
124 KiB
1757848047598.png
393 KiB
config.json
21 KiB
docker-copose.txt
6.1 KiB
1757847640383.png 1757848047598.png
linhui commented 2025-09-16 11:05:48 +08:00
Copy Link
  1. 这是你没有在平台上打开图片上传按钮，如下图所示即可打开：image，image
  2. 这是你在config.json中没有设置provider，如下图所示，设置成Qwen就可一样，不用设置avatar：image
  3. 这个错误可能是你的xinference版本不匹配，也有可能是硬件资源的问题，请提供你的xinference版本、完整的错误日志、硬件配置，好做进一步排查
  4. 目前暂无召回，重排这种例子
1. 这是你没有在平台上打开图片上传按钮，如下图所示即可打开：![image](/attachments/6bfa9417-89bf-47f9-9a9d-ac0ceb0ae6a1)，![image](/attachments/72f47d8c-5ac0-4c91-8df5-e6e25acf757c) 2. 这是你在config.json中没有设置provider，如下图所示，设置成Qwen就可一样，不用设置avatar：![image](/attachments/a64e431f-cee2-449f-befd-3170215fbf90) 3. 这个错误可能是你的xinference版本不匹配，也有可能是硬件资源的问题，请提供你的xinference版本、完整的错误日志、硬件配置，好做进一步排查 4. 目前暂无召回，重排这种例子
image.png
192 KiB
image.png
280 KiB
image.png
44 KiB
Aa123456 commented 2025-09-16 17:33:48 +08:00
Author
Copy Link

老师，xinference日志报错，autodl机器配置如下，见附件

xinference 安装步骤如下：
vim ~/.bashrc

设置huggingface⽹站镜像

export HF_HOME=/root/autodl-tmp/huggingface-cache/
export HF_ENDPOINT=https://hf-mirror.com

source ~/.bashrc

pip install "xinference[transformers]"
pip install -U huggingface_hub
xinference-local --host 0.0.0.0 --port 9997

打通隧道后在autodl页面 自定义服务打开页面
粘贴过来网址:以下为模板，修改端口和主机名
ssh -p 49746 root@connect.nmb2.seetacloud.com -L 0.0.0.0:9997:0.0.0.0:9997 -N
ssh -CNg -L 6006:127.0.0.1:6006 root@connect.nmb2.seetacloud.com -p 49746

ssh -p 37973 root@connect.nmb2.seetacloud.com -L 0.0.0.0:9997:0.0.0.0:9997 -N
ssh -CNg -L 6006:127.0.0.1:6006 root@connect.nmb2.seetacloud.com -p 37973
打开cmd,输入修改完的网址，输入密码

无报错后，在浏览器输入网址：http://localhost:9997

老师，xinference日志报错，autodl机器配置如下，见附件 xinference 安装步骤如下： vim ~/.bashrc # 设置huggingface⽹站镜像 export HF_HOME=/root/autodl-tmp/huggingface-cache/ export HF_ENDPOINT=https://hf-mirror.com source ~/.bashrc pip install "xinference[transformers]" pip install -U huggingface_hub xinference-local --host 0.0.0.0 --port 9997 打通隧道后在autodl页面 自定义服务打开页面 粘贴过来网址:以下为模板，修改端口和主机名 ssh -p 49746 root@connect.nmb2.seetacloud.com -L 0.0.0.0:9997:0.0.0.0:9997 -N ssh -CNg -L 6006:127.0.0.1:6006 root@connect.nmb2.seetacloud.com -p 49746 ssh -p 37973 root@connect.nmb2.seetacloud.com -L 0.0.0.0:9997:0.0.0.0:9997 -N ssh -CNg -L 6006:127.0.0.1:6006 root@connect.nmb2.seetacloud.com -p 37973 打开cmd,输入修改完的网址，输入密码 无报错后，在浏览器输入网址：http://localhost:9997
xinference日志报错.txt
8.6 KiB
微信图片_20250916172910.jpg
231 KiB
微信图片_20250916172910.jpg
linhui commented 2025-09-16 22:39:09 +08:00
Copy Link

这是因为m3e-large模型不支持transformers引擎，重新按照如下命令xinference即可：
conda install -c conda-forge pynini==2.1.5
pip install cython
pip install "xinference[all]"
然后在xinference界面用如下配置：image

这是因为m3e-large模型不支持transformers引擎，重新按照如下命令xinference即可： conda install -c conda-forge pynini==2.1.5 pip install cython pip install "xinference[all]" 然后在xinference界面用如下配置：![image](/attachments/f2898328-9d07-48df-a363-01fd4832f565)
image.png
40 KiB
Aa123456 commented 2025-09-17 17:36:51 +08:00
Author
Copy Link

老师，我按你上边说的重新部署了一下xinference，现在又报这个错

老师，我按你上边说的重新部署了一下xinference，现在又报这个错
xinference日志报错.txt
3.5 KiB
linhui commented 2025-09-17 18:52:02 +08:00
Copy Link

报错日志里面显示你没有安装torch，先安装下 torch

报错日志里面显示你没有安装torch，先安装下 torch
image.png
316 KiB
image.png
Aa123456 commented 2025-09-17 23:02:10 +08:00
Author
Copy Link

老师，我重装torch了(2.7.1和2.8.0都试过)，还是报那个错，安装torch时，也报错了，如下所示：

老师，我重装torch了(2.7.1和2.8.0都试过)，还是报那个错，安装torch时，也报错了，如下所示：
xinference日志报错.txt
3.7 KiB
pip_list.txt
6.1 KiB
1758119349020.png
27 KiB
1758119349020.png
linhui commented 2025-09-17 23:07:30 +08:00
Copy Link

pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124
使用这个命令安装torch

pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124 使用这个命令安装torch
Aa123456 commented 2025-09-18 14:34:21 +08:00
Author
Copy Link

老师，我用这个安装完，再安装xinference还是报那个错，我再安装其他版本，也报错了，安不了2.7.1

老师，我用这个安装完，再安装xinference还是报那个错，我再安装其他版本，也报错了，安不了2.7.1
xinference日志报错.txt
3.5 KiB
1758177201427.jpg
84 KiB
1758177238862.png
63 KiB
1758177201427.jpg 1758177238862.png
Aa123456 commented 2025-09-18 14:34:47 +08:00
Author
Copy Link

2.6.0也安装不了

2.6.0也安装不了
linhui commented 2025-09-18 14:37:41 +08:00
Copy Link

你首先卸载掉已经安装的torch：
pip uninstall torch
pip uninstall torchvision
pip uninstall torchaudio
然后用下面的命令安装torch：
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124
最后用下面的命令安装xinfrence：
conda install -c conda-forge pynini==2.1.5
pip install cython
pip install "xinference[all]"

你首先卸载掉已经安装的torch： pip uninstall torch pip uninstall torchvision pip uninstall torchaudio 然后用下面的命令安装torch： pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124 最后用下面的命令安装xinfrence： conda install -c conda-forge pynini==2.1.5 pip install cython pip install "xinference[all]"
Aa123456 commented 2025-09-18 15:22:33 +08:00
Author
Copy Link

老师，我重新租了太机器，试了一边，还是报这个错

老师，我重新租了太机器，试了一边，还是报这个错
xinference日志报错.txt
3.4 KiB
linhui commented 2025-09-18 15:26:22 +08:00
Copy Link

你给一个todesk或者向日葵的远程给我，我远程看一下

你给一个todesk或者向日葵的远程给我，我远程看一下
Aa123456 commented 2025-09-18 15:31:09 +08:00
Author
Copy Link

向日葵 336495962

向日葵 336495962
Aa123456 commented 2025-09-22 14:13:12 +08:00
Author
Copy Link

老师，现在又出这个问题了

老师，现在又出这个问题了
xinference日志报错.txt
36 KiB
1758520160627.png
128 KiB
1758520160627.png
linhui commented 2025-09-22 14:19:51 +08:00
Copy Link

你可以看下报错，image，这个报错说明你的服务器显卡显存不足，有可能是你起了多个实例，没有释放，也有可能是你的其它模型占了显存，你可以先释放下其它模型，或者租一台显存容量更大的服务器

你可以看下报错，![image](/attachments/c89b857a-b6ba-4b5c-913b-15316b8b15eb)，这个报错说明你的服务器显卡显存不足，有可能是你起了多个实例，没有释放，也有可能是你的其它模型占了显存，你可以先释放下其它模型，或者租一台显存容量更大的服务器
image.png
615 KiB
image.png
615 KiB
image.png
615 KiB
image.png image.png
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#776
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?