【求助帖】 24.10 ，7-Chinese LLaMA Alpaca系列模型OpenAI API调用实现。模型启动后访问失败。 #507

New Issue

windrose001 · 2025-02-07T15:03:29+08:00

windrose001 commented

2025-02-07 15:03:29 +08:00

根据图1教程，在Win1的Wsld的Ubuntu 22.04 发行版中完成部署。

llama3-chinese 正常启动，Nvidia-smi 显存占用11G。
为什么Nexchar 发送消息失败呢？
从监听的窗口来看，网络是通的（提交数据后，会有提示Invalid HTTP request received.）
Nexchar设置、数据提交后的反馈，如图2所示。

根据图1教程，在Win1的Wsld的Ubuntu 22.04 发行版中完成部署。 <img width="577" alt="图片" src="/attachments/c6cd0028-5246-42b7-a46b-4d32595b7ae4"> llama3-chinese 正常启动，Nvidia-smi 显存占用11G。为什么Nexchar 发送消息失败呢？从监听的窗口来看，网络是通的（提交数据后，会有提示Invalid HTTP request received.） Nexchar设置、数据提交后的反馈，如图2所示。 <img width="2756" alt="图片" src="/attachments/8c26631d-12f1-4626-9ff9-1e048457ba29">

图片.png

65 KiB

图片.png

4.4 MiB

windrose001 commented

2025-02-07 16:53:49 +08:00

使用WLS 子系统的IP 依然不行。

使用WLS 子系统的IP 依然不行。<img width="2343" alt="图片" src="/attachments/f8c16042-e40f-44ff-a003-56900d3a8910">

图片.png

3.4 MiB

windrose001 commented

2025-02-07 16:57:08 +08:00

另外，替换了，openai_api_server .py
后，退出时汇报错。

另外，替换了，openai_api_server .py 后，退出时汇报错。<img width="1193" alt="图片" src="/attachments/10054b5e-f83e-49a5-ad92-b515d10fa528">

图片.png

928 KiB

rayhsw commented

2025-02-07 23:20:38 +08:00

使用WLS 子系统的IP 依然不行。

是http而不是https

> 使用WLS 子系统的IP 依然不行。<img width="2343" alt="图片" src="/attachments/f8c16042-e40f-44ff-a003-56900d3a8910"> 是http而不是https

windrose001 commented

2025-02-08 11:28:26 +08:00

修改为http后，报错。

错误信息如下：

修改为http后，报错。 <img width="2842" alt="图片" src="/attachments/beec8526-d9a7-47d6-8553-35c483b63977"> <img width="852" alt="图片" src="/attachments/e9b9936f-96d5-4434-9e6c-9556372e76a0"> 错误信息如下： <img width="1489" alt="图片" src="/attachments/61fe8418-08c9-4812-8c24-b8c09076318c"> <img width="1857" alt="图片" src="/attachments/40c9889c-3705-4cb6-81c0-362873deb415">

图片.png

5.0 MiB

图片.png

5.0 MiB

图片.png

297 KiB

图片.png

2.2 MiB

图片.png

812 KiB

windrose001 commented

2025-02-08 11:47:28 +08:00

今天，我按照教程重新操作了一遍。主要指令如下：

今天，我按照教程重新操作了一遍。主要指令如下： <img width="1450" alt="图片" src="/attachments/fe711159-1f07-4caa-8cbc-e8785f3bd49a">

图片.png

1.2 MiB

rayhsw commented

2025-02-11 12:03:00 +08:00

今天，我按照教程重新操作了一遍。主要指令如下：

requirements.txt是否使用了老师提供的？麻烦将requirements.txt内容贴出来，方便排查问题。

> 今天，我按照教程重新操作了一遍。主要指令如下： > <img width="1450" alt="图片" src="/attachments/fe711159-1f07-4caa-8cbc-e8785f3bd49a"> requirements.txt是否使用了老师提供的？麻烦将requirements.txt内容贴出来，方便排查问题。

windrose001 commented

2025-02-12 21:22:36 +08:00

我是按照老师给的编辑的，内容如下：

accelerate==0.30.0
aiohttp==3.9.5
aiosignal==1.3.1
annotated-types==0.6.0
anyio==4.3.0
async-timeout==4.0.3
attrs==23.2.0
bitsandbytes==0.43.1
certifi==2024.2.2
charset-normalizer==3.3.2
click==8.1.7
datasets==2.20.0
deepspeed==0.13.1
dill==0.3.7
dnspython==2.6.1
einops==0.8.0
email_validator==2.1.1
exceptiongroup==1.2.1
fastapi==0.109.2
fastapi-cli==0.0.3
filelock==3.14.0
frozenlist==1.4.1
fsspec==2023.10.0
h11==0.14.0
hjson==3.1.0
httpcore==1.0.5
httptools==0.6.1
pydantic_core==2.18.2
Pygments==2.18.0
pynvml==11.5.0
python-dateutil==2.9.0.post0
python-decouple==3.8
python-dotenv==1.0.1
python-multipart==0.0.9
pytz==2024.1
PyYAML==6.0.1
regex==2024.4.28
requests==2.32.3
rich==13.7.1
safetensors==0.4.3
scikit-learn==1.3.2
scipy==1.10.1
shellingham==1.5.4
shortuuid==1.0.13
six==1.16.0
sniffio==1.3.1
sse-starlette==2.1.0
starlette==0.36.3
sympy==1.12
threadpoolctl==3.5.0
tokenizers==0.19.1
torch==2.1.2
tqdm==4.66.4
transformers==4.41.2
triton==2.1.0
typer==0.12.3
typing_extensions==4.11.0
tzdata==2024.1
ujson==5.9.0
urllib3==2.2.1
uvicorn==0.29.0
uvloop==0.19.0
watchfiles==0.21.0
websockets==12.0
xxhash==3.4.1
yarl==1.9.4

编辑器是gedit ,如果有必要我也可以导出一份wsl 子系统的备份文件，提供给您。

我是按照老师给的编辑的，内容如下： accelerate==0.30.0 aiohttp==3.9.5 aiosignal==1.3.1 annotated-types==0.6.0 anyio==4.3.0 async-timeout==4.0.3 attrs==23.2.0 bitsandbytes==0.43.1 certifi==2024.2.2 charset-normalizer==3.3.2 click==8.1.7 datasets==2.20.0 deepspeed==0.13.1 dill==0.3.7 dnspython==2.6.1 einops==0.8.0 email_validator==2.1.1 exceptiongroup==1.2.1 fastapi==0.109.2 fastapi-cli==0.0.3 filelock==3.14.0 frozenlist==1.4.1 fsspec==2023.10.0 h11==0.14.0 hjson==3.1.0 httpcore==1.0.5 httptools==0.6.1 pydantic_core==2.18.2 Pygments==2.18.0 pynvml==11.5.0 python-dateutil==2.9.0.post0 python-decouple==3.8 python-dotenv==1.0.1 python-multipart==0.0.9 pytz==2024.1 PyYAML==6.0.1 regex==2024.4.28 requests==2.32.3 rich==13.7.1 safetensors==0.4.3 scikit-learn==1.3.2 scipy==1.10.1 shellingham==1.5.4 shortuuid==1.0.13 six==1.16.0 sniffio==1.3.1 sse-starlette==2.1.0 starlette==0.36.3 sympy==1.12 threadpoolctl==3.5.0 tokenizers==0.19.1 torch==2.1.2 tqdm==4.66.4 transformers==4.41.2 triton==2.1.0 typer==0.12.3 typing_extensions==4.11.0 tzdata==2024.1 ujson==5.9.0 urllib3==2.2.1 uvicorn==0.29.0 uvloop==0.19.0 watchfiles==0.21.0 websockets==12.0 xxhash==3.4.1 yarl==1.9.4 编辑器是gedit ,如果有必要我也可以导出一份wsl 子系统的备份文件，提供给您。

requirements.txt

1.1 KiB

rayhsw commented

2025-02-14 16:24:05 +08:00

你的requirements.txt和老师上课时候提供的内容似乎不一样。

你的requirements.txt和老师上课时候提供的内容似乎不一样。 <img width="1078" alt="image" src="/attachments/a1943dfb-4c95-455f-90c3-4b4aa0be2585">

image.png

319 KiB

Sign in to join this conversation.