求助帖：autodl算力服务器实例使用ssh隧道后，本地配置oneapi渠道后测试报错 #596

New Issue

xp719xhhmm · 2025-03-04T13:07:18+08:00

xp719xhhmm commented

2025-03-04 13:07:18 +08:00

我在autodl算力服务器上建立实例，在服务器上运行了
(chinese_llama_alpaca_3) root@autodl-container-0ddb47b5b1-759c79d0:~/Chinese-LLaMA-Alpaca-3-3.0/scripts/oai_api_demo# python openai_api_server.py --gpus 0 --base_model /root/.cache/modelscope/hub/models/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3
这样一个服务，通过autodl自带的工具建立了ssh隧道，代理服务器端口19327到本地19327，,然后本地配置oneapi渠道，
base url地址为 http://127.0.0.1:19327/v1/chat/completions（或者http://127.0.0.1:19327 http://localhost:19327 等等），然后进行测试都报错，这是什么原因呢？在python运行测试代码测试访问url = "http://localhost:19327/v1/chat/completions"，又能给我响应。

我在autodl算力服务器上建立实例，在服务器上运行了 (chinese_llama_alpaca_3) root@autodl-container-0ddb47b5b1-759c79d0:~/Chinese-LLaMA-Alpaca-3-3.0/scripts/oai_api_demo# python openai_api_server.py --gpus 0 --base_model /root/.cache/modelscope/hub/models/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3 这样一个服务，通过autodl自带的工具建立了ssh隧道，代理服务器端口19327到本地19327，,然后本地配置oneapi渠道， base url地址为 http://127.0.0.1:19327/v1/chat/completions（或者http://127.0.0.1:19327 http://localhost:19327 等等），然后进行测试都报错，这是什么原因呢？在python运行测试代码测试访问url = "http://localhost:19327/v1/chat/completions"，又能给我响应。

屏幕截图 2025-03-04 125710.png

55 KiB

屏幕截图 2025-03-04 125734.png

260 KiB

屏幕截图 2025-03-04 125643.png

117 KiB

屏幕截图 2025-03-04 125654.png

242 KiB

屏幕截图 2025-03-04 125632.png

97 KiB

屏幕截图 2025-03-04 132150.png

73 KiB