Chinese LLaMA Alpaca系列模型OpenAI API调用实现（2）--------Ray老师 #684
Labels
No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
No Milestone
No project
No Assignees
2 Participants
Notifications
Due Date
No due date set.
Dependencies
No dependencies set.
Reference: HswOAuth/llm_course#684
Loading…
Reference in New Issue
Block a user
No description provided.
Delete Branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
问题：
我是将Autodl作为服务器，本地电脑访问的模式
按照教案操作，配置完成后，成功启动服务，然后再下载AutoDL-SSH-Tools，启动在windows下SSH 隧道，
尝试连接：http:127.0.0.1:6006失败。http:127.0.0.1:19327失败。http:0.0.0.0:19327失败。
解决过程：
验证本地：http:127.0.0.1 正常
尝试用用powershell 中 用Luinx/Mac 方式连通，输入地址和密码后： 提示拒绝接入：
channel 2: open failed: connect failed: Connection refused
整个过程中，整个过程各个步骤都正确无误，只有最后一步的这个SSH 隧道，始终无法打通，更换本地电脑也无效，无解！ 请老师帮忙解答
课程中没有说要用“自定义服务”。请按照课程回放的步骤操作。
课程中也没有涉及AutoDL-SSH-Tools的使用。请用git bash打隧道即可。
请参考该文档打隧道的流程：https://www.yuque.com/hkutangyu/di80sc/zu3llhkvco622me4?singleDoc# 《私有化LLM仿OpenAI API接口的高可用工程实践》 密码：qrt3
按照参考文档反复操作还是打不通SSH！ 本地端口：http://127.0.0.1:19328/无法访问 http://127.0.0.1:19327/也无法访问
你好：老师
我修正了端口错误后， 在autodl上启动 GPU服务后， 本地端口19328 还是无法访问！ 请看我的操作视频
视频中，没有看到您打隧道的操作，麻烦将您打隧道的操作一并录制一下，方便排查问题。
另外，请使用你windows的git bash工具打隧道，保持和上课时候的操作一样，关于打隧道的详细解释，建议仔细阅读这里：HswOAuth/llm_share#15 (comment)
也可以参考这个帖子：#308
可以参考这个隧道命令：ssh -CNgv -L 7861:127.0.0.1:7861 root@connect.beijinga.seetacloud.com -p 35596
另外，您可能对隧道命令的原理还不太了解，可以尝试将这个命令贴到chatgpt或者kimi或者豆包中询问，这行命令具体是什么意思，我在这里简要说明下：
ssh: 这是用于启动 SSH 客户端程序的命令。
-C: 启用压缩功能。这可以在某些情况下提高传输速度，特别是在带宽有限的情况下。
-N: 告诉 SSH 客户端不执行远程命令。这通常用于只需要端口转发的情况。
-g: 允许远程主机连接到本地转发的端口。这样，其他机器也可以通过你的机器访问转发的端口。
-v: 启用详细模式（verbose mode），用于调试。它会输出连接过程中的详细信息，帮助诊断连接问题。
-L 7861:127.0.0.1:7861: 这是本地端口转发的设置。它将本地计算机的 7861 端口转发到远程服务器的 127.0.0.1 地址上的 7861 端口。这样，你可以通过访问本地的 7861 端口来访问远程服务器上的服务。
root@connect.beijinga.seetacloud.com: 这是用于连接的远程服务器的用户名和主机名。在这里，root 是用户名，connect.beijinga.seetacloud.com 是远程服务器的地址。
-p 35596: 指定连接到远程服务器时使用的端口号。默认情况下，SSH 使用端口 22，但这里指定了一个自定义端口 35596。
总结来说，这条命令通过 SSH 建立一个加密的连接，将本地的 7861 端口转发到远程服务器的 7861 端口，并且允许其他机器通过你的机器访问这个转发的端口。
另外，我们融汇贯通一下，比如，我想在本机windows通过http://127.0.0.1:7860访问到服务端到7862端口，那么隧道命令怎么打？
ssh -CNgv -L 7860:127.0.0.1:7862 root@connect.beijinga.seetacloud.com -p 35596
再来，又比如，我要在本地windows通过http://127.0.0.1:5555，访问autodl到7788端口，隧道命令怎么打？
ssh -CNgv -L 5555:127.0.0.1:7788 root@connect.beijinga.seetacloud.com -p 35596
当您仔细查看了上面的帖子后，详细学习了到底什么是ssh隧道，弄清楚了原理后，您应该知道，打隧道的命令是？请不要看我下面的答案，自己琢磨下。然后看看是不是和我下面的命令一样？
答案：
你可以尝试在你的windows的git bash命令行中输入：
ssh -CNgv -L 19328:127.0.0.1:19328 root@connect.nmb2.seetacloud.com -p 31285
然后，输入ssh的密码，再尝试在浏览器中访问http://127.0.0.1:19328
或者在nextchat中配置看看。
感谢老师的解答，问题已解决：
在不修改openai_api_server.py 端口配置的情况下： 修改命令：ssh -CNg -L 6006:127.0.0.1:19327 root@connect.nmb1.seetacloud.com -p 47724 后 登陆：http:127.0.0.1:6006 成功！ 主要是没有相信研究SSH 命令格式 与服务器配置的关系。