【求助贴】关于28-24.10.19-基于Ollama的本地模型部署讲解的一些提问 #304

New Issue

11423366901cs · 2024-10-27T14:18:34+08:00

11423366901cs commented

2024-10-27 14:18:34 +08:00

10.19 基于Ollama的本地模型部署的讲义当中，在模型的运行环境当中，只能用Autodl的情况下，
问题1。 “2.1 使用OpenAI python SDK调用ollama部署的模型”的时候，发生了错误，貌似代理的URL无法访问ChatGPT，但是我使用这个OpenAI(base_url="https://openai.zhixueyouke.cn/v1/", api_key="xk-5eb581962e72a53XXXXXXXXXXXXXXX")在本地IDE上能访问ChatGPT，是不是这个程序不被Autodl支持？“测试function call”也是同样的问题。

问题2。Autodl本身就是一个容器，无法安装Docker，讲义中的“1.2.1 对于docker容器”是针对什么系统来举例的？Autodl，腾讯云，阿里云还是本地电脑系统上安装Docker呢？

问题3。“2.2 使用curl方式调用”的时候出错。
附件使用curl方式调用.pdf有详细内容，但是命令行模式可用见文件“命令行模式.pdf”
个人电脑因为配置不够，无法驱动大模型

10.19 基于Ollama的本地模型部署的讲义当中，在模型的运行环境当中，只能用Autodl的情况下，问题1。 “2.1 使用OpenAI python SDK调用ollama部署的模型”的时候，发生了错误，貌似代理的URL无法访问ChatGPT，但是我使用这个OpenAI(base_url="https://openai.zhixueyouke.cn/v1/", api_key="xk-5eb581962e72a53XXXXXXXXXXXXXXX")在本地IDE上能访问ChatGPT，是不是这个程序不被Autodl支持？“测试function call”也是同样的问题。问题2。Autodl本身就是一个容器，无法安装Docker，讲义中的“1.2.1 对于docker容器”是针对什么系统来举例的？Autodl，腾讯云，阿里云还是本地电脑系统上安装Docker呢？问题3。“2.2 使用curl方式调用”的时候出错。附件使用curl方式调用.pdf有详细内容，但是命令行模式可用见文件“命令行模式.pdf” 个人电脑因为配置不够，无法驱动大模型

SDK调用ollama.pdf

78 KiB

使用curl方式调用.pdf

40 KiB

命令行模式.pdf

137 KiB

21970855250cs commented

2024-10-28 23:12:00 +08:00

问题1:
访问ollama是本地模型，不是调用GPT，本地地址是127.0.0.1，创建client的时候用如下代码
client = OpenAI(base_url="http://127.0.0.1:11434/v1", api_key="EMPTY")
前提是使用ollama先把模型部署好，使用ollama run llama3.1:8b

问题1: 访问ollama是本地模型，不是调用GPT，本地地址是127.0.0.1，创建client的时候用如下代码 `client = OpenAI(base_url="http://127.0.0.1:11434/v1", api_key="EMPTY")` 前提是使用ollama先把模型部署好，使用`ollama run llama3.1:8b`

👍 1

21970855250cs commented

2024-10-28 23:14:20 +08:00

问题2:
是的AutoDL貌似不支持租赁物理机和虚拟机，无法安装docker。
讲义中的使用docker是针对物理机或者虚拟机的，在腾讯云或者阿里云、火山云、AWS等上可以租虚拟机进行操作。
本地电脑也是支持的。

问题2: 是的AutoDL貌似不支持租赁物理机和虚拟机，无法安装docker。讲义中的使用docker是针对物理机或者虚拟机的，在腾讯云或者阿里云、火山云、AWS等上可以租虚拟机进行操作。本地电脑也是支持的。

👍 1

21970855250cs commented

2024-10-28 23:20:29 +08:00

问题3：
使用curl的时候报错 Failed to connect to 172.17.0.10 port 11434: Connection refused
应该使用127.0.0.1
autoDl上应该是容器做了限制，不允许使用容器IP进行访问

问题3：使用curl的时候报错 `Failed to connect to 172.17.0.10 port 11434: Connection refused` 应该使用127.0.0.1 autoDl上应该是容器做了限制，不允许使用容器IP进行访问

👍 1

21970855250cs commented

2024-10-28 23:20:35 +08:00

此外，autoDL 支持使用ssh，此时可以使用ssh建立隧道，类似如下命令
ssh -p 30921 root@connect.nma1.seetacloud.com -L 0.0.0.0:11434:0.0.0.0:11434 -N
在自己电脑上执行后，可以在自己电脑上通过127.0.0.1:11434来访问autodl上部署的模型

此外，autoDL 支持使用ssh，此时可以使用ssh建立隧道，类似如下命令 `ssh -p 30921 root@connect.nma1.seetacloud.com -L 0.0.0.0:11434:0.0.0.0:11434 -N` 在自己电脑上执行后，可以在自己电脑上通过127.0.0.1:11434来访问autodl上部署的模型

Sign in to join this conversation.