oneapi中配置ollama模型,报错如图 #533

Open
opened 2025-02-12 13:20:06 +08:00 by liulu · 7 comments

oneapi中配置ollama模型,在终端中可以使用ollama启动模型,但是在oneapi中就会报错,如下图

oneapi中配置ollama模型,在终端中可以使用ollama启动模型,但是在oneapi中就会报错,如下图

先尝试使用curl命令发送请求测试ollama是否可以访问
类似这种:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.2",
"prompt": "What color is the sky at different times of the day? Respond using JSON",
"format": "json",
"stream": false
}'

先尝试使用curl命令发送请求测试ollama是否可以访问 类似这种: `curl http://localhost:11434/api/generate -d '{` `"model": "llama3.2",` `"prompt": "What color is the sky at different times of the day? Respond using JSON",` `"format": "json",` `"stream": false` `}'`
Author

image

测试正常的

![image](/attachments/011261ac-bb8e-47f2-bd28-c2603d9f4fbd) 测试正常的
127 KiB
Author

我现在是在自己的服务器上使用ollama部署了模型,使用xinference启动了模型;我在本地使用curl ...测试了都是通的。但是在oneapi中就拒绝连接。
下图是xinference启动的模型在oneapi中的配置,这应该怎样处理呢
image

我现在是在自己的服务器上使用ollama部署了模型,使用xinference启动了模型;我在本地使用curl ...测试了都是通的。但是在oneapi中就拒绝连接。 下图是xinference启动的模型在oneapi中的配置,这应该怎样处理呢 ![image](/attachments/33a764ce-2943-4f45-a469-a14544a3c273)
147 KiB

可以看下oneapi镜像里面的错误信息,看下什么问题

可以看下oneapi镜像里面的错误信息,看下什么问题
Author
  1. 先查看oneapi日志,打印如下
    image
  2. 渠道中测试,报错,查看oneapi日志如下
    image

运行界面如下:
image
渠道配置如下:
image
终端curl测试如下
image

老师您看看

1. 先查看oneapi日志,打印如下 ![image](/attachments/4bdb946e-0ebd-42e2-ad38-b4a44ca109c1) 2. 渠道中测试,报错,查看oneapi日志如下 ![image](/attachments/dedc3a0b-54ae-4e6a-96b1-291a40702a4c) 运行界面如下: ![image](/attachments/e539871a-9cf4-449f-a7fe-e044fc7753dc) 渠道配置如下: ![image](/attachments/a6dbc2bf-8077-45fd-bfc4-a15dfc79f8ef) 终端curl测试如下 ![image](/attachments/56a9e52d-1e16-41e3-a344-b0070a6a3f36) 老师您看看

你描述下oneapi如何部署的吧,我没看出来有什么问题,可能需要到fastgpt代码库的issues里面去提问,问下开发者这是否是一个bug。

你描述下oneapi如何部署的吧,我没看出来有什么问题,可能需要到fastgpt代码库的issues里面去提问,问下开发者这是否是一个bug。
Author

image
按照图片中得方式部署的。好的,我再看看

![image](/attachments/a2d88622-87e8-4be7-a027-0b1f44a45867) 按照图片中得方式部署的。好的,我再看看
181 KiB
Sign in to join this conversation.
No Milestone
No project
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#533
No description provided.