基于图片的智能信息检索问答【作业】 #46

New Issue

Open

opened 2024-11-29 17:39:34 +08:00 by GANGUAGUA · 0 comments

GANGUAGUA commented 2024-11-29 17:39:34 +08:00

Copy Link

【作业】：使用ollama部署vlm类模型，接入FastGPT进行测试使用

一、模型

准备模型

这里我准备的是llava模型。

下载模型

使用以下命令运行/下载模型

ollama run llava

也可以使用以下命令来查看模型是否已经下载成功

ollama list

二、FastGPT配置文件

转到fastgpt目录下

cd fastgpt

添加llava模型到配置文件

编辑conifg..json文件

vi config.json

将llava模型添加到config.json文件里

{
  "model": "llava",
  "name": "LLaVA",
  "avatar": "/imgs/model/llava_avatar.svg",  
  "maxContext": 2048,  
  "maxResponse": 1024, 
  "quoteMaxToken": 512,
  "maxTemperature": 1.2,
  "charsPointsPrice": 0,
  "censor": false,
  "vision": true,
  "datasetProcess": true,
  "usedInClassify": true,
  "usedInExtractFields": true,
  "usedInToolCall": true,
  "usedInQueryExtension": true,
  "toolChoice": true,
  "functionCall": false,
  "customCQPrompt": "",
  "customExtractPrompt": "",
  "defaultSystemChatPrompt": "",
  "defaultConfig": {}
}

启动系统

在fastgpt目录下执行如下命令启动系统：

使用如下命令可重启FastGPT并生效之前的修改：

sudo docker restart fastgpt

三、在One API中接入模型

进入One API

打开浏览器，输入：

192.168.31.143:3001 #远程服务器+端口号3001；
#注意:如果是用本地电脑做的，使用127.0.0.1+端口号3001

可以再确认一下Ollama是在启动状态

systemctl status ollama

并且我们要部署的模型已经下载好

ollama list

添加新的渠道

在'渠道'里添加新的渠道，在渠道中填入Ollama以及llava模型

测试渠道

回到'渠道'里，对刚刚部署的llava渠道进行测试

四、接入FastGPT

打开FastGPT

打开新的浏览器，输入：

192.168.31.143:3000 #远程服务器+端口号3000；
#注意:如果是用本地电脑做的，使用127.0.0.1+端口号3000

创建简易应用

测试模型能力

【作业】：使用ollama部署vlm类模型，接入FastGPT进行测试使用 # 一、模型 ## 准备模型 这里我准备的是llava模型。  ## 下载模型 使用以下命令运行/下载模型 ```plain ollama run llava ```  也可以使用以下命令来查看模型是否已经下载成功 ```plain ollama list ```  # 二、FastGPT配置文件 转到fastgpt目录下 ```plain cd fastgpt ``` ## 添加llava模型到配置文件 编辑conifg..json文件 ```plain vi config.json ``` 将llava模型添加到config.json文件里  ```plain { "model": "llava", "name": "LLaVA", "avatar": "/imgs/model/llava_avatar.svg", "maxContext": 2048, "maxResponse": 1024, "quoteMaxToken": 512, "maxTemperature": 1.2, "charsPointsPrice": 0, "censor": false, "vision": true, "datasetProcess": true, "usedInClassify": true, "usedInExtractFields": true, "usedInToolCall": true, "usedInQueryExtension": true, "toolChoice": true, "functionCall": false, "customCQPrompt": "", "customExtractPrompt": "", "defaultSystemChatPrompt": "", "defaultConfig": {} } ``` ## 启动系统 在fastgpt目录下执行如下命令启动系统：  使用如下命令可重启FastGPT并生效之前的修改： ```plain sudo docker restart fastgpt ```  # 三、在One API中接入模型 ## 进入One API 打开浏览器，输入： ```plain 192.168.31.143:3001 #远程服务器+端口号3001； #注意:如果是用本地电脑做的，使用127.0.0.1+端口号3001 ```  可以再确认一下Ollama是在启动状态 ```plain systemctl status ollama ```  并且我们要部署的模型已经下载好 ```plain ollama list ```  ## 添加新的渠道 在'渠道'里添加新的渠道，在渠道中填入Ollama以及llava模型  ## 测试渠道 回到'渠道'里，对刚刚部署的llava渠道进行测试  # 四、接入FastGPT ## 打开FastGPT 打开新的浏览器，输入： ```plain 192.168.31.143:3000 #远程服务器+端口号3000； #注意:如果是用本地电脑做的，使用127.0.0.1+端口号3000 ```  ## 创建简易应用   ## 测试模型能力 

Sign in to join this conversation.

No Branch/Tag Specified

Branches Tags

main

No results found.

Labels

Clear labels

No items

No Label

Milestone

Clear milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

No Assignees

1 Participants

Notifications

Subscribe

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_share#46

No description provided.