【分享及作业】AnythingLLM+Ollama效果 #60

New Issue

11256832216cs · 2024-09-11T16:58:47+08:00

11256832216cs commented

2024-09-11 16:58:47 +08:00

北京-刘洋-H群

安装

环境使用的是Ubuntu，安装方式是docker安装，好处是不影响本地其他软件的环境

# 拉取镜像
docker pull mintplexlabs/anythingllm
# 运行容器
 export STORAGE_LOCATION=$HOME/anythingllm && \
 mkdir -p $STORAGE_LOCATION && \
 touch "$STORAGE_LOCATION/.env" && \
 sudo docker run -d -p 3010:3001 \
 --cap-add SYS_ADMIN \
 -v ${STORAGE_LOCATION}:/app/server/storage \
 -v ${STORAGE_LOCATION}/.env:/app/server/.env \
 -e STORAGE_DIR="/app/server/storage" \
 --gpus all \
 mintplexlabs/anythingllm

网页访问及初次使用设置

http://127.0.0.1:3010（从其他机器访问http://<Ubuntu机器的IP地址>:3010）
等Ollama安装完再正式设置，这里可以随便设置下，之后还可以调整配置


可以跳过

安装Ollama

Ubuntu安装Ollama很简单，运行如下脚本
curl -fsSL https://ollama.com/install.sh | sh

Ollama上下载模型

Ollama官网搜索想要的模型（搜不到就可能是ollama暂不支持）

copy 命令 ollama run +模型名称

Ollama 运行模型测试

配置anythingLLM接入

在这里可以设置选择向量模型、对话模型、向量数据库
注：向量模型部分在接入Ollama中的bge-m3模型后读取文档时会有报错，后来就改成了内置的向量模型，数据库也使用的内置的

没有使用知识库时的问答测试

回答的明显不是想要

上传文件问答测试

上传一份先知大佬的RAG讲义

北京-刘洋-H群 # 安装环境使用的是Ubuntu，安装方式是docker安装，好处是不影响本地其他软件的环境 ``` # 拉取镜像 docker pull mintplexlabs/anythingllm # 运行容器 export STORAGE_LOCATION=$HOME/anythingllm && \ mkdir -p $STORAGE_LOCATION && \ touch "$STORAGE_LOCATION/.env" && \ sudo docker run -d -p 3010:3001 \ --cap-add SYS_ADMIN \ -v ${STORAGE_LOCATION}:/app/server/storage \ -v ${STORAGE_LOCATION}/.env:/app/server/.env \ -e STORAGE_DIR="/app/server/storage" \ --gpus all \ mintplexlabs/anythingllm ``` # 网页访问及初次使用设置 `http://127.0.0.1:3010（从其他机器访问http://<Ubuntu机器的IP地址>:3010）` 等Ollama安装完再正式设置，这里可以随便设置下，之后还可以调整配置 ![img_v3_02ek_a56e4b57-f8de-4ec8-abd2-961c70be463g](/attachments/dfd54099-3818-40aa-9ff2-0ab83fca7cbc) ![img_v3_02ek_b75143f6-915d-447d-8ba1-0dd0a123134g](/attachments/add08968-198b-4ec1-8d5c-f7e3b5346f84) 可以跳过 ![img_v3_02ek_49509848-01f1-44ae-9890-4bcf84a46f7g](/attachments/60dad790-ec71-4490-9536-c2b5166b2149) ![img_v3_02ek_68521a48-28c7-4d70-b5c7-54ad44d1093g](/attachments/7f5bcabe-b96f-4236-a23f-e781c7fcffd3) # 安装Ollama Ubuntu安装Ollama很简单，运行如下脚本 `curl -fsSL https://ollama.com/install.sh | sh` # Ollama上下载模型 Ollama官网搜索想要的模型（搜不到就可能是ollama暂不支持） ![img_v3_02ek_cb1c84e8-496b-4a74-93b3-a023e4e2431g](/attachments/be975f60-469a-4359-b696-b0e542f98f8c) copy 命令 ollama run +模型名称 # Ollama 运行模型测试 ![img_v3_02ek_c6d3cee6-453a-43dc-bc09-111ed3e2f4eg](/attachments/eafbad39-8aa6-47e4-8061-6fc52d00d2ab) # 配置anythingLLM接入在这里可以设置选择向量模型、对话模型、向量数据库注：向量模型部分在接入Ollama中的bge-m3模型后读取文档时会有报错，后来就改成了内置的向量模型，数据库也使用的内置的 ![img_v3_02ek_b135500f-b449-41e9-ac1c-7e6825b0bd7g](/attachments/fa8584be-9eb7-4606-8532-36679c48b1b5) ![img_v3_02ek_4276e6e5-d831-45f3-8117-1737b4cdc2eg](/attachments/25f7476c-d864-4609-ad86-2510bdb7a66b) ![img_v3_02ek_36f3a34d-5cd9-4147-9325-d9032044979g](/attachments/ad1417b3-6280-4fe9-8b4b-23197b5d7f73) ![img_v3_02ek_b14acf5d-7797-47d5-94cd-57dcd980feeg](/attachments/e5e212d4-1d3a-4af4-9289-1a2c0c98eb32) # 没有使用知识库时的问答测试回答的明显不是想要 ![img_v3_02ek_2f41520b-de3e-45bb-af4e-45312ff12fbg](/attachments/b3a91b98-bb16-4d23-9c50-0f4acf4c6df7) # 上传文件问答测试上传一份先知大佬的RAG讲义 ![img_v3_02ek_dba1bf99-f4f0-44c9-9bc1-8d058ebcf4bg](/attachments/a915cf96-26d1-4ce7-9290-53bdcc6e0a12) ![img_v3_02ek_26d3fb74-2d63-4586-b61c-e986d9b84bdg](/attachments/1ed9f8d4-c32f-4686-903a-f4a2a0114c45) # 分享除了AnythingLLM还有fastgpt、MaxKB等开源知识也可以配合Ollama或是其他模型API使用，例外Ollama + OpenwebUI也是一个不错的搭配。最后，很用心写的帖子，跪求机时。

img_v3_02ek_822dcb99-3c78-4bf3-a141-bf7064e34b3g.jpg

297 KiB

img_v3_02ek_a56e4b57-f8de-4ec8-abd2-961c70be463g.jpg

371 KiB

img_v3_02ek_b75143f6-915d-447d-8ba1-0dd0a123134g.jpg

331 KiB

img_v3_02ek_49509848-01f1-44ae-9890-4bcf84a46f7g.jpg

266 KiB

img_v3_02ek_68521a48-28c7-4d70-b5c7-54ad44d1093g.jpg

157 KiB

img_v3_02ek_b135500f-b449-41e9-ac1c-7e6825b0bd7g.jpg

464 KiB