L2 - RAG 课堂作业 ollama+anythingLLM 构建本地知识库 #373

New Issue

11252177484cs · 2024-11-12T17:08:43+08:00

11252177484cs commented

2024-11-12 17:08:43 +08:00

步骤：
1、下载OLLAMA
2、下载模型。通过ollama 直接下载失败（也许是因为要梯子），后来通过自行下载gguf 模型文件（qwen2-0_5b-instruct-q8_0.gguf）, 通过ollama create 命令创建，绕过了这个问题。部署完成后，可以直接命令行对话。也可以用chatbox访问（要用自己创建时定义的模型名字）

3、安装anythingLLM。下载速度比较慢-5个小时以上，不过配置比较简单

步骤： 1、下载OLLAMA 2、下载模型。通过ollama 直接下载失败（也许是因为要梯子），后来通过自行下载gguf 模型文件（qwen2-0_5b-instruct-q8_0.gguf）, 通过ollama create 命令创建，绕过了这个问题。部署完成后，可以直接命令行对话。也可以用chatbox访问（要用自己创建时定义的模型名字） <img width="385" alt="image" src="/attachments/a9e0ca3a-5824-4054-a47c-ad8af217a4b4"> <img width="411" alt="image" src="/attachments/490fdd39-8843-4fd2-9095-b1f9f639e777"> <img width="416" alt="image" src="/attachments/1d49d8d5-2222-42df-b6f0-b0358d19471e"> 3、安装anythingLLM。下载速度比较慢-5个小时以上，不过配置比较简单 <img width="408" alt="image" src="/attachments/8b02cadb-6594-44fa-a1dc-8d9d22def4cb"> <img width="410" alt="image" src="/attachments/862fb570-804e-49ce-980d-6736ae1f94e2">

image.png

829 KiB

image.png

976 KiB

image.png

917 KiB

image.png

937 KiB

image.png

964 KiB

👍 1

Sign in to join this conversation.