HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

部署FastGPT并创建一个带知识库的聊天机器人【作业】 #162

New Issue
Open
opened 2024-10-08 17:00:04 +08:00 by GANGUAGUA · 0 comments
GANGUAGUA commented 2024-10-08 17:00:04 +08:00
Copy Link

一、安装Docker

#移除 Docker 相关的软件包和容器运行时
apt remove docker-ce docker-ce-cli containerd.io docker-compose-plugin docker docker-engine docker.io containerd runc

# 切换国内源
sed -i -r 's#http://(archive|security).ubuntu.com#https://mirrors.aliyun.com#g' /etc/apt/sources.list && apt update -y

### 安装docker
# 安装ca-certificates curl gnupg lsb-release
apt install ca-certificates curl gnupg lsb-release -y
#下载 Docker 的 GPG 密钥，并将其添加到 apt-key 中
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | apt-key add -
# 为Docker 添加阿里源
add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# 更新系统的软件包
apt -y update
# 安装docker相关的包
apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y

检查是否安装好Docker：

docker --version

二、下载 docker-compose

wget https://github.com/docker/compose/releases/download/v2.29.7/docker-compose-linux-x86_64

检查是否安装好 docker-compsoe：

docker compose version

三、部署FastGPT系统

创建fastgpt文件夹

mkdir fastgpt

确保转到fastgpt文件夹目录下

cd fastgpt

准备 docker-compose.yml 文件

输入vim编辑器常用命令对文件进行编辑

vim docker-compose.yml

按 i 进入插入模式，开始输入文本。将如下代码粘贴到文件中：

version: '3.3'
services:
  # db
  pg:
    #image: pgvector/pgvector:0.7.0-pg15 # docker hub
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云
    container_name: pg
    restart: always
    ports: # 生产环境建议不要暴露
      - 5432:5432
    networks:
      - fastgpt
    environment:
      # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果
      - POSTGRES_USER=username
      - POSTGRES_PASSWORD=password
      - POSTGRES_DB=postgres
    volumes:
      - ./pg/data:/var/lib/postgresql/data
  mongo:
    #image: mongo:5.0.18 # dockerhub
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云
    # image: mongo:4.4.29 # cpu不支持AVX时候使用
    container_name: mongo
    restart: always
    ports:
      - 27017:27017
    networks:
      - fastgpt
    command: mongod --keyFile /data/mongodb.key --replSet rs0
    environment:
      - MONGO_INITDB_ROOT_USERNAME=myusername
      - MONGO_INITDB_ROOT_PASSWORD=mypassword
    volumes:
      - ./mongo/data:/data/db
    entrypoint:
      - bash
      - -c
      - |
        openssl rand -base64 128 > /data/mongodb.key
        chmod 400 /data/mongodb.key
        chown 999:999 /data/mongodb.key
        echo 'const isInited = rs.status().ok === 1
        if(!isInited){
          rs.initiate({
              _id: "rs0",
              members: [
                  { _id: 0, host: "mongo:27017" }
              ]
          })
        }' > /data/initReplicaSet.js
        # 启动MongoDB服务
        exec docker-entrypoint.sh "$$@" &

        # 等待MongoDB服务启动
        until mongo -u myusername -p mypassword --authenticationDatabase admin --eval "print('waited for connection')" > /dev/null 2>&1; do
          echo "Waiting for MongoDB to start..."
          sleep 2
        done

        # 执行初始化副本集的脚本
        mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js

        # 等待docker-entrypoint.sh脚本执行的MongoDB服务进程
        wait $$!

  # fastgpt
  sandbox:
    container_name: sandbox
    # image: ghcr.io/labring/fastgpt-sandbox:latest # git
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:latest # 阿里云
    networks:
      - fastgpt
    restart: always
  fastgpt:
    container_name: fastgpt
    # image: ghcr.io/labring/fastgpt:v4.8.8-fix2 # git
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.8-fix2 # 阿里云
    ports:
      - 3000:3000
    networks:
      - fastgpt
    depends_on:
      - mongo
      - pg
      - sandbox
    restart: always
    environment:
      # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。
      - DEFAULT_ROOT_PSW=1234
      # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。
      - OPENAI_BASE_URL=http://oneapi:3000/v1
      # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）
      - CHAT_API_KEY=sk-fastgpt
      # 数据库最大连接数
      - DB_MAX_LINK=30
      # 登录凭证密钥
      - TOKEN_KEY=any
      # root的密钥，常用于升级时候的初始化请求
      - ROOT_KEY=root_key
      # 文件阅读加密
      - FILE_TOKEN_KEY=filetoken
      # MongoDB 连接参数. 用户名myusername,密码mypassword。
      - MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin
      # pg 连接参数
      - PG_URL=postgresql://username:password@pg:5432/postgres
      # sandbox 地址
      - SANDBOX_URL=http://sandbox:3000
      # 日志等级: debug, info, warn, error
      - LOG_LEVEL=info
      - STORE_LOG_LEVEL=warn
    volumes:
      - ./config.json:/app/data/config.json

  # oneapi
  mysql:
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云
    # image: mysql:8.0.36
    container_name: mysql
    restart: always
    ports:
      - 3306:3306
    networks:
      - fastgpt
    command: --default-authentication-plugin=mysql_native_password
    environment:
      # 默认root密码，仅首次运行有效
      MYSQL_ROOT_PASSWORD: oneapimmysql
      MYSQL_DATABASE: oneapi
    volumes:
      - ./mysql:/var/lib/mysql
  oneapi:
    container_name: oneapi
    # image: ghcr.io/songquanpeng/one-api:v0.6.7
    image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云
    ports:
      - 3001:3000
    depends_on:
      - mysql
    networks:
      - fastgpt
    restart: always
    environment:
      # mysql 连接参数
      - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi
      # 登录凭证加密密钥
      - SESSION_SECRET=oneapikey
      # 内存缓存
      - MEMORY_CACHE_ENABLED=true
      # 启动聚合更新，减少数据交互频率
      - BATCH_UPDATE_ENABLED=true
      # 聚合更新时长
      - BATCH_UPDATE_INTERVAL=10
      # 初始化的 root 密钥（建议部署完后更改，否则容易泄露）
      - INITIAL_ROOT_TOKEN=fastgpt
    volumes:
      - ./oneapi:/data
networks:
  fastgpt:

按 Esc 键退出插入模式回到命令模式。最后，输入:wq 保存并退出

准备FastGPT配置文件config.json

同样使用vim编辑器对config.json文件进行编辑

vim config.json

按 i 进入插入模式，开始输入文本。将如下代码粘贴到文件中：

{
  "feConfigs": {
    "lafEnv": "https://laf.dev"
  },
  "systemEnv": {
    "vectorMaxProcess": 15,
    "qaMaxProcess": 15,
    "pgHNSWEfSearch": 100
  },
  "llmModels": [
    {
        "model": "llama-3.1-instruct",
        "name": "llama-3.1-instruct",
        "maxContext": 128000,
        "maxResponse": 128000,
        "quoteMaxToken": 32000,
        "maxTemperature": 1.2,
      "charsPointsPrice": 0,
      "censor": false,
      "vision": false,
      "datasetProcess": false,
      "usedInClassify": true,
      "usedInExtractFields": true,
      "usedInToolCall": true,
      "usedInQueryExtension": true,
      "toolChoice": false,
      "functionCall": false,
      "customCQPrompt": "",
      "customExtractPrompt": "",
      "defaultSystemChatPrompt": "",
      "defaultConfig": {}
    },
    {
        "model": "qwen2-instruct",
        "name": "qwen2-instruct",
        "avatar": "/imgs/model/qwen.svg",
        "maxContext": 128000,
        "maxResponse": 128000,
        "quoteMaxToken": 32000,
        "maxTemperature": 1.2,
        "charsPointsPrice": 0,
        "censor": false,
        "vision": false,
        "datasetProcess": true,
        "usedInClassify": true,
        "usedInExtractFields": true,
        "usedInToolCall": true,
        "usedInQueryExtension": true,
        "toolChoice": false,
        "functionCall": false,
        "customCQPrompt": "",
        "customExtractPrompt": "",
        "defaultSystemChatPrompt": "",
        "defaultConfig": {}
    },
    {
        "model": "glm-4v",
        "name": "glm-4v",
        "avatar": "/imgs/model/chatglm.svg",
        "maxContext": 128000,
        "maxResponse": 128000,
        "quoteMaxToken": 32000,
        "maxTemperature": 1.2,
        "charsPointsPrice": 0,
        "censor": false,
        "vision": true,
        "datasetProcess": true,
        "usedInClassify": true,
        "usedInExtractFields": true,
        "usedInToolCall": true,
        "usedInQueryExtension": true,
        "toolChoice": true,
        "functionCall": false,
        "customCQPrompt": "",
        "customExtractPrompt": "",
        "defaultSystemChatPrompt": "",
        "defaultConfig": {}
    },
    {
        "model": "ERNIE-Speed-128K",
        "name": "ERNIE-Speed-128K",
	"avatar": "/imgs/model/ernie.svg",
        "maxContext": 128000,
        "maxResponse": 128000,
        "quoteMaxToken": 32000,
        "maxTemperature": 1.2,
        "charsPointsPrice": 0,
        "censor": false,
        "vision": false,
        "datasetProcess": true,
        "usedInClassify": true,
        "usedInExtractFields": true,
        "usedInToolCall": true,
        "usedInQueryExtension": true,
        "toolChoice": true,
        "functionCall": false,
        "customCQPrompt": "",
        "customExtractPrompt": "",
        "defaultSystemChatPrompt": "",
        "defaultConfig": {}
    },
    {
      "model": "gpt-4o-mini",
      "name": "gpt-4o-mini",
      "avatar": "/imgs/model/openai.svg",
      "maxContext": 125000,
      "maxResponse": 4000,
      "quoteMaxToken": 120000,
      "maxTemperature": 1.2,
      "charsPointsPrice": 0,
      "censor": false,
      "vision": true,
      "datasetProcess": true,
      "usedInClassify": true,
      "usedInExtractFields": true,
      "usedInToolCall": true,
      "usedInQueryExtension": true,
      "toolChoice": true,
      "functionCall": false,
      "customCQPrompt": "",
      "customExtractPrompt": "",
      "defaultSystemChatPrompt": "",
      "defaultConfig": {}
    },
    {
      "model": "gpt-4o",
      "name": "gpt-4o",
      "avatar": "/imgs/model/openai.svg",
      "maxContext": 125000,
      "maxResponse": 4000,
      "quoteMaxToken": 120000,
      "maxTemperature": 1.2,
      "charsPointsPrice": 0,
      "censor": false,
      "vision": true,
      "datasetProcess": false,
      "usedInClassify": true,
      "usedInExtractFields": true,
      "usedInToolCall": true,
      "usedInQueryExtension": true,
      "toolChoice": true,
      "functionCall": false,
      "customCQPrompt": "",
      "customExtractPrompt": "",
      "defaultSystemChatPrompt": "",
      "defaultConfig": {}
    }
  ],
  "vectorModels": [
    {
      "model": "m3e-base",
      "name": "m3e-base",
      "charsPointsPrice": 0,
      "defaultToken": 256,
      "maxToken": 512,
      "weight": 100,
      "defaultConfig": {},
      "dbConfig": {},
      "queryConfig": {}
    },
    {
      "model": "text-embedding-ada-002",
      "name": "Embedding-2",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 700,
      "maxToken": 3000,
      "weight": 100,
      "defaultConfig": {},
      "dbConfig": {},
      "queryConfig": {}
    },
    {
      "model": "text-embedding-3-large",
      "name": "text-embedding-3-large",
      "avatar": "/imgs/model/openai.svg",
      "charsPointsPrice": 0,
      "defaultToken": 512,
      "maxToken": 3000,
      "weight": 100,
      "defaultConfig": {
        "dimensions": 1024
      }
    },
    {
      "model": "embeding3",
      "name": "embeding3",
      "avatar": "/imgs/model/chatglm.svg",
      "charsPointsPrice": 0,
      "defaultToken": 512,
      "maxToken": 3000,
      "weight": 100
    }
  ],
  "reRankModels": [
    {
      "model": "bge-reranker-v2-m3",
      "name": "bge-reranker-v2-m3"
    }
  ],
  "audioSpeechModels": [
    {
      "model": "tts-1",
      "name": "OpenAI TTS1",
      "charsPointsPrice": 0,
      "voices": [
        { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" },
        { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" },
        { "label": "Fable", "value": "fable", "bufferId": "openai-Fable" },
        { "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" },
        { "label": "Nova", "value": "nova", "bufferId": "openai-Nova" },
        { "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" }
      ]
    }
  ],
  "whisperModel": {
    "model": "whisper-1",
    "name": "Whisper1",
    "charsPointsPrice": 0
  }
}

按 Esc 键退出插入模式回到命令模式。最后，输入:wq 保存并退出

启动系统

确保在fastgpt目录下执行如下命令启动系统

docker-compose up -d

检查系统启动情况：

docker-compose ps

如果系统成功启动，能看到状态都是Up：

 Name                Command               State                          Ports
------------------------------------------------------------------------------------------------------
fastgpt   sh -c node --max-old-space ...   Up      0.0.0.0:3000->3000/tcp,:::3000->3000/tcp
mongo     bash -c openssl rand -base ...   Up      0.0.0.0:27017->27017/tcp,:::27017->27017/tcp
mysql     docker-entrypoint.sh --def ...   Up      0.0.0.0:3306->3306/tcp,:::3306->3306/tcp, 33060/tcp
oneapi    /one-api                         Up      0.0.0.0:3001->3000/tcp,:::3001->3000/tcp
pg        docker-entrypoint.sh postgres    Up      0.0.0.0:5432->5432/tcp,:::5432->5432/tcp
sandbox   docker-entrypoint.sh node  ...   Up

并且查看fastgpt目录下的文件会出现 config.json, docker-compose.yml, mongo, myssql, oneapi, pg 这些文件夹。如果没有成功出现这些文件夹，应该是前面docker以及docker-compose没有下载好。

root@master01:/home/hsw/fastgpt# ls
config.json  docker-compose.yaml  mongo  mysql  oneapi  pg

四、在**OneAPI接入百度文心模型**

访问OneAPI地址

通过浏览器访问FastGPT:http://127.0.0.1:3001/并登陆（注意将127.0.0.1修改成自己服务器对应的IP地址）。

组件 访问方式（本机） 访问方式（远程服务器） 用户名密码
One API http://127.0.0.1:3001 http://{ip_address}:3001 用户名：root
密码：1234

准备百度文心一言模型

进入百度云控制台，然后进行账户注册，再进入百度智能云千帆大模型平台：

创建应用：

填入应用配置：

在 '模型管理' 里找到 ERNIE-Speed-128K和ERNIE-Speed-8K这两个服务，点击【免费开通】

添加One API渠道

点击 '渠道'，输入 '类型' 以及 '名称'，在 '模型' 里找到刚刚免费开通的两个模型 ERNIE-Speed-128K 和 ERNIE-Speed-8K

回到百度文心的界面，在 '应用接入' 里找到API Key 以及 Secret Key，将这两个密钥按照复制粘贴到One API界面中的密钥里 (注意：这里的格式要求用 '|' 将两个密钥分开)

接下来点击 '提交' 即可。

测试渠道是否安装成功

回到渠道界面，点击测试按钮来测试OneAPI渠道是否成功

五、用FastGPT创建一个简易聊天应用

通过浏览器访问FastGPT:http://127.0.0.1:3000/并登陆（注意将127.0.0.1修改成自己服务器对应的IP地址）。

组件 访问方式（本机） 访问方式（远程服务器） 用户名密码
FastGPT http://127.0.0.1:3000 http://{ip_address}:3000 用户名：root
密码：1234

点击新建，选择简易应用

输入名称，选择简易机器人。

点击配置AI模型，这里AI模型选择ERNIE-Speed-128K, 注意将回复上线调整到4096以下，最后点击确认。

模型配置成功之后，在右上角点击发布应用。然后可以在工作台通过调试预览跟模型进行对话。

六、创建一个带知识库的聊天应用

创建知识库

首先进入到左边目录栏里的 '知识库' ，然后在右上角点击 '新建'。

知识库类别选择 '通用知识库' , 然后给知识库取名, 最后点击 '确认创建'

导入数据集中选择文本数据集

配置相关模型：

如果有本地文件，就选择【本地文本】，如果是复制文本粘贴过来的选择【自定义文本】, 这里我选择的是【自定义文本】

然后写入你的 '数据集名称' 以及 '数据集内容'，然后点击 '下一步'

选择文本的拆分模式以及处理方式

处理完上面相关配置后, 可以在知识库的数据集里找到相关信息:

聊天应用添加知识库

通过左边目录栏回到 '工作台', 点击【关联知识库】

在这里可以找到刚刚创建的知识库, 选择并双击知识库

点击【参数】

可以选择知识库搜索匹配模式, 这里我选择的是【混合检索】, 可根据自己的需求进行选择

可以添加工具供大模型使用

询问大模型跟知识库相关的问题

## 一、安装Docker ```plain #移除 Docker 相关的软件包和容器运行时 apt remove docker-ce docker-ce-cli containerd.io docker-compose-plugin docker docker-engine docker.io containerd runc # 切换国内源 sed -i -r 's#http://(archive|security).ubuntu.com#https://mirrors.aliyun.com#g' /etc/apt/sources.list && apt update -y ### 安装docker # 安装ca-certificates curl gnupg lsb-release apt install ca-certificates curl gnupg lsb-release -y #下载 Docker 的 GPG 密钥，并将其添加到 apt-key 中 curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | apt-key add - # 为Docker 添加阿里源 add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" # 更新系统的软件包 apt -y update # 安装docker相关的包 apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y ``` 检查是否安装好Docker： ```plain docker --version ``` ## 二、下载 docker-compose ```plain wget https://github.com/docker/compose/releases/download/v2.29.7/docker-compose-linux-x86_64 ``` 检查是否安装好 docker-compsoe： ```plain docker compose version ``` ## **<font style="color:#1a1a1a;">三、部署FastGPT系统</font>** ### 创建fastgpt文件夹 ```plain mkdir fastgpt ``` 确保转到fastgpt文件夹目录下 ```plain cd fastgpt ``` ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728370108917-1b2bb631-7d7e-45ed-b074-25447969d455.png) ### 准备 docker-compose.yml 文件 输入vim编辑器常用命令对文件进行编辑 ```plain vim docker-compose.yml ``` 按 **i** 进入插入模式，开始输入文本。将如下代码粘贴到文件中：</font> ```plain version: '3.3' services: # db pg: #image: pgvector/pgvector:0.7.0-pg15 # docker hub image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.7.0 # 阿里云 container_name: pg restart: always ports: # 生产环境建议不要暴露 - 5432:5432 networks: - fastgpt environment: # 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果 - POSTGRES_USER=username - POSTGRES_PASSWORD=password - POSTGRES_DB=postgres volumes: - ./pg/data:/var/lib/postgresql/data mongo: #image: mongo:5.0.18 # dockerhub image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云 # image: mongo:4.4.29 # cpu不支持AVX时候使用 container_name: mongo restart: always ports: - 27017:27017 networks: - fastgpt command: mongod --keyFile /data/mongodb.key --replSet rs0 environment: - MONGO_INITDB_ROOT_USERNAME=myusername - MONGO_INITDB_ROOT_PASSWORD=mypassword volumes: - ./mongo/data:/data/db entrypoint: - bash - -c - | openssl rand -base64 128 > /data/mongodb.key chmod 400 /data/mongodb.key chown 999:999 /data/mongodb.key echo 'const isInited = rs.status().ok === 1 if(!isInited){ rs.initiate({ _id: "rs0", members: [ { _id: 0, host: "mongo:27017" } ] }) }' > /data/initReplicaSet.js # 启动MongoDB服务 exec docker-entrypoint.sh "$$@" & # 等待MongoDB服务启动 until mongo -u myusername -p mypassword --authenticationDatabase admin --eval "print('waited for connection')" > /dev/null 2>&1; do echo "Waiting for MongoDB to start..." sleep 2 done # 执行初始化副本集的脚本 mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js # 等待docker-entrypoint.sh脚本执行的MongoDB服务进程 wait $$! # fastgpt sandbox: container_name: sandbox # image: ghcr.io/labring/fastgpt-sandbox:latest # git image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt-sandbox:latest # 阿里云 networks: - fastgpt restart: always fastgpt: container_name: fastgpt # image: ghcr.io/labring/fastgpt:v4.8.8-fix2 # git image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.8.8-fix2 # 阿里云 ports: - 3000:3000 networks: - fastgpt depends_on: - mongo - pg - sandbox restart: always environment: # root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。 - DEFAULT_ROOT_PSW=1234 # AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。 - OPENAI_BASE_URL=http://oneapi:3000/v1 # AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改） - CHAT_API_KEY=sk-fastgpt # 数据库最大连接数 - DB_MAX_LINK=30 # 登录凭证密钥 - TOKEN_KEY=any # root的密钥，常用于升级时候的初始化请求 - ROOT_KEY=root_key # 文件阅读加密 - FILE_TOKEN_KEY=filetoken # MongoDB 连接参数. 用户名myusername,密码mypassword。 - MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin # pg 连接参数 - PG_URL=postgresql://username:password@pg:5432/postgres # sandbox 地址 - SANDBOX_URL=http://sandbox:3000 # 日志等级: debug, info, warn, error - LOG_LEVEL=info - STORE_LOG_LEVEL=warn volumes: - ./config.json:/app/data/config.json # oneapi mysql: image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mysql:8.0.36 # 阿里云 # image: mysql:8.0.36 container_name: mysql restart: always ports: - 3306:3306 networks: - fastgpt command: --default-authentication-plugin=mysql_native_password environment: # 默认root密码，仅首次运行有效 MYSQL_ROOT_PASSWORD: oneapimmysql MYSQL_DATABASE: oneapi volumes: - ./mysql:/var/lib/mysql oneapi: container_name: oneapi # image: ghcr.io/songquanpeng/one-api:v0.6.7 image: registry.cn-hangzhou.aliyuncs.com/fastgpt/one-api:v0.6.6 # 阿里云 ports: - 3001:3000 depends_on: - mysql networks: - fastgpt restart: always environment: # mysql 连接参数 - SQL_DSN=root:oneapimmysql@tcp(mysql:3306)/oneapi # 登录凭证加密密钥 - SESSION_SECRET=oneapikey # 内存缓存 - MEMORY_CACHE_ENABLED=true # 启动聚合更新，减少数据交互频率 - BATCH_UPDATE_ENABLED=true # 聚合更新时长 - BATCH_UPDATE_INTERVAL=10 # 初始化的 root 密钥（建议部署完后更改，否则容易泄露） - INITIAL_ROOT_TOKEN=fastgpt volumes: - ./oneapi:/data networks: fastgpt: ``` 按 **Esc** 键退出插入模式回到命令模式。最后，输入</font>`:wq`<font style="color:rgb(6, 6, 7);"> 保存并退出</font> <font style="color:rgb(6, 6, 7);"></font> ### <font style="color:rgb(6, 6, 7);">准备FastGPT配置文件config.json</font> <font style="color:rgb(6, 6, 7);">同样使用vim编辑器对config.json文件进行编辑</font> ```plain vim config.json ``` 按 **i** 进入插入模式，开始输入文本。将如下代码粘贴到文件中：</font> ```plain { "feConfigs": { "lafEnv": "https://laf.dev" }, "systemEnv": { "vectorMaxProcess": 15, "qaMaxProcess": 15, "pgHNSWEfSearch": 100 }, "llmModels": [ { "model": "llama-3.1-instruct", "name": "llama-3.1-instruct", "maxContext": 128000, "maxResponse": 128000, "quoteMaxToken": 32000, "maxTemperature": 1.2, "charsPointsPrice": 0, "censor": false, "vision": false, "datasetProcess": false, "usedInClassify": true, "usedInExtractFields": true, "usedInToolCall": true, "usedInQueryExtension": true, "toolChoice": false, "functionCall": false, "customCQPrompt": "", "customExtractPrompt": "", "defaultSystemChatPrompt": "", "defaultConfig": {} }, { "model": "qwen2-instruct", "name": "qwen2-instruct", "avatar": "/imgs/model/qwen.svg", "maxContext": 128000, "maxResponse": 128000, "quoteMaxToken": 32000, "maxTemperature": 1.2, "charsPointsPrice": 0, "censor": false, "vision": false, "datasetProcess": true, "usedInClassify": true, "usedInExtractFields": true, "usedInToolCall": true, "usedInQueryExtension": true, "toolChoice": false, "functionCall": false, "customCQPrompt": "", "customExtractPrompt": "", "defaultSystemChatPrompt": "", "defaultConfig": {} }, { "model": "glm-4v", "name": "glm-4v", "avatar": "/imgs/model/chatglm.svg", "maxContext": 128000, "maxResponse": 128000, "quoteMaxToken": 32000, "maxTemperature": 1.2, "charsPointsPrice": 0, "censor": false, "vision": true, "datasetProcess": true, "usedInClassify": true, "usedInExtractFields": true, "usedInToolCall": true, "usedInQueryExtension": true, "toolChoice": true, "functionCall": false, "customCQPrompt": "", "customExtractPrompt": "", "defaultSystemChatPrompt": "", "defaultConfig": {} }, { "model": "ERNIE-Speed-128K", "name": "ERNIE-Speed-128K", "avatar": "/imgs/model/ernie.svg", "maxContext": 128000, "maxResponse": 128000, "quoteMaxToken": 32000, "maxTemperature": 1.2, "charsPointsPrice": 0, "censor": false, "vision": false, "datasetProcess": true, "usedInClassify": true, "usedInExtractFields": true, "usedInToolCall": true, "usedInQueryExtension": true, "toolChoice": true, "functionCall": false, "customCQPrompt": "", "customExtractPrompt": "", "defaultSystemChatPrompt": "", "defaultConfig": {} }, { "model": "gpt-4o-mini", "name": "gpt-4o-mini", "avatar": "/imgs/model/openai.svg", "maxContext": 125000, "maxResponse": 4000, "quoteMaxToken": 120000, "maxTemperature": 1.2, "charsPointsPrice": 0, "censor": false, "vision": true, "datasetProcess": true, "usedInClassify": true, "usedInExtractFields": true, "usedInToolCall": true, "usedInQueryExtension": true, "toolChoice": true, "functionCall": false, "customCQPrompt": "", "customExtractPrompt": "", "defaultSystemChatPrompt": "", "defaultConfig": {} }, { "model": "gpt-4o", "name": "gpt-4o", "avatar": "/imgs/model/openai.svg", "maxContext": 125000, "maxResponse": 4000, "quoteMaxToken": 120000, "maxTemperature": 1.2, "charsPointsPrice": 0, "censor": false, "vision": true, "datasetProcess": false, "usedInClassify": true, "usedInExtractFields": true, "usedInToolCall": true, "usedInQueryExtension": true, "toolChoice": true, "functionCall": false, "customCQPrompt": "", "customExtractPrompt": "", "defaultSystemChatPrompt": "", "defaultConfig": {} } ], "vectorModels": [ { "model": "m3e-base", "name": "m3e-base", "charsPointsPrice": 0, "defaultToken": 256, "maxToken": 512, "weight": 100, "defaultConfig": {}, "dbConfig": {}, "queryConfig": {} }, { "model": "text-embedding-ada-002", "name": "Embedding-2", "avatar": "/imgs/model/openai.svg", "charsPointsPrice": 0, "defaultToken": 700, "maxToken": 3000, "weight": 100, "defaultConfig": {}, "dbConfig": {}, "queryConfig": {} }, { "model": "text-embedding-3-large", "name": "text-embedding-3-large", "avatar": "/imgs/model/openai.svg", "charsPointsPrice": 0, "defaultToken": 512, "maxToken": 3000, "weight": 100, "defaultConfig": { "dimensions": 1024 } }, { "model": "embeding3", "name": "embeding3", "avatar": "/imgs/model/chatglm.svg", "charsPointsPrice": 0, "defaultToken": 512, "maxToken": 3000, "weight": 100 } ], "reRankModels": [ { "model": "bge-reranker-v2-m3", "name": "bge-reranker-v2-m3" } ], "audioSpeechModels": [ { "model": "tts-1", "name": "OpenAI TTS1", "charsPointsPrice": 0, "voices": [ { "label": "Alloy", "value": "alloy", "bufferId": "openai-Alloy" }, { "label": "Echo", "value": "echo", "bufferId": "openai-Echo" }, { "label": "Fable", "value": "fable", "bufferId": "openai-Fable" }, { "label": "Onyx", "value": "onyx", "bufferId": "openai-Onyx" }, { "label": "Nova", "value": "nova", "bufferId": "openai-Nova" }, { "label": "Shimmer", "value": "shimmer", "bufferId": "openai-Shimmer" } ] } ], "whisperModel": { "model": "whisper-1", "name": "Whisper1", "charsPointsPrice": 0 } } ``` 按 **Esc** 键退出插入模式回到命令模式。最后，输入</font>`:wq`<font style="color:rgb(6, 6, 7);"> 保存并退出</font><font style="color:rgb(6, 6, 7);"></font> ### 启动系统 确保在fastgpt目录下执行如下命令启动系统 ```plain docker-compose up -d ``` 检查系统启动情况： ```plain docker-compose ps ``` 如果系统成功启动，能看到状态都是Up： ```plain Name Command State Ports ------------------------------------------------------------------------------------------------------ fastgpt sh -c node --max-old-space ... Up 0.0.0.0:3000->3000/tcp,:::3000->3000/tcp mongo bash -c openssl rand -base ... Up 0.0.0.0:27017->27017/tcp,:::27017->27017/tcp mysql docker-entrypoint.sh --def ... Up 0.0.0.0:3306->3306/tcp,:::3306->3306/tcp, 33060/tcp oneapi /one-api Up 0.0.0.0:3001->3000/tcp,:::3001->3000/tcp pg docker-entrypoint.sh postgres Up 0.0.0.0:5432->5432/tcp,:::5432->5432/tcp sandbox docker-entrypoint.sh node ... Up ``` 并且查看fastgpt目录下的文件会出现 config.json, docker-compose.yml, mongo, myssql, oneapi, pg 这些文件夹。如果没有成功出现这些文件夹，应该是前面docker以及docker-compose没有下载好。 ```plain root@master01:/home/hsw/fastgpt# ls config.json docker-compose.yaml mongo mysql oneapi pg ``` ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728370648809-56f60f8d-5fee-4fe3-b39c-63d449e2402e.png) ## 四、在**<font style="color:#1a1a1a;">OneAPI接入百度文心模型</font>** ### 访问OneAPI地址 <font style="color:#000000;">通过浏览器访问FastGPT:http://127.0.0.1:3001/并登陆（</font><font style="color:#000000;background-color:#fff67a;">注意将127.0.0.1修改成自己服务器对应的IP地址</font><font style="color:#000000;">）。</font> | 组件 | 访问方式（本机） | 访问方式（远程服务器） | 用户名密码 | | --- | --- | --- | --- | | One API | <font style="color:#333333;">http://127.0.0.1:3001</font> | <font style="color:#333333;">http://{ip_address}:3001</font> | <font style="color:#333333;">用户名：root</font><br/><font style="color:#333333;">密码：1234</font> | ### **<font style="color:#1a1a1a;">准备百度文心一言模型</font>** 进入[百度云控制台](https://login.bce.baidu.com/?redirect=https%3A%2F%2Fconsole.bce.baidu.com%2F)，然后进行账户注册，<font style="color:#000000;">再进入</font><font style="color:#000000;background-color:#eff0f1;">百度智能云千帆大模型平台：</font>![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728380732866-dcbe7eb8-6c6a-4729-a17f-e6feadcc37a9.png) 创建应用： ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728380784404-27487c71-8444-4236-b3c1-2cdde87f50a3.png) <font style="color:#000000;">填入应用配置：</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728380823619-43ad5904-8eea-4f15-a456-c3b0d3e94ba2.png) 在 '模型管理' 里找到 **<font style="color:#000000;">ERNIE-Speed-128K</font>**<font style="color:#000000;">和</font>**<font style="color:#000000;">ERNIE-Speed-8K</font>**<font style="color:#000000;">这两个服务，点击【免费开通】</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728380890324-42098b2d-1ddf-4d0e-aa79-c8148682991d.png) ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728380910270-3e4da307-1fa2-4abb-9d62-0689101f7203.png) ### 添加One API渠道 点击 '渠道'，输入 '类型' 以及 '名称'，在 '模型' 里找到刚刚免费开通的两个模型 **<font style="color:#000000;">ERNIE-Speed-128K </font>**<font style="color:#000000;">和 </font>**<font style="color:#000000;">ERNIE-Speed-8K</font>** ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728381248192-75788c44-7c00-4b70-a73b-3f2686401bc9.png) 回到百度文心的界面，在 '应用接入' 里找到API Key 以及 Secret Key，将这两个密钥按照复制粘贴到One API界面中的密钥里 (注意：这里的格式要求用 '|' 将两个密钥分开) ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728381091617-5cf54d28-bde2-4f75-9a51-86e7399b71c8.png) 接下来点击 '提交' 即可。 ### 测试渠道是否安装成功 <font style="color:#000000;">回到</font><font style="color:#000000;background-color:#eff0f1;">渠道</font><font style="color:#000000;">界面，点击</font><font style="color:#000000;background-color:#eff0f1;">测试</font><font style="color:#000000;">按钮来测试OneAPI渠道是否成功</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728381673493-40979b4d-3530-4e59-8fd5-dec768cdcf27.png) ## 五、用FastGPT创建一个简易聊天应用 <font style="color:#000000;">通过浏览器访问FastGPT:http://127.0.0.1:3000/并登陆（</font><font style="color:#000000;background-color:#fff67a;">注意将127.0.0.1修改成自己服务器对应的IP地址</font><font style="color:#000000;">）。</font> | 组件 | 访问方式（本机） | 访问方式（远程服务器） | 用户名密码 | | --- | --- | --- | --- | | FastGPT | <font style="color:#333333;">http://127.0.0.1:3000</font> | <font style="color:#333333;">http://{ip_address}:3000</font> | <font style="color:#333333;">用户名：root</font><br/><font style="color:#333333;">密码：1234</font> | <font style="color:#000000;">点击</font><font style="color:#000000;background-color:#eff0f1;">新建</font><font style="color:#000000;">，选择</font><font style="color:#000000;background-color:#eff0f1;">简易应用</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728371284720-f43760d4-a813-4d4c-9b01-e76591c50d93.png) <font style="color:#000000;">输入名称，选择</font><font style="color:#000000;background-color:#eff0f1;">简易机器人</font><font style="color:#000000;">。</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728373634048-97cf3d9b-48c2-41a4-89a7-0517a45af966.png) <font style="color:#000000;">点击</font><font style="color:#000000;background-color:#eff0f1;">配置AI模型</font><font style="color:#000000;">，这里</font><font style="color:#000000;background-color:#eff0f1;">AI模型</font><font style="color:#000000;">选择ERNIE-Speed-128K, 注意将</font><font style="color:#000000;background-color:#eff0f1;">回复上线</font><font style="color:#000000;">调整到4096以下，最后点击</font><font style="color:#000000;background-color:#eff0f1;">确认</font><font style="color:#000000;">。</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728373527189-5549379c-b7a3-49dd-bdb7-905116850bf7.png) <font style="color:#000000;">模型配置成功之后，在右上角点击</font><font style="color:#000000;background-color:#eff0f1;">发布</font><font style="color:#000000;">应用。然后可以在</font><font style="color:#000000;background-color:#eff0f1;">工作台</font><font style="color:#000000;">通过</font><font style="color:#000000;background-color:#eff0f1;">调试预览</font><font style="color:#000000;">跟模型进行对话。</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728373651629-2055f12d-a4a9-4f8a-971f-eea464ad47ff.png) ## 六、创建一个带知识库的聊天应用 ### 创建知识库 首先进入到左边目录栏里的 '知识库' ，然后在右上角点击 '新建'。 ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728374656961-82dcc127-0b9b-4785-acd0-4b02889ee34a.png) 知识库类别选择 '通用知识库' , 然后给知识库取名, 最后点击 '确认创建' ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728373664090-5a95f778-09b1-4e29-9708-f134df31d711.png) <font style="color:#333333;">导入数据集中选择文本数据集</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728375709883-a388970b-bc62-4032-a82a-766f9947e8cf.png) <font style="color:#333333;">配置相关模型：</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728375734193-26ec4e18-53db-4b98-b28d-e3f1084ecd48.png) <font style="color:#333333;">如果有本地文件，就选择【本地文本】，如果是复制文本粘贴过来的选择【自定义文本】, 这里我选择的是【自定义文本】</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728375755765-72b3fc86-8435-4679-b227-bbb7ffe2b705.png) 然后写入你的 '数据集名称' 以及 '数据集内容'，然后点击 '下一步' ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728373679295-be3d72f6-2f03-4b22-85f4-141f50596b98.png) 选择文本的拆分模式以及处理方式 ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728373689577-3acc4483-9784-4384-9ffc-413b15d070af.png) 处理完上面相关配置后, 可以在知识库的数据集里找到相关信息: ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728373722052-8d953ed8-9b10-494f-a9c1-59378eb34e9a.png) ### 聊天应用添加知识库 通过左边目录栏回到 '工作台', <font style="color:#333333;">点击【关联知识库】</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728376062369-710819bc-aa68-4823-a2f5-2f22f56279f3.png) 在这里可以找到刚刚创建的知识库, 选择并双击知识库 ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728373739502-daace306-e6ca-4603-a5e6-f05e30ee24fa.png) <font style="color:#333333;">点击【参数】</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728376238398-18e49194-cc01-4d8d-b180-63fe4066b0b1.png) <font style="color:#333333;">可以选择知识库搜索匹配模式, 这里我选择的是【混合检索】, 可根据自己的需求进行选择</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728373751541-e08dfdbc-e3a7-4769-9387-04172a35b9d0.png) <font style="color:#333333;">可以添加工具供大模型使用</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728373770986-c58070a7-ad61-44d5-8cb9-2f19cfbee2e1.png) <font style="color:#333333;">询问大模型跟知识库相关的问题</font> ![](https://cdn.nlark.com/yuque/0/2024/png/48118617/1728373806874-95e425c1-ec41-45d4-9bcc-2ae7aca2bba9.png)
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#162
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?