llm接口高可用工程实践（本地CPU+API模拟GPU） #174

New Issue

Closed

opened 2024-10-10 18:27:15 +08:00 by 12390900721cs · 0 comments

12390900721cs commented 2024-10-10 18:27:15 +08:00

Copy Link

1. 部署Chinese-LLaMA-Alpaca-3项目；
2. 搭建2个llama3私有化api和oneapi网关；
3. 基于oneapi实现大模型接口的高可用方案。

实验环境准备

利用Visual Studio远程连接服务器终端

ssh username@your_service_IP

然后打开终端即可。

接口测试工具下载

这里我们还是用ChatGPTNextWeb工具测试我们的接口，通过下面的地址下载：

ChatGPTNextWeb

安装Docker（有的话可以跳过）

#移除 Docker 相关的软件包和容器运行时
apt-get remove docker-ce docker-ce-cli containerd.io docker-compose-plugin docker docker-engine docker.io containerd runc

# 切换国内源
sed -i -r 's#http://(archive|security).ubuntu.com#https://mirrors.aliyun.com#g' /etc/apt/sources.list && apt-get update

### 安装docker
# 安装ca-certificates curl gnupg lsb-release
apt-get install ca-certificates curl gnupg lsb-release
#下载 Docker 的 GPG 密钥，并将其添加到 apt-key 中
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | apt-key add -
# 为Docker 添加阿里源
add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# 更新系统的软件包
apt -y update
# 安装docker相关的包
apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin

多端口启动大模型

代码兼容多端口启动大模型

因为要基于一份代码启动两个服务，我们需要在原有代码中加入端口参数。打开文件，作出修改：

~/Chinese-LLaMA-Alpaca-3-3.0/scripts/oai_api_demo/openai_api_server.py

parser = argparse.ArgumentParser() # 找到改行代码，在改行代码下添加一行
parser.add_argument('--port', default=19327, type=int) # 新添加一行

# 找到这行代码
uvicorn.run(app, host="0.0.0.0", port=19327, workers=1, log_config=log_config)
# 改为如下内容（主要是可以自己设置端口，这里默认值还是19327）
uvicorn.run(app, host="0.0.0.0", port=args.port, workers=1, log_config=log_config)

启动GPU版本大模型

conda activate chinese_llama_alpaca_3 # 激活虚拟环境
cd ~/Chinese-LLaMA-Alpaca-3-3.0/scripts/oai_api_demo/ # 进入脚本目录
python openai_api_server.py --gpus 0 --base_model /home/ganjialing/.cache/modelscope/hub/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3

不知道为什么这里报错了啊，之前的实验都可以的，先跳过这个吧

启动CPU版本大模型

conda activate chinese_llama_alpaca_3_cpu # 激活虚拟环境
cd ~/Chinese-LLaMA-Alpaca-3-3.0/scripts/oai_api_demo/ # 进入脚本目录
python openai_api_server.py --only_cpu --port 19328 --base_model /home/ganjialing/.cache/modelscope/hub/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3

部署OneAPI

创建docker-compose.yam文件并启动服务

创建docker-compose.yml

mkdir -p ~/oneapi-compose
cd ~/oneapi-compose
touch docker-compose.yaml

添加内容

version: '3.8'
services:
  oneapi:
    image: m.daocloud.io/ghcr.io/songquanpeng/one-api:v0.6.7
    container_name: oneapi
    restart: always
    ports:
      - 3030:3000
    networks:
      - oneapi_llm_course
    environment:
      - TZ=Asia/Shanghai
    volumes:
      - ./data:/data
networks:
  oneapi_llm_course:

启动服务

docker compose up -d

进入OneAPI页面

前面的.yml文件设置了端口号为3030，故如果是本地要进入刚刚部署的OneAPI页面则为localhost+3030；如果是使用服务器部署的则为服务器ip+3030。

配置llama3-gpu

配置如下：

注意：他这里本来应该叫llama-3-chinese，主要这里是高可用测试，在后面用百度api配置的文心一言那里不能改模型的名字，只能叫ERNIE-Speed-128K，而我们的自定义模型可以随便取自己的名字，所以这里我们也假装叫ERNIE-Speed-128K。

测试一下可通：

配置llama3-gpu

这里我gpu的不知怎么跑不起来的，我试试就拿个别的模型（ERNIE-Speed-128K）假装是gpu版本看行不，反正是测试高可用嘛。

添加Token

我们需要添加一个Token用于后续测试：

注意这里与原讲义有所不同，我们不叫llama-3-chinese。

然后复制令牌，用于后续测试。

测试高可用

配置ChatGPTNextWeb

这里填入OneAPI的接口地址，这也是用OneAPI进行接口分发以及高可用的体现。

之前得到的Token的Key也输入下；

这里模型名和模型也要改。

测试可行性

这里禁用百度文心模型，只用CPU版本，看看我的CPU版本可用不，可用的话实验才能顺利进行。

发现是可用的，只是跑得慢。

双渠道高可用测试

这里解开禁用。

再问同一个问题，快速问两次。

真的是一快一慢，还真是那么回事。

GPU可用CPU不可用以及CPU可用GPU可用测试

由于我是用的文心的API模拟GPU，所以这里其实在我测试可行性的时候就已经做过这个工作了。这里试一下关CPU只用GPU的用法。

关掉CPU，假装GPU在跑。

出来的很快。

这里再试一下关GPU只用CPU的用法。

可以看到半天才蹦出来一个字。

1. 部署<font style="color:black;">Chinese-LLaMA-Alpaca-3项目；</font> 2. <font style="color:black;">搭建2个llama3私有化api和oneapi网关；</font> 3. <font style="color:black;">基于oneapi实现大模型接口的高可用方案。</font>  ## <font style="color:black;">实验环境准备</font> ### 利用Visual Studio远程连接服务器终端 ```plain ssh username@your_service_IP ```   然后打开终端即可。 ### <font style="color:black;">接口测试工具下载</font> <font style="color:black;">这里我们还是用ChatGPTNextWeb工具测试我们的接口，通过下面的地址下载：</font> [ChatGPTNextWeb](自己去课件里找) ### 安装Docker（有的话可以跳过） ```plain #移除 Docker 相关的软件包和容器运行时 apt-get remove docker-ce docker-ce-cli containerd.io docker-compose-plugin docker docker-engine docker.io containerd runc # 切换国内源 sed -i -r 's#http://(archive|security).ubuntu.com#https://mirrors.aliyun.com#g' /etc/apt/sources.list && apt-get update ### 安装docker # 安装ca-certificates curl gnupg lsb-release apt-get install ca-certificates curl gnupg lsb-release #下载 Docker 的 GPG 密钥，并将其添加到 apt-key 中 curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | apt-key add - # 为Docker 添加阿里源 add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" # 更新系统的软件包 apt -y update # 安装docker相关的包 apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin ``` ## 多端口启动大模型 ### 代码兼容多端口启动大模型 因为要基于一份代码启动两个服务，我们需要在原有代码中加入端口参数。打开文件，作出修改： ```plain ~/Chinese-LLaMA-Alpaca-3-3.0/scripts/oai_api_demo/openai_api_server.py ```  ```plain parser = argparse.ArgumentParser() # 找到改行代码，在改行代码下添加一行 parser.add_argument('--port', default=19327, type=int) # 新添加一行 # 找到这行代码 uvicorn.run(app, host="0.0.0.0", port=19327, workers=1, log_config=log_config) # 改为如下内容（主要是可以自己设置端口，这里默认值还是19327） uvicorn.run(app, host="0.0.0.0", port=args.port, workers=1, log_config=log_config) ```   ### 启动GPU版本大模型 ```plain conda activate chinese_llama_alpaca_3 # 激活虚拟环境 cd ~/Chinese-LLaMA-Alpaca-3-3.0/scripts/oai_api_demo/ # 进入脚本目录 python openai_api_server.py --gpus 0 --base_model /home/ganjialing/.cache/modelscope/hub/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3 ```   # <font style="color:#DF2A3F;">不知道为什么这里报错了啊，之前的实验都可以的，先跳过这个吧</font> ### 启动CPU版本大模型 ```plain conda activate chinese_llama_alpaca_3_cpu # 激活虚拟环境 cd ~/Chinese-LLaMA-Alpaca-3-3.0/scripts/oai_api_demo/ # 进入脚本目录 python openai_api_server.py --only_cpu --port 19328 --base_model /home/ganjialing/.cache/modelscope/hub/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3 ``` #  ## 部署OneAPI ### 创建docker-compose.yam文件并启动服务 #### 创建docker-compose.yml ```plain mkdir -p ~/oneapi-compose cd ~/oneapi-compose touch docker-compose.yaml ``` #### 添加内容 ```plain version: '3.8' services: oneapi: image: m.daocloud.io/ghcr.io/songquanpeng/one-api:v0.6.7 container_name: oneapi restart: always ports: - 3030:3000 networks: - oneapi_llm_course environment: - TZ=Asia/Shanghai volumes: - ./data:/data networks: oneapi_llm_course: ``` #### 启动服务 ```plain docker compose up -d ```  ### 进入OneAPI页面 前面的.yml文件设置了端口号为3030，故如果是本地要进入刚刚部署的OneAPI页面则为localhost+3030；如果是使用服务器部署的则为服务器ip+3030。  ### 配置llama3-gpu 配置如下：  #### <font style="color:#DF2A3F;">注意：他这里本来应该叫llama-3-chinese，主要这里是高可用测试，在后面用百度api配置的文心一言那里不能改模型的名字，只能叫ERNIE-Speed-128K，而我们的自定义模型可以随便取自己的名字，所以这里我们也假装叫</font><font style="color:#DF2A3F;background-color:rgb(230, 240, 255);">ERNIE-Speed-128K。</font> 测试一下可通：  ### 配置llama3-gpu 这里我gpu的不知怎么跑不起来的，我试试就拿个别的模型（ERNIE-Speed-128K）假装是gpu版本看行不，反正是测试高可用嘛。  ## 添加Token <font style="color:black;">我们需要添加一个Token用于后续测试：</font>  注意这里与原讲义有所不同，我们不叫llama-3-chinese。 然后复制令牌，用于后续测试。 ## 测试高可用 ### 配置ChatGPTNextWeb 这里填入OneAPI的接口地址，这也是用OneAPI进行接口分发以及高可用的体现。  之前得到的Token的Key也输入下；  这里模型名和模型也要改。  ### 测试可行性 这里禁用百度文心模型，只用CPU版本，看看我的CPU版本可用不，可用的话实验才能顺利进行。  发现是可用的，只是跑得慢。  ### 双渠道高可用测试 这里解开禁用。  再问同一个问题，快速问两次。  真的是一快一慢，还真是那么回事。 ### GPU可用CPU不可用以及CPU可用GPU可用测试 由于我是用的文心的API模拟GPU，所以这里其实在我测试可行性的时候就已经做过这个工作了。这里试一下关CPU只用GPU的用法。 关掉CPU，假装GPU在跑。  出来的很快。  这里再试一下关GPU只用CPU的用法。  可以看到半天才蹦出来一个字。 

12390900721cs closed this issue 2024-10-10 18:27:44 +08:00

Sign in to join this conversation.

No Branch/Tag Specified

Branches Tags

main

No results found.

Labels

Clear labels   

bug

Something is not working

  

duplicate

This issue or pull request already exists

  

enhancement

New feature

  

help wanted

Need some help

  

invalid

Something is wrong

  

question

More information is needed

  

wontfix

This won't be fixed

No Label

bug

duplicate

enhancement

help wanted

invalid

question

wontfix

Milestone

Clear milestone

No items

No Milestone

Projects

Clear projects

No project

Assignees

Clear assignees

No Assignees

1 Participants

Notifications

Subscribe

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#174

No description provided.