【作业提交】13-oneAPI+LLama-3-Chinese+FastChat部署高可用 #93

New Issue

21547408482cs · 2024-09-14T22:55:22+08:00

21547408482cs commented

2024-09-14 22:55:22 +08:00

llama-3-chinese 高可用配置

一些准备工作

修改 openai_api_server.py 源文件

# 在13行增加如下代码
parser.add_argument('--port', default=19327, type=int)
# 397行的端口修改
port=args.port

# 237行下增加代码，解决终止对话时，不结束
pad_token_id=tokenizer.eos_token_id,
        eos_token_id=[tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]

最终代码

generation_kwargs = dict(
        streamer=streamer,
        input_ids=input_ids,
        generation_config=generation_config,
        return_dict_in_generate=True,
        output_scores=False,
        max_new_tokens=max_new_tokens,
        repetition_penalty=float(repetition_penalty),
        pad_token_id=tokenizer.eos_token_id,
        eos_token_id=[tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")]
    )

安装docker

注意：以下操作需使用root用户

# 安装 ca-certificates curl gnupg lsb-release
(chinese_llama_alpaca_3_cpu) tkc@ubuntu:~$ sudo apt install ca-certificates curl gnupg lsb-release -y

# 下载 Docker 的 GPG 密钥，并将其添加到 apt-key 中
(base) root@ubuntu:~# curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | apt-key add -

# 为Docker 添加阿里源
(base) root@ubuntu:~# add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

# 更新系统的软件包
(base) root@ubuntu:~# apt -y update

# 安装docker相关的包
(base) root@ubuntu:~# apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y

# 查看docker版本，能打印版本号，证明安装成功
(base) root@ubuntu:~# docker -v
Docker version 27.2.1, build 9e34c9b

部署oneapi

创建docker-compose.yml文件

(base) tkc@ubuntu:~$ sudo mkdir /home/docker/
(base) tkc@ubuntu:~$ sudo vim docker-compose.yml

services:
  oneapi:
    image: m.daocloud.io/ghcr.io/songquanpeng/one-api:v0.6.7
    container_name: oneapi
    restart: always
    ports:
      - 3030:3000
    networks:
      - oneapi_llm_course
    environment:
      - TZ=Asia/Shanghai
    volumes:
      - ./data:/data
networks:
  oneapi_llm_course:

启动docker应用

(base) tkc@ubuntu:/home/docker$ sudo docker compose  up -d

访问oneapi

地址：http://192.168.80.6:3030
账号：root
密码：12345678

oneapi使用

创建渠道

创建token

NextChat配置

启动模型，开始对话

## llama-3-chinese 高可用配置 - 一些准备工作修改 openai_api_server.py 源文件 ```python # 在13行增加如下代码 parser.add_argument('--port', default=19327, type=int) # 397行的端口修改 port=args.port ``` ```python # 237行下增加代码，解决终止对话时，不结束 pad_token_id=tokenizer.eos_token_id, eos_token_id=[tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")] ``` 最终代码 ```python generation_kwargs = dict( streamer=streamer, input_ids=input_ids, generation_config=generation_config, return_dict_in_generate=True, output_scores=False, max_new_tokens=max_new_tokens, repetition_penalty=float(repetition_penalty), pad_token_id=tokenizer.eos_token_id, eos_token_id=[tokenizer.eos_token_id, tokenizer.convert_tokens_to_ids("<|eot_id|>")] ) ``` - 安装docker 注意：以下操作需使用root用户 ```shell # 安装 ca-certificates curl gnupg lsb-release (chinese_llama_alpaca_3_cpu) tkc@ubuntu:~$ sudo apt install ca-certificates curl gnupg lsb-release -y # 下载 Docker 的 GPG 密钥，并将其添加到 apt-key 中 (base) root@ubuntu:~# curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | apt-key add - # 为Docker 添加阿里源 (base) root@ubuntu:~# add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable" # 更新系统的软件包 (base) root@ubuntu:~# apt -y update # 安装docker相关的包 (base) root@ubuntu:~# apt install docker-ce docker-ce-cli containerd.io docker-compose-plugin -y # 查看docker版本，能打印版本号，证明安装成功 (base) root@ubuntu:~# docker -v Docker version 27.2.1, build 9e34c9b ``` - 部署oneapi 创建docker-compose.yml文件 ```shell (base) tkc@ubuntu:~$ sudo mkdir /home/docker/ (base) tkc@ubuntu:~$ sudo vim docker-compose.yml ``` ```yaml services: oneapi: image: m.daocloud.io/ghcr.io/songquanpeng/one-api:v0.6.7 container_name: oneapi restart: always ports: - 3030:3000 networks: - oneapi_llm_course environment: - TZ=Asia/Shanghai volumes: - ./data:/data networks: oneapi_llm_course: ``` - 启动docker应用 ```shell (base) tkc@ubuntu:/home/docker$ sudo docker compose up -d ``` 访问oneapi ``` 地址：http://192.168.80.6:3030 账号：root 密码：12345678 ``` - oneapi使用创建渠道 ![1726324842952](E:\study\1-AGI大模型\assets\1726324842952.png) 创建token ![1726325157803](E:\study\1-AGI大模型\assets\1726325036691.png) NextChat配置 ![1726325292618](E:\study\1-AGI大模型\assets\1726325292618.png) 启动模型，开始对话

Sign in to join this conversation.