【求助贴】llm接口高可用工程实践安装oneapi 的时候报错（autodl 平台上使用无卡模式）， #11248284577cs #203

New Issue

11248284577cs · 2024-10-16T23:54:54+08:00

11248284577cs commented

2024-10-16 23:54:54 +08:00

(base) root@autodl-container-9b614dbe9b-c056e2f0:/home# cd ~/oneapi-compose
(base) root@autodl-container-9b614dbe9b-c056e2f0:~/oneapi-compose# docker compose up -d
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

2.无卡模式下，启动不了
(chinese_llama_alpaca_3) root@autodl-container-9b614dbe9b-c056e2f0:~/Chinese-LLaMA-Alpaca-3-3.0/scripts/oai_api_demo# python openai_api_server.py --only_cpu --port 19328 --base_model /root/autodl-fs/models/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3

1. ![image](/attachments/10d5f064-b150-4986-ba59-b9372ba9cc0d) ![image](/attachments/0a51848e-2b03-4478-8029-23c8f8a1cf0f) (base) root@autodl-container-9b614dbe9b-c056e2f0:/home# cd ~/oneapi-compose (base) root@autodl-container-9b614dbe9b-c056e2f0:~/oneapi-compose# docker compose up -d Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running? 2.无卡模式下，启动不了 (chinese_llama_alpaca_3) root@autodl-container-9b614dbe9b-c056e2f0:~/Chinese-LLaMA-Alpaca-3-3.0/scripts/oai_api_demo# python openai_api_server.py --only_cpu --port 19328 --base_model /root/autodl-fs/models/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3 ![image](/attachments/e16428c3-f0d4-4ca9-b32b-1f87d41f61a3)

image.png

101 KiB

image.png

209 KiB

image.png

199 KiB

11248284577cs commented

2024-10-17 11:06:01 +08:00

![image](/attachments/8ec9d8ca-64c6-45eb-8ebd-61ba1cb2f8e2)

image.png

234 KiB

11248284577cs commented

2024-10-17 11:09:06 +08:00

GPU 模式可以启动但是CPU启动不了。是一位内内存不够吗

21547230244cs commented

2024-10-17 14:55:39 +08:00

此实验最好在本机上下载GitBash，在GitBash上进行操作。

CPU启动不了可能是此任务对CPU的内存超过的这个配置。

从截图上看，安装oneapi报错的原因应该是没有修改docker-compose.yaml这个文件。

安装oneapi时需要先创建docker-compose.yaml这个文件（使用mkdir -p ~/oneapi-compose来创建文档）
然后cd ~/oneapi-compose
再输入touch docker-compose.yaml对该文档进行文本编辑
将以下代码粘贴到docker-compose.yaml这个文件中：
version: '3.8'
services:
oneapi:
image: m.daocloud.io/ghcr.io/songquanpeng/one-api:v0.6.7
container_name: oneapi
restart: always
ports:
- 3030:3000
  networks:
- oneapi_llm_course
  environment:
- TZ=Asia/Shanghai
  volumes:
- ./data:/data
  networks:
  oneapi_llm_course:
将代码复制到文档中后，最后再使用docker compose up -d启动容器。

此实验最好在本机上下载GitBash，在GitBash上进行操作。 CPU启动不了可能是此任务对CPU的内存超过的这个配置。从截图上看，安装oneapi报错的原因应该是没有修改docker-compose.yaml这个文件。 1. 安装oneapi时需要先创建docker-compose.yaml这个文件（使用mkdir -p ~/oneapi-compose来创建文档） 2. 然后cd ~/oneapi-compose 3. 再输入touch docker-compose.yaml对该文档进行文本编辑 4. 将以下代码粘贴到docker-compose.yaml这个文件中： version: '3.8' services: oneapi: image: m.daocloud.io/ghcr.io/songquanpeng/one-api:v0.6.7 container_name: oneapi restart: always ports: - 3030:3000 networks: - oneapi_llm_course environment: - TZ=Asia/Shanghai volumes: - ./data:/data networks: oneapi_llm_course: 5. 将代码复制到文档中后，最后再使用docker compose up -d启动容器。

Sign in to join this conversation.