linux虚拟机对于训练模型虚拟环境的创建 #79

New Issue

12390900721cs · 2024-09-13T14:51:18+08:00

12390900721cs commented

2024-09-13 14:51:18 +08:00

要对本地大模型进行部署，为了方便后续的开发，这里需要：

对需要使用的源码进行下载；
下载miniconda，使用miniconda来进行python的环境和包管理；
对基座模型进行下载；
用GPU启动开源版openai接口；
使用ChatGPTNextWeb工具测试的接口。
这里先说前面的部分，因为不能放太多图片来着

1.对需要使用的源码进行下载
按照讲义上的代码完成源码的下载后，使用命令行ls对内容进行查看。

其中需要注意的是requirements.txt文件中包含了此项目需要有的依赖；scripts中包含了此项目需要用到的代码脚本。

2.下载miniconda，使用miniconda来进行python的环境和包管理；
Miniconda 是一个轻量级的 Python 发行版管理工具，属于 Anaconda 项目的简化版本。它提供了 Python 环境管理和包管理的核心功能。有如下特点：

轻量级：Miniconda 只包含 Conda 包管理器、Python 和少量必要的依赖。用户可以根据需要手动安装其他库和工具，因此比 Anaconda 占用更少的磁盘空间。
Conda 环境管理：Miniconda 的核心是 Conda，这是一款强大的包和环境管理工具。**它可以帮助用户创建和管理多个 Python 环境，每个环境可以安装不同版本的 Python 和依赖包，互不干扰。**这对解决 Python 包之间的兼容性问题特别有帮助。
包管理：使用 Conda 包管理器，用户可以安装来自 Conda 仓库或 Anaconda 仓库的各种软件包。Miniconda 支持安装 Python、R 语言及其相关的依赖项。
自定义安装：Miniconda 允许用户从零开始安装所需的包和工具，具有更大的灵活性。如果不需要 Anaconda 附带的数百个预安装包，Miniconda 是一个更小巧的选择。
使用场景：1. 环境隔离：可以为不同的项目创建独立的 Python 环境，避免包版本冲突。2. 定制化安装：只安装你需要的软件包，节省存储空间。3. 跨平台：Miniconda 支持 Windows、macOS 和 Linux 操作系统。

这里使用讲义上的代码进行下载：

下载完成后，要使用新的环境，先要对环境进行创建。这里使用'su llm_course'创建一个名为 llm_course 的新用户，然后用’conda create -n chinese_llama_alpaca_3 python=3.8.17 pip -y‘完成新环境’chinese_llama_alpaca_3‘的创建，并指定python版本为3.8。
下载成功后会出现对启动和关闭环境命令行的提示：

随后启动新环境：

3.对基座模型进行下载；
进入新环境后，对基座模型进行下载。
要下载基座模型首先对ModelScope库进行下载：
’pip install modelscope -i https://mirrors.aliyun.com/pypi/simple‘
然后用ModelScope库来下载需要用到的中文的 LLaMA 模型：
’modelscope download --model ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3‘
下载需要一段时间，完成后查看文件目录：

进入modelscope查看下载好的模型，模型大小为15G，确实是一个比较大的模型。

到这里完成了环境的创建以及模型和代码的下载，我会在后一篇补充利用CPU启动开源版openai接口并使用ChatGPTNextWeb工具进行测试的部分。
后文：
https://hsw-git.huishiwei.cn/HswOAuth/llm_course/issues/80

要对本地大模型进行部署，为了方便后续的开发，这里需要： 1. 对需要使用的源码进行下载； 2. 下载miniconda，使用miniconda来进行python的环境和包管理； 3. 对基座模型进行下载； 4. 用GPU启动开源版openai接口； 5. 使用ChatGPTNextWeb工具测试的接口。这里先说前面的部分，因为不能放太多图片来着 1.对需要使用的源码进行下载按照讲义上的代码完成源码的下载后，使用命令行`ls`对内容进行查看。 ![665e3ccb89f887785d930c604a05541.png](/attachments/b2984643-0c57-4be5-97ba-07f9ddc4c512) 其中需要注意的是requirements.txt文件中包含了此项目需要有的依赖；scripts中包含了此项目需要用到的代码脚本。 2.下载miniconda，使用miniconda来进行python的环境和包管理； Miniconda 是一个轻量级的 Python 发行版管理工具，属于 Anaconda 项目的简化版本。它提供了 Python 环境管理和包管理的核心功能。有如下特点： - 轻量级：Miniconda 只包含 Conda 包管理器、Python 和少量必要的依赖。用户可以根据需要手动安装其他库和工具，因此比 Anaconda 占用更少的磁盘空间。 - Conda 环境管理：Miniconda 的核心是 Conda，这是一款强大的包和环境管理工具。**它可以帮助用户创建和管理多个 Python 环境，每个环境可以安装不同版本的 Python 和依赖包，互不干扰。**这对解决 Python 包之间的兼容性问题特别有帮助。 - 包管理：使用 Conda 包管理器，用户可以安装来自 Conda 仓库或 Anaconda 仓库的各种软件包。Miniconda 支持安装 Python、R 语言及其相关的依赖项。 - 自定义安装：Miniconda 允许用户从零开始安装所需的包和工具，具有更大的灵活性。如果不需要 Anaconda 附带的数百个预安装包，Miniconda 是一个更小巧的选择。 - 使用场景：1. 环境隔离：可以为不同的项目创建独立的 Python 环境，避免包版本冲突。2. 定制化安装：只安装你需要的软件包，节省存储空间。3. 跨平台：Miniconda 支持 Windows、macOS 和 Linux 操作系统。这里使用讲义上的代码进行下载： ![167e7e24c55eebf3a41286b3f148699.png](/attachments/aa556485-1b13-40ff-ab4e-dfa61a3e18d6) 下载完成后，要使用新的环境，先要对环境进行创建。这里使用'su llm_course'创建一个名为 llm_course 的新用户，然后用’conda create -n chinese_llama_alpaca_3 python=3.8.17 pip -y‘完成新环境’chinese_llama_alpaca_3‘的创建，并指定python版本为3.8。下载成功后会出现对启动和关闭环境命令行的提示： ![5168b8d653b1a48c4a841ba00408df3.png](/attachments/491c576c-812e-466c-9dc1-93ce6f8d42d0) 随后启动新环境： ![801fe5e5b01cdb525ca8f9c2f99be02.png](/attachments/ab678254-9250-4010-9f5a-baf16eb12a6c) 3.对基座模型进行下载；进入新环境后，对基座模型进行下载。要下载基座模型首先对ModelScope库进行下载： ’pip install modelscope -i https://mirrors.aliyun.com/pypi/simple‘ 然后用ModelScope库来下载需要用到的中文的 LLaMA 模型： ’modelscope download --model ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3‘ 下载需要一段时间，完成后查看文件目录： ![9d081931c78bef71e70b3c1536111d9.png](/attachments/e71add84-e3b8-42ff-b4de-60d09aa78cde) 进入modelscope查看下载好的模型，模型大小为15G，确实是一个比较大的模型。到这里完成了环境的创建以及模型和代码的下载，我会在后一篇补充利用CPU启动开源版openai接口并使用ChatGPTNextWeb工具进行测试的部分。后文： [https://hsw-git.huishiwei.cn/HswOAuth/llm_course/issues/80](url)

665e3ccb89f887785d930c604a05541.png

18 KiB

167e7e24c55eebf3a41286b3f148699.png

67 KiB

5168b8d653b1a48c4a841ba00408df3.png

12 KiB

801fe5e5b01cdb525ca8f9c2f99be02.png

91 KiB

9d081931c78bef71e70b3c1536111d9.png

36 KiB

Sign in to join this conversation.