L2第一课作业-中文 llama3 仿 openai api 实战 #315

New Issue

11252177484cs · 2024-10-28T18:33:19+08:00

11252177484cs commented

2024-10-28 18:33:19 +08:00

背景：华为笔记本电脑，内存16G，windows 系统用CPU模式部署, 条件非常差

步骤
1：安装GIT bASH, 基本支持教材中的命令. -- 缺点不是linux系统, 优点是安装简单,省空间
2、下载源码
3、安装miniconda，这里有个小坑，GIT 不支持命令行安装，只能在windows 界面进行安装操作
4、创建虚拟环境。---这个里有个第二个小坑，一开始在GIT 命令行内容输入激活命令conda activate chinese_llama_alpaca_3，提示权限问题。后来发现要进入miniconda powshell 输入命令才行激活。
5、下载模型。模型一共15G左右，C盘空间都不太够用了。GIT 下没法用screen，还好下载速度还行。
6、创建CPU 虚拟环境，安装以来，启动服务失败。后来发现是POWERSHELL 有内存使用限制2G，去掉后，反复多次尝试,终于启动了.
7、用nextchat 测试，发现还是有问题。发现接口地址不能写HTTP://0.0.0.0:19327, 地址要写HTTP://0.0.0.0:19327 或者实际的IP地址。
8、最后运行非常慢，问了一句“你好”，回复需要10分钟。

背景：华为笔记本电脑，内存16G，windows 系统用CPU模式部署, 条件非常差步骤 1：安装GIT bASH, 基本支持教材中的命令. -- 缺点不是linux系统, 优点是安装简单,省空间 2、下载源码 3、安装miniconda，这里有个小坑，GIT 不支持命令行安装，只能在windows 界面进行安装操作 4、创建虚拟环境。---这个里有个第二个小坑，一开始在GIT 命令行内容输入激活命令conda activate chinese_llama_alpaca_3，提示权限问题。后来发现要进入miniconda powshell 输入命令才行激活。 5、下载模型。模型一共15G左右，C盘空间都不太够用了。GIT 下没法用screen，还好下载速度还行。 6、创建CPU 虚拟环境，安装以来，启动服务失败。后来发现是POWERSHELL 有内存使用限制2G，去掉后，反复多次尝试,终于启动了. 7、用nextchat 测试，发现还是有问题。发现接口地址不能写HTTP://0.0.0.0:19327, 地址要写HTTP://0.0.0.0:19327 或者实际的IP地址。 8、最后运行非常慢，问了一句“你好”，回复需要10分钟。 <img width="415" alt="image" src="/attachments/d8b3d029-e91c-4014-b8e6-927164a37667">

image.png

1.0 MiB

👍 1

Sign in to join this conversation.