【求助帖】2024/10/16，Chinese LLaMA Alpaca系列模型 - 连接本地的nextchat到remote ssh服务器 #222

New Issue

jyKnife · 2024-10-18T02:12:03+08:00

jyKnife commented

2024-10-18 02:12:03 +08:00

我已经成功把模型跑起来了，也可以通过命令得到答案，但是不太清楚怎么把nextchat和在ssh服务器上面跑的模型连起来，需要帮助。

Screenshot 2024-10-18 021118.png

104 KiB

21547230244cs commented

2024-10-18 17:27:56 +08:00

在GitBash上

首先先确保自己在这个目录下：cd ~/Chinese-LLaMA-Alpaca-3-3.0/scripts/oai_api_demo/

然后再输入如下命令启动大模型：
python openai_api_server.py --gpus 0 --base_model /home/huxudong/.cache/modelscope/hub/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3

确保已经下载好了NextChat，这里附上Windows的下载官网：
Windows：https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web/releases/download/v2.14.2/NextChat_2.14.2_x64-setup.exe

下载好后打开nextchat，在设置里找到接口位置

设置接口地址，若为本地则为localhost（127.0.0.1）+端口号（19327），服务器则需要替换；

API Key可以任意填写，然后将chatgpt系统提示去掉。点击这里选择模型便可以跟机器人对话了

在GitBash上首先先确保自己在这个目录下：cd ~/Chinese-LLaMA-Alpaca-3-3.0/scripts/oai_api_demo/ 然后再输入如下命令启动大模型： python openai_api_server.py --gpus 0 --base_model /home/huxudong/.cache/modelscope/hub/ChineseAlpacaGroup/llama-3-chinese-8b-instruct-v3 确保已经下载好了NextChat，这里附上Windows的下载官网： Windows：https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web/releases/download/v2.14.2/NextChat_2.14.2_x64-setup.exe 下载好后打开nextchat，在设置里找到接口位置 <img width="1147" alt="image" src="/attachments/88e72438-92eb-4900-a177-a0d18833cca8"> 设置接口地址，若为本地则为localhost（127.0.0.1）+端口号（19327），服务器则需要替换； <img width="1124" alt="image" src="/attachments/22f94f22-bfd1-4ac2-bc8f-a488fdb4921d"> API Key可以任意填写，然后将chatgpt系统提示去掉。点击这里选择模型便可以跟机器人对话了 <img width="1136" alt="image" src="/attachments/bc34fa3b-bc2d-4833-8878-1cafc9626ddc">

image.png

224 KiB

image.png

224 KiB

image.png

302 KiB

image.png

237 KiB

image.png

336 KiB