中文 llama3 仿 openai api 实战 #370

New Issue

mawenfang · 2024-11-10T21:49:11+08:00

mawenfang commented

2024-11-10 21:49:11 +08:00

大模型本地部署后，启动服务测试时报错，麻烦老师指导下，谢谢

1731246250847.jpg

202 KiB

1731246273675.jpg

77 KiB

2.png

77 KiB

1.png

202 KiB

3.png

103 KiB

rayhsw commented

2024-11-11 18:10:26 +08:00

接口地址那里，不能填http://0.0.0.0:19327，而应该填写您服务器的真实ip，比如http://192.168.31.10:19327，如果您是在本机启动大模型，可以填入：http://127.0.0.1:19327

mawenfang commented

2024-11-13 12:38:25 +08:00

直接kill掉，是我硬件配置问题吗？

![image](/attachments/a3ebf7d2-399f-422f-bc0e-bb62a5959900) 直接kill掉，是我硬件配置问题吗？

image.png

220 KiB

rayhsw commented

2024-11-13 18:23:26 +08:00

直接kill掉，是我硬件配置问题吗？

大概率是，请问您的机器内存是多大的？空闲大于40GB内存比较保险。

> ![image](/attachments/a3ebf7d2-399f-422f-bc0e-bb62a5959900) > 直接kill掉，是我硬件配置问题吗？大概率是，请问您的机器内存是多大的？空闲大于40GB内存比较保险。

mawenfang commented

2024-11-14 16:53:43 +08:00

我自己的本，这。。。。咋跑啊

![image](/attachments/33cba7d8-8056-43c0-b3be-c99d9fa742bb) 我自己的本，这。。。。咋跑啊

image.png

102 KiB

mawenfang closed this issue

2024-11-14 16:53:46 +08:00

mawenfang reopened this issue

2024-11-15 17:29:42 +08:00

mawenfang commented

2024-11-15 17:31:28 +08:00

老师，我自己笨配置太低，该怎么办呢？怎么才能跟着老师跑一遍呢

rayhsw commented

2024-11-16 00:53:40 +08:00

老师，我自己笨配置太低，该怎么办呢？怎么才能跟着老师跑一遍呢

需要内存满足需求才能使用自己的笔记本做实验哦，也可以跟着之前的教程使用autodl做实验。

> 老师，我自己笨配置太低，该怎么办呢？怎么才能跟着老师跑一遍呢需要内存满足需求才能使用自己的笔记本做实验哦，也可以跟着之前的教程使用autodl做实验。

Sign in to join this conversation.

No Label

No Milestone

No project

No Assignees

2 Participants

Notifications

Due Date

The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#370