@ray 老师，10.16课程LLM模型部署，问题：chatnext 和 LLM server互动Issue #225

New Issue

11976971417cs · 2024-10-18T11:26:16+08:00

11976971417cs commented

2024-10-18 11:26:16 +08:00

hi，ray老师：
目前，llam-3-chinese的服务端已部署并启动，打开客户端的Nextchat，按照讲义设置好参数，如图1--，敲入：hello，你是谁；但是回答有问题，如图2-- ，另外Nextchat设置如图3--

hi，ray老师：目前，llam-3-chinese的服务端已部署并启动，打开客户端的Nextchat，按照讲义设置好参数，如图1--![image](/attachments/c3ac78a2-5ef3-42b9-9360-3d8f3ca5d0ca)，敲入：hello，你是谁；但是回答有问题，如图2--![image](/attachments/6163876c-b2d3-473e-875e-978328bd0292) ，另外Nextchat设置如图3--![image](/attachments/eb0bbebf-be26-4d09-bdd0-79e860239e87)

image.png

179 KiB

image.png

114 KiB

image.png

138 KiB

best_newnew commented

2024-10-18 17:17:59 +08:00

hi，同学你好呀，我想知道你的实验是在服务器上做的还是在本地做的呢？
从这张图片上看应该是在远程服务器上做的吧？

可以看到ip地址应该是192.168.4.189。

所以在NextChat配置中的接口地址也要做对应修改喔，应该是ip地址+端口。
你这里设置的127.0.0.1是本机ip，使用本地ip的情况是在本机部署模型。如果是在远程服务器中部署模型的话，ip就要修改成对应的服务器ip喔~

hi，同学你好呀，我想知道你的实验是在服务器上做的还是在本地做的呢？从这张图片上看应该是在远程服务器上做的吧？ ![image](/attachments/8dceea92-76af-4070-9c67-7893db6d926f) 可以看到ip地址应该是192.168.4.189。所以在NextChat配置中的接口地址也要做对应修改喔，应该是ip地址+端口。你这里设置的127.0.0.1是本机ip，使用本地ip的情况是在本机部署模型。如果是在远程服务器中部署模型的话，ip就要修改成对应的服务器ip喔~ ![image](/attachments/25eaafa4-b720-48e1-92e7-6f808766f65b)

image.png

179 KiB

image.png

99 KiB

11976971417cs commented

2024-10-21 17:06:38 +08:00

重新修改NextChat中服务器地址：
，但是服务调动仍旧失败

重新修改NextChat中服务器地址： ![image](/attachments/afd82e1c-d87f-4a64-aae2-6bf640241623)![image](/attachments/c7416c16-ec87-4fe9-b88a-d9ebff4e74c8) ，但是服务调动仍旧失败![image](/attachments/bf010ca9-f171-4bbb-b90a-dd2e13d90fdc)

image.png

197 KiB

image.png

152 KiB

image.png

122 KiB

Sign in to join this conversation.