【求助帖】自己做好的问答系统，如何部署到云服务器 #559

New Issue

137_512 · 2025-02-18T17:36:44+08:00

137_512 commented

2025-02-18 17:36:44 +08:00

自己做了一个问答系统，已经能在个人电脑上稳定使用了，使用的是autodl服务器，下一步要部署到云服务器，该如何操作？
目前租用的autodl的容器显存是24GB，可以勉强带动，如果后续多人使用的话，对显卡要求会更高，想找一个显卡型号和显存都合适的GPU，不知哪个平台费用较低？
部署到云服务器，多人使用，是否会影响系统的稳定性？

1. 自己做了一个问答系统，已经能在个人电脑上稳定使用了，使用的是autodl服务器，下一步要部署到云服务器，该如何操作？ 2. 目前租用的autodl的容器显存是24GB，可以勉强带动，如果后续多人使用的话，对显卡要求会更高，想找一个显卡型号和显存都合适的GPU，不知哪个平台费用较低？ 3. 部署到云服务器，多人使用，是否会影响系统的稳定性？

12019701659cs commented

2025-02-18 19:12:21 +08:00

autodl服务器也是云服务器，也可以去看下阿里云之类的大型云服务供应商。
建议优化下推理内存，比如使用flash attention、zero之类的推理库或者框架，先用24GB的显卡即可；没有具体评估过，你可以比较下这几个：AutoDL、极智算、捷智算、优云智算、恒源云、渲大师平台。
特别多的时候可能需要考虑并发量之类的，开源的问答系统应该有稳定性的设计，整体看稳定性会有所下降，但应该也能使用。

1. autodl服务器也是云服务器，也可以去看下阿里云之类的大型云服务供应商。 2. 建议优化下推理内存，比如使用flash attention、zero之类的推理库或者框架，先用24GB的显卡即可；没有具体评估过，你可以比较下这几个：AutoDL、极智算、捷智算、优云智算、恒源云、渲大师平台。 3. 特别多的时候可能需要考虑并发量之类的，开源的问答系统应该有稳定性的设计，整体看稳定性会有所下降，但应该也能使用。

Sign in to join this conversation.