HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

28-25.3.11-function call多机多卡（上）-部署疑问 #630

New Issue
Open
opened 2025-03-20 09:56:48 +08:00 by Aa123456 · 2 comments
Aa123456 commented 2025-03-20 09:56:48 +08:00
Copy Link

老师，有点疑问，我安装FastChat.git，部署 fastchat-t5-3b-v1.0 在主机器上，假如机器1
安装 controller ，是机器2？
Launch the model worker(s) 是要机器3？

但是有个疑问，这几个机器之间通信我看视频里没讲怎么配置啊？需要配嘛？
我做大数据，我们部署机器，整个集群是要配置免密，所以我有点疑问，这块没想明白，不知道你是把这三个部署在同一台了？还是分开了，但是实际工作中，我觉得应该是分开的吧。

老师，有点疑问，我安装FastChat.git，部署 fastchat-t5-3b-v1.0 在主机器上，假如机器1 安装 controller ，是机器2？ Launch the model worker(s) 是要机器3？ 但是有个疑问，这几个机器之间通信我看视频里没讲怎么配置啊？需要配嘛？ 我做大数据，我们部署机器，整个集群是要配置免密，所以我有点疑问，这块没想明白，不知道你是把这三个部署在同一台了？还是分开了，但是实际工作中，我觉得应该是分开的吧。
Aa123456 commented 2025-03-20 11:07:47 +08:00
Author
Copy Link

我看着是一起了，是为了让大家体验下这个架构嘛？

我看着是一起了，是为了让大家体验下这个架构嘛？
12019701659cs commented 2025-03-21 20:39:44 +08:00
Copy Link

既可以放在一个机器，也可以放在不同的机器，关键是这三个之间的通信打通就行，类似api连接/信道通信。详细可以看下fastchat的代码。

既可以放在一个机器，也可以放在不同的机器，关键是这三个之间的通信打通就行，类似api连接/信道通信。详细可以看下fastchat的代码。
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#630
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?