HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

关于环境问题的疑问 #459

New Issue
Open
opened 2025-01-03 16:10:58 +08:00 by txg0612 · 5 comments
txg0612 commented 2025-01-03 16:10:58 +08:00
Copy Link

老师你好，我有一台本地的服务器，gpu信息如下图，准备安装LLaMA-factory 来做模型微调实验。目前已经安装好ubuntu 22.04系统，问题1：是不是还要先安装python（比如3.11版本）、pytorch(比如2.4.0)和CUDA（比如12.2）。还有就是我看做LLaMA-factory 实验时还要用conda命令创建一个专门的环境LLaMA-factory，指定python版本为3.10，问题2：请问在LLaMA-factory这个环境中还需要安装pytorch和CUDA吗，还是由conda创建的环境都会共用系统中的pytorch(比如2.4.0)和CUDA（比如12.2）。
image。
问题3：最后请老师看看我这台服务器的性能能做这个微调实验没？
问题4：如果gpu显存不够用，cpu内存有128g能自动帮上忙没？
麻烦老师解答一下以上几个疑问为谢！

老师你好，我有一台本地的服务器，gpu信息如下图，准备安装LLaMA-factory 来做模型微调实验。目前已经安装好ubuntu 22.04系统，问题1：是不是还要先安装python（比如3.11版本）、pytorch(比如2.4.0)和CUDA（比如12.2）。还有就是我看做LLaMA-factory 实验时还要用conda命令创建一个专门的环境LLaMA-factory，指定python版本为3.10，问题2：请问在LLaMA-factory这个环境中还需要安装pytorch和CUDA吗，还是由conda创建的环境都会共用系统中的pytorch(比如2.4.0)和CUDA（比如12.2）。 ![image](/attachments/4b870ab5-0946-482d-9e0e-72729b71cc11)。 问题3：最后请老师看看我这台服务器的性能能做这个微调实验没？ 问题4：如果gpu显存不够用，cpu内存有128g能自动帮上忙没？ 麻烦老师解答一下以上几个疑问为谢！
image.png
34 KiB
rayhsw commented 2025-01-03 18:18:48 +08:00
Copy Link

问题1:按文档，按照conda即可，conda自带python，需要创建一个专用的版本，与教案zhi yi；
问题2:在虚拟环境中安装pytorch和cuda相关依赖；
问题3:在量化的情况下，显存应该是够的，具体需要多少显存，可以查看教案；
问题4:显存和内存是两个概念；

问题1:按文档，按照conda即可，conda自带python，需要创建一个专用的版本，与教案zhi yi； 问题2:在虚拟环境中安装pytorch和cuda相关依赖； 问题3:在量化的情况下，显存应该是够的，具体需要多少显存，可以查看教案； 问题4:显存和内存是两个概念；
txg0612 commented 2025-01-04 20:18:19 +08:00
Author
Copy Link

是不是就算安装系统后，安装了pytorch(比如2.4.0)和CUDA（比如12.2），在创建的虚拟环境中也是使用不到这个pytorch和CUDA的对吧？

是不是就算安装系统后，安装了pytorch(比如2.4.0)和CUDA（比如12.2），在创建的虚拟环境中也是使用不到这个pytorch和CUDA的对吧？
txg0612 commented 2025-01-04 21:34:36 +08:00
Author
Copy Link

pip install -e ".[torch,metrics]"
执行该命令后就会安装好pytorch和cuda相关依赖吗？

pip install -e ".[torch,metrics]" 执行该命令后就会安装好pytorch和cuda相关依赖吗？
rayhsw commented 2025-01-06 16:59:14 +08:00
Copy Link

是不是就算安装系统后，安装了pytorch(比如2.4.0)和CUDA（比如12.2），在创建的虚拟环境中也是使用不到这个pytorch和CUDA的对吧？

恩，请按教案的文档来就行。虚拟环境和外部没有关系。

> 是不是就算安装系统后，安装了pytorch(比如2.4.0)和CUDA（比如12.2），在创建的虚拟环境中也是使用不到这个pytorch和CUDA的对吧？ 恩，请按教案的文档来就行。虚拟环境和外部没有关系。
rayhsw commented 2025-01-06 16:59:33 +08:00
Copy Link

pip install -e ".[torch,metrics]"
执行该命令后就会安装好pytorch和cuda相关依赖吗？

是的

> pip install -e ".[torch,metrics]" > 执行该命令后就会安装好pytorch和cuda相关依赖吗？ > 是的
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#459
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?