HswOAuth/llm_course
19
16
Fork 0
Code Issues 633 Pull Requests Actions Packages Projects Releases Wiki Activity

flash-attn安装问题 #133

New Issue
Open
opened 2024-09-27 10:54:46 +08:00 by sinahard · 2 comments
sinahard commented 2024-09-27 10:54:46 +08:00
Copy Link

autodl上安装Video-llava

1、因为flash-attn安装时间过长，尝试不装，进行下一步，结果报错，提示模型不匹配。gihub上有人遇到同样的问题 说将pretrain.sh文件里的zero2改为zero3可以解决，但是尝试后报同样的错。因为这是deepspeed的设置，我不知道这和没有安装flash-attn有没有关系。

2、再次尝试安装flash-attn，结果还是报错，提示wheels不适配。

有没有老师碰到过这种问题，能帮忙解决下。

autodl上安装Video-llava 1、因为flash-attn安装时间过长，尝试不装，进行下一步，结果报错，提示模型不匹配。gihub上有人遇到同样的问题 说将pretrain.sh文件里的zero2改为zero3可以解决，但是尝试后报同样的错。因为这是deepspeed的设置，我不知道这和没有安装flash-attn有没有关系。 2、再次尝试安装flash-attn，结果还是报错，提示wheels不适配。 有没有老师碰到过这种问题，能帮忙解决下。
微信图片_20240927104843.png
86 KiB
微信图片_20240927104850.png
20 KiB
微信图片_20240927104843.png 微信图片_20240927104850.png
21970855250cs commented 2024-09-27 21:32:04 +08:00
Copy Link

一般来说falash-attn和deepspeed zero3是可以一起使用的也可以各自单独使用。
看报错事编译flash-attention报错；不安装flash-attn的报错也可以发下看看？另外就是看看模型是否有falsh-attn的启用开关。

一般来说falash-attn和deepspeed zero3是可以一起使用的也可以各自单独使用。 看报错事编译flash-attention报错；不安装flash-attn的报错也可以发下看看？另外就是看看模型是否有falsh-attn的启用开关。
21970855250cs commented 2024-09-27 21:33:17 +08:00
Copy Link

flash attn是源码编译的吗？源码编译会比较耗时

flash attn是源码编译的吗？源码编译会比较耗时
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#133
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?