HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

【求助帖】多模态课程启动 Video-LLaVA 报错 #337

New Issue
Open
opened 2024-11-01 16:15:36 +08:00 by sunnyday · 11 comments
sunnyday commented 2024-11-01 16:15:36 +08:00
Copy Link

image
启动python -m videollava.serve.gradio_web_serverimage报错，不知道如何解决

![image](/attachments/356c30e8-e50e-4fe9-9ee2-9fc08c389c58) 启动python -m videollava.serve.gradio_web_server![image](/attachments/a9e60bc3-7131-4e4d-8ebb-9410bd2b110c)报错，不知道如何解决
image.png
30 KiB
image.png
30 KiB
12019701659cs commented 2024-11-01 17:32:22 +08:00
Copy Link

提供一下完整的运行命令和截图，以及前因后果。

提供一下完整的运行命令和截图，以及前因后果。
12019701659cs commented 2024-11-01 17:37:16 +08:00
Copy Link

以及检查下：（1）模型的下载是否完整（2）gradio_web_server.py的模型路径是否正确

以及检查下：（1）模型的下载是否完整（2）gradio_web_server.py的模型路径是否正确
sunnyday commented 2024-11-01 22:20:43 +08:00
Author
Copy Link

image按照pdf用老师分享的镜像运行，报错。模型下载完整，gradio_web_server.py模型路径正确。

![image](/attachments/9bf2f383-1efa-46b0-a8cc-48bda6f34937)按照pdf用老师分享的镜像运行，报错。模型下载完整，gradio_web_server.py模型路径正确。
image.png
86 KiB
12019701659cs commented 2024-11-02 18:09:11 +08:00
Copy Link

截下完整的运行情况，从命令开始到报错

截下完整的运行情况，从命令开始到报错
12019701659cs commented 2024-11-02 18:12:31 +08:00
Copy Link

模型的下载是否完整：使用transformers库加载模型，尝试使用transformers库加载下载的模型，如果模型文件损坏或不完整，加载过程中通常会报错，这可以作为一种简单的完整性检查方法。

模型的下载是否完整：使用transformers库加载模型，尝试使用transformers库加载下载的模型，如果模型文件损坏或不完整，加载过程中通常会报错，这可以作为一种简单的完整性检查方法。
11063289223cs commented 2024-11-04 01:00:44 +08:00
Copy Link

image
image这是命令，以下是完整报错
image
image
image
我下载的模型用transformers库加载，也出现同样的错误，但是几次下载完成都是这样的，没有损坏模型。是否Video-LLaVA-7B和Video-LLaVA-7B-hf都可以用这个脚本加载？用Video-LLaVA-7B可以加载，但用视频对话时会出现错误
image

![image](/attachments/9fd179ef-7233-4fc9-ab90-6d6b4f1d38f2) ![image](/attachments/5b680440-28f3-4524-be70-81dc44b6d1a5)这是命令，以下是完整报错 ![image](/attachments/b365e59b-caee-4ec7-8c3d-00347d2050fc) ![image](/attachments/a17e7bdb-532b-436c-924e-58d8eb167e05) ![image](/attachments/8113237e-1e31-48ca-a0de-c2c29dfc2d26) 我下载的模型用transformers库加载，也出现同样的错误，但是几次下载完成都是这样的，没有损坏模型。是否Video-LLaVA-7B和Video-LLaVA-7B-hf都可以用这个脚本加载？用Video-LLaVA-7B可以加载，但用视频对话时会出现错误 ![image](/attachments/cfe690fb-986e-439e-81cb-0410b90bfc3c)
image.png
44 KiB
image.png
44 KiB
image.png
154 KiB
image.png
129 KiB
image.png
38 KiB
image.png
93 KiB
image.png
112 KiB
image.png
12019701659cs commented 2024-11-04 10:33:57 +08:00
Copy Link
image 应该还是模型的问题，检查模型目录的完整性，看下model.safetensors.index.json，是否有image_tower
<img width="1028" alt="image" src="/attachments/bdc2aaef-a52d-49e7-ad8b-240d09c08f76"> 应该还是模型的问题，检查模型目录的完整性，看下model.safetensors.index.json，是否有image_tower
image.png
434 KiB
sunnyday commented 2024-11-04 10:44:45 +08:00
Author
Copy Link

有image_tower
image

有image_tower ![image](/attachments/decc023e-9b30-4254-ad12-cd0ca2a115a9)
image.png
196 KiB
12019701659cs commented 2024-11-05 00:28:54 +08:00
Copy Link
image gradio_web_server.py改回原来的，然后让运行 `export HF_HOME=/root/autodl-tmp/huggingface-cache/` `export HF_ENDPOINT=https://hf-mirror.com` `python -m videollava.serve.gradio_web_server` 自动下载模型
<img width="745" alt="image" src="/attachments/6179b401-c424-4913-ad73-4fdd0e28a81b"> gradio_web_server.py改回原来的，然后让运行 `export HF_HOME=/root/autodl-tmp/huggingface-cache/` `export HF_ENDPOINT=https://hf-mirror.com` `python -m videollava.serve.gradio_web_server` 自动下载模型
image.png
220 KiB
12535224197cs commented 2024-11-05 14:22:56 +08:00
Copy Link

我也遇到了同样的问题，老师是否方便分享一下课程用的videollava的conda环境的yaml文件

我也遇到了同样的问题，老师是否方便分享一下课程用的videollava的conda环境的yaml文件
11063289223cs commented 2024-11-05 14:41:44 +08:00
Copy Link
image gradio_web_server.py改回原来的，然后让运行 `export HF_HOME=/root/autodl-tmp/huggingface-cache/` `export HF_ENDPOINT=https://hf-mirror.com` `python -m videollava.serve.gradio_web_server` 自动下载模型

这样可以运行

> <img width="745" alt="image" src="/attachments/6179b401-c424-4913-ad73-4fdd0e28a81b"> > gradio_web_server.py改回原来的，然后让运行 > `export HF_HOME=/root/autodl-tmp/huggingface-cache/` > `export HF_ENDPOINT=https://hf-mirror.com` > `python -m videollava.serve.gradio_web_server` > 自动下载模型 > > 这样可以运行
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
4 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#337
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?