HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

【求助帖】LLM->多模态理论+案例讲解--video-llava运行报错 #585

New Issue
Open
opened 2025-02-25 21:22:48 +08:00 by xfleven · 7 comments
xfleven commented 2025-02-25 21:22:48 +08:00
Copy Link

启动成功，但提问环节报错
image
图片处理报错
image
视频处理报错
image
image
image
之前启动报AttributeError: 'LlamaConfig' object has no attribute 'mm_vision_tower'这个错，修改了builder.py文件，修改后课成功启动，修改如下：
image

启动成功，但提问环节报错 ![image](/attachments/4eeb83eb-64d1-4aa5-a05d-f72de3f6558c) 图片处理报错 ![image](/attachments/93993d1b-3a98-4482-9356-bd31aca80836) 视频处理报错 ![image](/attachments/4120c728-4dd4-4339-b884-6c4560bb64a5) ![image](/attachments/c0021dc9-e39d-4258-8925-bb409b6faebf) ![image](/attachments/84a893e9-4b9e-4934-a5f2-114caeecf74d) 之前启动报AttributeError: 'LlamaConfig' object has no attribute 'mm_vision_tower'这个错，修改了builder.py文件，修改后课成功启动，修改如下： ![image](/attachments/6b9a40c0-62b8-4b15-9d66-ccd57f0e0dce)
image.png
353 KiB
image.png
201 KiB
image.png
366 KiB
image.png
61 KiB
image.png
154 KiB
image.png
197 KiB
12019701659cs commented 2025-02-26 16:43:58 +08:00
Copy Link

我没遇到过，可以参考下：
变量 image_processor 在被使用之前没有被正确地赋值或初始化。 具体来说，在文件 /root/autodl-tmp/Video-LLAVA/videollava/serve/gradio_web_server.py 的第 59 行代码中，尝试使用 image_processor 对象的 preprocess 方法，但是此时 image_processor 是 None，导致了错误。
可能的原因: image_processor 未正确加载或初始化: 在 gradio_web_server.py 文件或者其他相关文件中，负责加载或初始化 image_processor 的代码可能出现了问题，导致它最终的值为 None。 例如，加载模型或配置文件的代码可能失败了。

  1. 检查 image_processor 的初始化代码: 需要检查 /root/autodl-tmp/Video-LLAVA/videollava/serve/gradio_web_server.py 文件以及相关的代码，找到 image_processor 是在哪里被赋值的。 确认加载或初始化的代码逻辑是否正确，是否有任何错误导致赋值失败。
  2. 确认依赖项: image_processor 可能来自某个库 (例如 Hugging Face Transformers)。 请确保已经正确安装了所有必要的依赖项，并且版本兼容。 可以尝试重新安装依赖库。
  3. 检查文件路径 (如果适用): 如果 image_processor 的加载依赖于外部文件 (例如模型配置文件、权重文件等)， 请仔细检查相关的文件路径是否正确配置，程序是否能够找到这些文件。
  4. 添加调试信息: 在 /root/autodl-tmp/Video-LLAVA/videollava/serve/gradio_web_server.py 文件的 generate 函数中，在第 59 行代码之前，添加一行代码 print(image_processor) 来输出 image_processor 的值。 运行程序并查看输出，确认 image_processor 是否为 None。 如果确实是 None， 则需要向上追踪代码，找到 image_processor 应该被赋值的地方，并检查那里的代码逻辑。
我没遇到过，可以参考下： 变量 image_processor 在被使用之前没有被正确地赋值或初始化。 具体来说，在文件 /root/autodl-tmp/Video-LLAVA/videollava/serve/gradio_web_server.py 的第 59 行代码中，尝试使用 image_processor 对象的 preprocess 方法，但是此时 image_processor 是 None，导致了错误。 可能的原因: image_processor 未正确加载或初始化: 在 gradio_web_server.py 文件或者其他相关文件中，负责加载或初始化 image_processor 的代码可能出现了问题，导致它最终的值为 None。 例如，加载模型或配置文件的代码可能失败了。 1. 检查 image_processor 的初始化代码: 需要检查 /root/autodl-tmp/Video-LLAVA/videollava/serve/gradio_web_server.py 文件以及相关的代码，找到 image_processor 是在哪里被赋值的。 确认加载或初始化的代码逻辑是否正确，是否有任何错误导致赋值失败。 2. 确认依赖项: image_processor 可能来自某个库 (例如 Hugging Face Transformers)。 请确保已经正确安装了所有必要的依赖项，并且版本兼容。 可以尝试重新安装依赖库。 3. 检查文件路径 (如果适用): 如果 image_processor 的加载依赖于外部文件 (例如模型配置文件、权重文件等)， 请仔细检查相关的文件路径是否正确配置，程序是否能够找到这些文件。 4. 添加调试信息: 在 /root/autodl-tmp/Video-LLAVA/videollava/serve/gradio_web_server.py 文件的 generate 函数中，在第 59 行代码之前，添加一行代码 print(image_processor) 来输出 image_processor 的值。 运行程序并查看输出，确认 image_processor 是否为 None。 如果确实是 None， 则需要向上追踪代码，找到 image_processor 应该被赋值的地方，并检查那里的代码逻辑。
xfleven commented 2025-02-26 17:52:08 +08:00
Author
Copy Link

我没遇到过，可以参考下：
变量 image_processor 在被使用之前没有被正确地赋值或初始化。 具体来说，在文件 /root/autodl-tmp/Video-LLAVA/videollava/serve/gradio_web_server.py 的第 59 行代码中，尝试使用 image_processor 对象的 preprocess 方法，但是此时 image_processor 是 None，导致了错误。
可能的原因: image_processor 未正确加载或初始化: 在 gradio_web_server.py 文件或者其他相关文件中，负责加载或初始化 image_processor 的代码可能出现了问题，导致它最终的值为 None。 例如，加载模型或配置文件的代码可能失败了。

  1. 检查 image_processor 的初始化代码: 需要检查 /root/autodl-tmp/Video-LLAVA/videollava/serve/gradio_web_server.py 文件以及相关的代码，找到 image_processor 是在哪里被赋值的。 确认加载或初始化的代码逻辑是否正确，是否有任何错误导致赋值失败。
  2. 确认依赖项: image_processor 可能来自某个库 (例如 Hugging Face Transformers)。 请确保已经正确安装了所有必要的依赖项，并且版本兼容。 可以尝试重新安装依赖库。
  3. 检查文件路径 (如果适用): 如果 image_processor 的加载依赖于外部文件 (例如模型配置文件、权重文件等)， 请仔细检查相关的文件路径是否正确配置，程序是否能够找到这些文件。
  4. 添加调试信息: 在 /root/autodl-tmp/Video-LLAVA/videollava/serve/gradio_web_server.py 文件的 generate 函数中，在第 59 行代码之前，添加一行代码 print(image_processor) 来输出 image_processor 的值。 运行程序并查看输出，确认 image_processor 是否为 None。 如果确实是 None， 则需要向上追踪代码，找到 image_processor 应该被赋值的地方，并检查那里的代码逻辑。

video_processor也报错了，和image_processor不一样，关于启动报错的处理方法有问题吗（修改builder.py文件）

> 我没遇到过，可以参考下： > 变量 image_processor 在被使用之前没有被正确地赋值或初始化。 具体来说，在文件 /root/autodl-tmp/Video-LLAVA/videollava/serve/gradio_web_server.py 的第 59 行代码中，尝试使用 image_processor 对象的 preprocess 方法，但是此时 image_processor 是 None，导致了错误。 > 可能的原因: image_processor 未正确加载或初始化: 在 gradio_web_server.py 文件或者其他相关文件中，负责加载或初始化 image_processor 的代码可能出现了问题，导致它最终的值为 None。 例如，加载模型或配置文件的代码可能失败了。 > 1. 检查 image_processor 的初始化代码: 需要检查 /root/autodl-tmp/Video-LLAVA/videollava/serve/gradio_web_server.py 文件以及相关的代码，找到 image_processor 是在哪里被赋值的。 确认加载或初始化的代码逻辑是否正确，是否有任何错误导致赋值失败。 > 2. 确认依赖项: image_processor 可能来自某个库 (例如 Hugging Face Transformers)。 请确保已经正确安装了所有必要的依赖项，并且版本兼容。 可以尝试重新安装依赖库。 > 3. 检查文件路径 (如果适用): 如果 image_processor 的加载依赖于外部文件 (例如模型配置文件、权重文件等)， 请仔细检查相关的文件路径是否正确配置，程序是否能够找到这些文件。 > 4. 添加调试信息: 在 /root/autodl-tmp/Video-LLAVA/videollava/serve/gradio_web_server.py 文件的 generate 函数中，在第 59 行代码之前，添加一行代码 print(image_processor) 来输出 image_processor 的值。 运行程序并查看输出，确认 image_processor 是否为 None。 如果确实是 None， 则需要向上追踪代码，找到 image_processor 应该被赋值的地方，并检查那里的代码逻辑。 video_processor也报错了，和image_processor不一样，关于启动报错的处理方法有问题吗（修改builder.py文件）
12019701659cs commented 2025-02-26 23:00:03 +08:00
Copy Link

我一般会先检查torch、cuda版本，然后检查transformers的版本，之后看下代码库的issue，一般很少改builder文件。

我一般会先检查torch、cuda版本，然后检查transformers的版本，之后看下代码库的issue，一般很少改builder文件。
xfleven commented 2025-02-27 13:53:42 +08:00
Author
Copy Link

我一般会先检查torch、cuda版本，然后检查transformers的版本，之后看下代码库的issue，一般很少改builder文件。

AttributeError: 'LlamaConfig' object has no attribute 'mm_vision_tower'正常这个问题如何解决呢，使用的依赖版本是这个
image

> 我一般会先检查torch、cuda版本，然后检查transformers的版本，之后看下代码库的issue，一般很少改builder文件。 AttributeError: 'LlamaConfig' object has no attribute 'mm_vision_tower'正常这个问题如何解决呢，使用的依赖版本是这个 ![image](/attachments/a35b5786-293d-46f5-95e0-5e9097b7d10b)
image.png
78 KiB
xfleven commented 2025-02-27 14:18:31 +08:00
Author
Copy Link

我一般会先检查torch、cuda版本，然后检查transformers的版本，之后看下代码库的issue，一般很少改builder文件。

还有一个通用性问题，就是https://github.com/PKU-YuanGroup/Video-LLaVA.git这个网站上没指明模型文件是啥，我应该如何去找对应的模型文件下载

> 我一般会先检查torch、cuda版本，然后检查transformers的版本，之后看下代码库的issue，一般很少改builder文件。 还有一个通用性问题，就是https://github.com/PKU-YuanGroup/Video-LLaVA.git这个网站上没指明模型文件是啥，我应该如何去找对应的模型文件下载
12019701659cs commented 2025-03-01 14:52:43 +08:00
Copy Link

我一般会先检查torch、cuda版本，然后检查transformers的版本，之后看下代码库的issue，一般很少改builder文件。

AttributeError: 'LlamaConfig' object has no attribute 'mm_vision_tower'正常这个问题如何解决呢，使用的依赖版本是这个
image

image

图一是我的实例配置
文件是我的conda环境配置

> > 我一般会先检查torch、cuda版本，然后检查transformers的版本，之后看下代码库的issue，一般很少改builder文件。 > > AttributeError: 'LlamaConfig' object has no attribute 'mm_vision_tower'正常这个问题如何解决呢，使用的依赖版本是这个 > ![image](/attachments/a35b5786-293d-46f5-95e0-5e9097b7d10b) <img width="315" alt="image" src="/attachments/929943eb-463f-4a83-9160-670a3a9bffd5"> 图一是我的实例配置 文件是我的conda环境配置
image.png
39 KiB
videollava_environment.txt
3.9 KiB
12019701659cs commented 2025-03-01 14:56:16 +08:00
Copy Link

我一般会先检查torch、cuda版本，然后检查transformers的版本，之后看下代码库的issue，一般很少改builder文件。

还有一个通用性问题，就是https://github.com/PKU-YuanGroup/Video-LLaVA.git这个网站上没指明模型文件是啥，我应该如何去找对应的模型文件下载

image 代码里面有说，在huggingface上的下载的模型权重
> > 我一般会先检查torch、cuda版本，然后检查transformers的版本，之后看下代码库的issue，一般很少改builder文件。 > > 还有一个通用性问题，就是https://github.com/PKU-YuanGroup/Video-LLaVA.git这个网站上没指明模型文件是啥，我应该如何去找对应的模型文件下载 <img width="673" alt="image" src="/attachments/142a077e-a54c-49d6-bc44-5a25f23bd531"> 代码里面有说，在huggingface上的下载的模型权重
image.png
149 KiB
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#585
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?