HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

【求助】算力云上运行Image Captioning 任务与模型执⾏VQA任务报错 #280

New Issue
Open
opened 2024-10-24 14:10:05 +08:00 by LIN · 12 comments
LIN commented 2024-10-24 14:10:05 +08:00
Copy Link

报错内容如下，是通过老师给的镜像建的实例

报错内容如下，是通过老师给的镜像建的实例
报错2.png
250 KiB
报错.png
1022 KiB
报错3.png
216 KiB
报错4.png
542 KiB
报错2.png 报错.png 报错3.png 报错4.png
12390900721cs commented 2024-10-24 18:10:24 +08:00
Copy Link

这个错误通常发生在网络连接不稳定、服务器不可达或请求超时的情况下。解决这个问题可能需要检查网络连接、服务器状态或调整请求的超时设置。同学可以试试在jupyter最前面开一个cell，然后通过如下命令设置一下网站镜像：
!export HF_HOME=/root/autodl-tmp/huggingface-cache/
!export HF_ENDPOINT=https://hf-mirror.com
可以在命令行中直接用（不需要感叹号），或者是在jupyter单开一个cell在前面加!用。

这个错误通常发生在网络连接不稳定、服务器不可达或请求超时的情况下。解决这个问题可能需要检查网络连接、服务器状态或调整请求的超时设置。同学可以试试在jupyter最前面开一个cell，然后通过如下命令设置一下网站镜像： !export HF_HOME=/root/autodl-tmp/huggingface-cache/ !export HF_ENDPOINT=https://hf-mirror.com 可以在命令行中直接用（不需要感叹号），或者是在jupyter单开一个cell在前面加!用。
12390900721cs commented 2024-10-24 18:18:46 +08:00
Copy Link

如果有后续的话在后面回我一下喔，我会跟进的~

如果有后续的话在后面回我一下喔，我会跟进的~
LIN commented 2024-10-24 20:39:39 +08:00
Author
Copy Link

如果有后续的话在后面回我一下喔，我会跟进的~

换了一个报错好像是什么文件错误？

> 如果有后续的话在后面回我一下喔，我会跟进的~ 换了一个报错好像是什么文件错误？
报错.png
597 KiB
报错2.png
487 KiB
报错.png 报错2.png
12390900721cs commented 2024-10-25 12:49:34 +08:00
Copy Link

感觉是没有下载好bert-based-uncased模型啊，你试试把下面的代码再跑一遍，是不是之前忽略了报错？
image
如果没问题的话，麻烦你截图一下左侧的文件，看看autodl-tmp里面有没有bert-based-uncased这个模型？

感觉是没有下载好bert-based-uncased模型啊，你试试把下面的代码再跑一遍，是不是之前忽略了报错？ ![image](/attachments/6ddc238d-4562-4235-b54a-2d6179e249b8) 如果没问题的话，麻烦你截图一下左侧的文件，看看autodl-tmp里面有没有bert-based-uncased这个模型？
image.png
73 KiB
LIN commented 2024-10-25 15:41:13 +08:00
Author
Copy Link

感觉是没有下载好bert-based-uncased模型啊，你试试把下面的代码再跑一遍，是不是之前忽略了报错？
image
如果没问题的话，麻烦你截图一下左侧的文件，看看autodl-tmp里面有没有bert-based-uncased这个模型？

应该是之前模型没有下载完整，我重新走了下下载代码运行显示这个

> 感觉是没有下载好bert-based-uncased模型啊，你试试把下面的代码再跑一遍，是不是之前忽略了报错？ > ![image](/attachments/6ddc238d-4562-4235-b54a-2d6179e249b8) > 如果没问题的话，麻烦你截图一下左侧的文件，看看autodl-tmp里面有没有bert-based-uncased这个模型？ 应该是之前模型没有下载完整，我重新走了下下载代码运行显示这个
报错2.png
526 KiB
报错.png
359 KiB
报错2.png 报错.png
12390900721cs commented 2024-10-25 18:03:28 +08:00
Copy Link

使用pip install下载这个没有的包试试

使用pip install下载这个没有的包试试
LIN commented 2024-10-25 18:35:55 +08:00
Author
Copy Link

使用pip install下载这个没有的包试试

不行呀显示
ERROR: Could not find a version that satisfies the requirement torch.distributed.fsdp (from versions: none)
ERROR: No matching distribution found for torch.distributed.fsdp

> 使用pip install下载这个没有的包试试 不行呀显示 ERROR: Could not find a version that satisfies the requirement torch.distributed.fsdp (from versions: none) ERROR: No matching distribution found for torch.distributed.fsdp
报错.png
99 KiB
报错.png
12390900721cs commented 2024-10-27 10:52:44 +08:00
Copy Link

使用pip install下载这个没有的包试试

不行呀显示
ERROR: Could not find a version that satisfies the requirement torch.distributed.fsdp (from versions: none)
ERROR: No matching distribution found for torch.distributed.fsdp

试试先更新一下pip包：
pip install --upgrade pip
然后再用镜像源下载试试，看能安装不：
pip install torch.distributed.fsdp -i https://pypi.tuna.tsinghua.edu.cn/simple

> > 使用pip install下载这个没有的包试试 > > 不行呀显示 > ERROR: Could not find a version that satisfies the requirement torch.distributed.fsdp (from versions: none) > ERROR: No matching distribution found for torch.distributed.fsdp 试试先更新一下pip包： pip install --upgrade pip 然后再用镜像源下载试试，看能安装不： pip install torch.distributed.fsdp -i https://pypi.tuna.tsinghua.edu.cn/simple
LIN commented 2024-10-30 09:20:28 +08:00
Author
Copy Link

使用pip install下载这个没有的包试试

不行呀显示
ERROR: Could not find a version that satisfies the requirement torch.distributed.fsdp (from versions: none)
ERROR: No matching distribution found for torch.distributed.fsdp

试试先更新一下pip包：
pip install --upgrade pip
然后再用镜像源下载试试，看能安装不：
pip install torch.distributed.fsdp -i https://pypi.tuna.tsinghua.edu.cn/simple

显示这个
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
ERROR: Could not find a version that satisfies the requirement torch.distributed.fsdp (from versions: none)
ERROR: No matching distribution found for torch.distributed.fsdp
(base) root@autodl-container-c33846b235-d9deba44:~#

> > > 使用pip install下载这个没有的包试试 > > > > 不行呀显示 > > ERROR: Could not find a version that satisfies the requirement torch.distributed.fsdp (from versions: none) > > ERROR: No matching distribution found for torch.distributed.fsdp > > 试试先更新一下pip包： > pip install --upgrade pip > 然后再用镜像源下载试试，看能安装不： > pip install torch.distributed.fsdp -i https://pypi.tuna.tsinghua.edu.cn/simple > 显示这个 Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple ERROR: Could not find a version that satisfies the requirement torch.distributed.fsdp (from versions: none) ERROR: No matching distribution found for torch.distributed.fsdp (base) root@autodl-container-c33846b235-d9deba44:~#
报错.png
266 KiB
报错.png
12019701659cs commented 2024-10-30 20:48:01 +08:00
Copy Link

提供的镜像里面，blip使用的环境是名为blip的conda环境，所以：

  1. 在命令行执行环境时，需要先使用conda activate blip进入blip的conda的环境。
  2. 在jypter notebook中，需要修改成blip的内核才能使用blip的环境
    image
    image
提供的镜像里面，blip使用的环境是名为blip的conda环境，所以： 1. 在命令行执行环境时，需要先使用conda activate blip进入blip的conda的环境。 2. 在jypter notebook中，需要修改成blip的内核才能使用blip的环境 <img width="832" alt="image" src="/attachments/605b0e29-1ced-4bc1-8afd-e07cede9adc6"> <img width="803" alt="image" src="/attachments/6a26c46a-7744-474f-8f2a-106ef413e8be">
image.png
182 KiB
image.png
177 KiB
LIN commented 2024-10-31 15:47:57 +08:00
Author
Copy Link

提供的镜像里面，blip使用的环境是名为blip的conda环境，所以：

  1. 在命令行执行环境时，需要先使用conda activate blip进入blip的conda的环境。
  2. 在jypter notebook中，需要修改成blip的内核才能使用blip的环境
    image
    image

用base环境运行会显示缺少torch.distributed.fsdp模块，用blip环境运行会显示The size of tensor a (3) must match the size of tensor b (9) at non-singleton dimension 0

> 提供的镜像里面，blip使用的环境是名为blip的conda环境，所以： > 1. 在命令行执行环境时，需要先使用conda activate blip进入blip的conda的环境。 > 2. 在jypter notebook中，需要修改成blip的内核才能使用blip的环境 > <img width="832" alt="image" src="/attachments/605b0e29-1ced-4bc1-8afd-e07cede9adc6"> > <img width="803" alt="image" src="/attachments/6a26c46a-7744-474f-8f2a-106ef413e8be"> 用base环境运行会显示缺少torch.distributed.fsdp模块，用blip环境运行会显示The size of tensor a (3) must match the size of tensor b (9) at non-singleton dimension 0
报错2.png
453 KiB
报错.png
448 KiB
报错2.png 报错.png
👍 1
12390900721cs commented 2024-10-31 16:12:11 +08:00
Copy Link

提供的镜像里面，blip使用的环境是名为blip的conda环境，所以：

  1. 在命令行执行环境时，需要先使用conda activate blip进入blip的conda的环境。
  2. 在jypter notebook中，需要修改成blip的内核才能使用blip的环境
    image
    image

用base环境运行会显示缺少torch.distributed.fsdp模块，用blip环境运行会显示The size of tensor a (3) must match the size of tensor b (9) at non-singleton dimension 0

出现这个报错的话就不用beam search，把那一行注释掉，用下面的那个方法就可以了，这是版本问题

> > 提供的镜像里面，blip使用的环境是名为blip的conda环境，所以： > > 1. 在命令行执行环境时，需要先使用conda activate blip进入blip的conda的环境。 > > 2. 在jypter notebook中，需要修改成blip的内核才能使用blip的环境 > > <img width="832" alt="image" src="/attachments/605b0e29-1ced-4bc1-8afd-e07cede9adc6"> > > <img width="803" alt="image" src="/attachments/6a26c46a-7744-474f-8f2a-106ef413e8be"> > > 用base环境运行会显示缺少torch.distributed.fsdp模块，用blip环境运行会显示The size of tensor a (3) must match the size of tensor b (9) at non-singleton dimension 0 > > 出现这个报错的话就不用beam search，把那一行注释掉，用下面的那个方法就可以了，这是版本问题
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
3 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#280
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?