HswOAuth/llm_course
19
16
Fork 0
Code Issues 608 Pull Requests Actions Packages Projects Releases Wiki Activity

模型切换使用问题 #704

New Issue
Open
opened 2025-04-24 15:47:03 +08:00 by szeport · 1 comment
szeport commented 2025-04-24 15:47:03 +08:00
Copy Link

dify的应用中用agent创建 客服助手用于检索知识库，
现在遇到一个问题，提问的如果发送图片 + 问题，那么就得调用 多模态视觉大模型，这时候它的知识库检索和工具调用能力不行。
如果用推理大模型来作为主要模型，那么就不能开启上传 贴图片的功能，这样也就失去了便捷的功能，要怎么做 才能用上 识别图片和推理能力强的模型

imageimage

dify的应用中用agent创建 客服助手用于检索知识库， 现在遇到一个问题，提问的如果发送图片 + 问题，那么就得调用 多模态视觉大模型，这时候它的知识库检索和工具调用能力不行。 如果用推理大模型来作为主要模型，那么就不能开启上传 贴图片的功能，这样也就失去了便捷的功能，要怎么做 才能用上 识别图片和推理能力强的模型 ![image](/attachments/d54f4275-8451-4338-bc28-a5de1c74e300)![image](/attachments/8c2ccd78-556c-45ab-9a4e-fef9910e17a6)
image.png
118 KiB
image.png
155 KiB
12019701659cs commented 2025-04-24 21:49:23 +08:00
Copy Link

可以看下dify的工具流，使用两种模型依次执行。

可以看下dify的工具流，使用两种模型依次执行。
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Something is not working

  
duplicate

This issue or pull request already exists

  
enhancement

New feature

  
help wanted

Need some help

  
invalid

Something is wrong

  
question

More information is needed

  
wontfix

This won't be fixed

No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#704
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?