我做了一个项目(工作流+知识库),现在出现模型幻觉和速度比较慢,看怎么解决 #706
Labels
No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
No Milestone
No project
No Assignees
2 Participants
Notifications
Due Date
No due date set.
Dependencies
No dependencies set.
Reference: HswOAuth/llm_course#706
Loading…
Reference in New Issue
Block a user
No description provided.
Delete Branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
实现公司内部知识库搭建,并通过飞书交付使用
目前已有架构:
dify+langbot+飞书
模型部署选择:
deepseek-r1满血(目前在考虑换deepseek v3),bge-m3,bge-reranker-v2
通过dify创建chatflow,构建工作流,开放api,给在langbot中绑定飞书机器人长连接,绑定api接口
现有问题:
经常答非所问,想进一步完善工作流,用户从飞书输入问题后,要等将近一分钟才能获取问题答案
可以参考
在 Dify 中构建多阶段工作流:
动态上下文管理:限制上下文长度(例如 2048 或 4096 标记),避免模型因过长输入导致性能下降。
要等将近一分钟才能获取问题答案:
一般是推理时间长,如果问题不复杂,没必要用reasoning模型;另外rag参数可以调整下,最终输入的prompt长度不一定需要特别多。