我做了一个项目(工作流+知识库),现在出现模型幻觉和速度比较慢,看怎么解决 #706

Open
opened 2025-04-24 21:05:35 +08:00 by jiangjiazhizhi · 1 comment

实现公司内部知识库搭建,并通过飞书交付使用
目前已有架构:
dify+langbot+飞书
模型部署选择:
deepseek-r1满血(目前在考虑换deepseek v3),bge-m3,bge-reranker-v2
通过dify创建chatflow,构建工作流,开放api,给在langbot中绑定飞书机器人长连接,绑定api接口
现有问题:
经常答非所问,想进一步完善工作流,用户从飞书输入问题后,要等将近一分钟才能获取问题答案

实现公司内部知识库搭建,并通过飞书交付使用 目前已有架构: dify+langbot+飞书 模型部署选择: deepseek-r1满血(目前在考虑换deepseek v3),bge-m3,bge-reranker-v2 通过dify创建chatflow,构建工作流,开放api,给在langbot中绑定飞书机器人长连接,绑定api接口 现有问题: 经常答非所问,想进一步完善工作流,用户从飞书输入问题后,要等将近一分钟才能获取问题答案

可以参考

在 Dify 中构建多阶段工作流:

  1. 预处理:对用户输入进行意图识别,提取关键实体和关键词。
  2. 检索增强
  3. 推理生成:将排序后的上下文注入 DeepSeek-R1,生成答案。
  4. 后处理:检查答案是否偏离主题,若偏离则触发重试或提示用户澄清。
    动态上下文管理:限制上下文长度(例如 2048 或 4096 标记),避免模型因过长输入导致性能下降。

要等将近一分钟才能获取问题答案:

一般是推理时间长,如果问题不复杂,没必要用reasoning模型;另外rag参数可以调整下,最终输入的prompt长度不一定需要特别多。

可以参考 # 在 Dify 中构建多阶段工作流: 1. 预处理:对用户输入进行意图识别,提取关键实体和关键词。 2. 检索增强 3. 推理生成:将排序后的上下文注入 DeepSeek-R1,生成答案。 4. 后处理:检查答案是否偏离主题,若偏离则触发重试或提示用户澄清。 动态上下文管理:限制上下文长度(例如 2048 或 4096 标记),避免模型因过长输入导致性能下降。 # 要等将近一分钟才能获取问题答案: 一般是推理时间长,如果问题不复杂,没必要用reasoning模型;另外rag参数可以调整下,最终输入的prompt长度不一定需要特别多。
Sign in to join this conversation.
No Milestone
No project
No Assignees
2 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: HswOAuth/llm_course#706
No description provided.