【求助帖】现在公司大模型分为三个线路，当一个问题进来优先判断问题类型 看类型属于知识问答、agent能力调用或者数据查询；判断用户问题属于哪个类型，知识问答就是正常大模型问答，agent就是调用对应能力，数据查询就直接去表查询问题；现在我基于agent做了一下，单靠模型能力和提示词并不能达到当前准确率需求，请教下有没有什么好的优化思路可以高效率提高判断水平。 #412
Labels
No Label
bug
duplicate
enhancement
help wanted
invalid
question
wontfix
No Milestone
No project
No Assignees
2 Participants
Notifications
Due Date
No due date set.
Dependencies
No dependencies set.
Reference: HswOAuth/llm_course#412
Loading…
Reference in New Issue
Block a user
No description provided.
Delete Branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
【求助帖】现在公司大模型分为三个线路，当一个问题进来优先判断问题类型 看类型属于知识问答、agent能力调用或者数据查询；知识问答就是正常大模型问答，agent就是调用对应能力，数据查询就直接去表查询问题to 【求助帖】现在公司大模型分为三个线路，当一个问题进来优先判断问题类型 看类型属于知识问答、agent能力调用或者数据查询；判断用户问题属于哪个类型，知识问答就是正常大模型问答，agent就是调用对应能力，数据查询就直接去表查询问题；现在我基于agent做了一下，单靠模型能力和提示词并不能达到当前准确率需求，请教下有没有什么好的优化思路可以高效率提高判断水平。“”基于agent做了一下，单靠模型能力和提示词并不能达到当前准确率需求，请教下有没有什么好的优化思路可以高效率提高判断水平。 “”
（1）这个基于agent做了一下，是使用agent进行分类还是基于agent调用对应能力。
（2）可以再细致描述下需求，问题描述没有特别看懂。
呃呃呃 其实用什么不重要，现在真正想实现的是 用户询问一个问题 可以知道这个问题对应哪个类型 然后对应去哪个类型找答案
类型一共分为正常的知识问答 以及agent调用能力 还有直接去对应数据库查表。
现在光靠模型能力以及提示词都没有一个明显的提升，想提高识别用户对应问题类型的准确率 想能不能提供给一个好的可行思路呢？
可以训练一个分类器，而不是用大模型：
关键是数据集的构建。
请问是用bert模型吗？比如bert-base-chinese
数据集构建 需要大概多少数据才能准确率达到九十以上呢？
可以使用bert-base-chinese，建议是5000-10000条数据，可以先试试3000-5000区间数据的分类效果。
好的 数据的话就是 问题：山上信号不好怎么办 标签“知识问答”
帮我查询工单数据 标签“数据查询”
帮我打开网络信号 标签“agent能力调用”
这样的形式吗？
因为我需要返回给对应的数据类型，除了bert模型 我可以用类似qwen7B这个规模的模型来试试吗？