Block a user
【求助帖】我目前对pdf里的文字以及图片进行处理 但是现在出现文字丢失 以及图片模糊识别不准的情况,想请教下 该如何优化才能准确识别呢,目前采用ocr,用paddle做的
- PDF 预处理: 可以提高分辨率,去除噪点和背景,倾斜校正;也可以将 PDF 分成不同的段落、表格和图片区域,然后分别进行处理。
- PaddleOCR应该有…
模型训练数据加载问题
- ARIMA 不是神经网络。
- 如果使用神经网络来处理大量时序数据,可以考虑分批加载 (Batch Loading)、内存映射 (Memory Mapping)、分布式训练之类的方法。
ollama内的模型如何微调?
- Ollama 没有微调功能,只能使用其他工具进行微调。
- ollama的模型格式是GGUF,可以使用 llama.cpp 将模型转换为 GGUF 格式。 https://github.com/ggerganov/llam…
【求助】视觉,目标识别,图片标注
可以是数据量少的原因,如果要标注的话,可以试试这个工具:https://github.com/CVHub520/X-AnyLabeling?tab=readme-ov-file
【求助贴】目前搭建了一个 元数据RAG向量库,但是只对word纯文本做了转向量处理,现在想对表格内容做处理,要如何处理合适嘞,后续也会处理pdf数据,
可以使用功能langchain作为基本方案,使用Unstructured处理图像文档,使用CSVLoader处理表格数据。可以参考langchain的官方文档https://python.langchain.com/v0.1/docs…
【求助帖】现在公司大模型分为三个线路,当一个问题进来优先判断问题类型 看类型属于知识问答、agent能力调用或者数据查询;判断用户问题属于哪个类型,知识问答就是正常大模型问答,agent就是调用对应能力,数据查询就直接去表查询问题;现在我基于agent做了一下,单靠模型能力和提示词并不能达到当前准确率需求,请教下有没有什么好的优化思路可以高效率提高判断水平。
可以使用bert-base-chinese,建议是5000-10000条数据,可以先试试3000-5000区间数据的分类效果。
【求助帖】现在公司大模型分为三个线路,当一个问题进来优先判断问题类型 看类型属于知识问答、agent能力调用或者数据查询;判断用户问题属于哪个类型,知识问答就是正常大模型问答,agent就是调用对应能力,数据查询就直接去表查询问题;现在我基于agent做了一下,单靠模型能力和提示词并不能达到当前准确率需求,请教下有没有什么好的优化思路可以高效率提高判断水平。
可以训练一个分类器,而不是用大模型:
- 收集真实用户问题并标注其对应的类型(知识问答、Agent调用、数据库查询)。
- 微调模型进行多分类…
【求助帖】现在公司大模型分为三个线路,当一个问题进来优先判断问题类型 看类型属于知识问答、agent能力调用或者数据查询;判断用户问题属于哪个类型,知识问答就是正常大模型问答,agent就是调用对应能力,数据查询就直接去表查询问题;现在我基于agent做了一下,单靠模型能力和提示词并不能达到当前准确率需求,请教下有没有什么好的优化思路可以高效率提高判断水平。
“”基于agent做了一下,单靠模型能力和提示词并不能达到当前准确率需求,请教下有没有什么好的优化思路可以高效率提高判断水平。 “” (1)…
求助:我们需要在数据湖中实现数据的智能分类分级与智能打标等功能。具体需求包括自动识别数据字段及其内容,并进行分类、分级和打标以及数据的隐私访问。
可以参考下,不绝对。
- 实现该功能需要用到哪些技术? (1)自然语言处理(NLP)和文本分析技术:文本分类、实体识别、正则表达式之类的。 …
求助大模型在数据分类分级场景中如何实现智能分类分级?或者有什么好的实现思路吗?
可以考虑下这两个:
- 文本分类与分级:使用BERT等预训练模型对文本进行微调,首先进行粗略分类(如健康、科技、娱乐),然后针对每个类别进…
FASTGPT 的 结果重排一直不生效
那节课应该不涉及这个内容,这个问题可以参考下:https://github.com/labring/FastGPT/issues/2881 <img width="1010" alt="image" src="/attachments/cca048fa-76c7-4470-b730-290095fc…
【求助帖】prompt微调-xinference部署时报错
你可以进入xinference镜像看下/home目录下面有没有code-llama-sql模型,没有就手动把模型目录放到xinference镜像的/home下面,xinference镜像的/home是本地的根目录