【笔记】FC 连接外部世界 #49

New Issue

11704491662cs · 2024-09-11T00:20:36+08:00

11704491662cs commented

2024-09-11 00:20:36 +08:00

诞生背景
大模型（LLMs）尽管能力很强且具备非常强大的涌现能力，但是也存在一些局限性，显而易见的问题就是：它无法获取最新的信息数据、只能给出文字的建议但无法直接解决某些问题，比如想问大模型：“今天的天气怎么样？“ ，这种简单的场景都无法做到，所以极大程度限制了大语言模型实际应用价值。

如何理解

核心：赋予大语言模型调用外部API的能力
本质：让大语言模型调用外部函数的能力，即Chat Completions模型可以不再仅仅根据自身的数据库知识进行回答，而是可以额外挂载一个函数库，然后根据用户提问去函数库检索，按照实际需求调用外部函数并获取函数运行结果，再基于函数运行结果进行回答
功能：获取实时性信息（最新的新闻、实时股价）；解决数据局限性（医学、法律等领域信息）；提高功能扩展性（用外部工具进行复杂计算和数据分析）

实现过程

构建外部函数库
实现功能函数
完成功能函数的JSON Schema https://json-schema.org/learn/getting-started-step-by-step
通过tools参数向大模型传递Schema
得到大模型回复（调用or不调用函数）
获取具体的函数调用信息
执行函数
将大模型的回复和函数的执行结果都追加到prompt（相当于补充了包含问题结果的上下文信息）
再次调用大模型

诞生背景大模型（LLMs）尽管能力很强且具备非常强大的涌现能力，但是也存在一些局限性，显而易见的问题就是：它无法获取最新的信息数据、只能给出文字的建议但无法直接解决某些问题，比如想问大模型：“今天的天气怎么样？“ ，这种简单的场景都无法做到，所以极大程度限制了大语言模型实际应用价值。如何理解 - 核心：赋予大语言模型调用外部API的能力 - 本质：让大语言模型调用外部函数的能力，即Chat Completions模型可以不再仅仅根据自身的数据库知识进行回答，而是可以额外挂载一个函数库，然后根据用户提问去函数库检索，按照实际需求调用外部函数并获取函数运行结果，再基于函数运行结果进行回答 - 功能：获取实时性信息（最新的新闻、实时股价）；解决数据局限性（医学、法律等领域信息）；提高功能扩展性（用外部工具进行复杂计算和数据分析）实现过程 - 构建外部函数库 - 实现功能函数 - 完成功能函数的JSON Schema https://json-schema.org/learn/getting-started-step-by-step - 通过tools参数向大模型传递Schema - 得到大模型回复（调用or不调用函数） - 获取具体的函数调用信息 - 执行函数 - 将大模型的回复和函数的执行结果都追加到prompt（相当于补充了包含问题结果的上下文信息） - 再次调用大模型

Sign in to join this conversation.