关键设计模式:Planning(计划)、Tool Use(使用工具)
相信不少人已经尝试过使用文心一言、讯飞星火等智能对话助手来帮忙完成任务。我们只需简单地输入一个指令,AI 智能体就能给出一个详尽的答案,仿佛一个无所不能的全能助理,这如果让我们回到一年前来看,简直是不可思议。
但你是否有过这样的疑问:当我们给出的任务更加复杂、开放,需要分步骤完成时,AI 智能体是否还能轻松应对?当任务涉及专业领域知识,需要查阅资料时,AI 智能体如何获取所需信息?当任务需要写代码、画图表、分析数据等实际操作时,AI 智能体能否独立完成呢?
目前的 AI 对话大多采用直接的提问-回答模式,面对以上场景还有诸多局限。但如果我们为 AI 智能体装上智能工作流这个大脑,让它们学会制定计划、使用工具,情况将大不相同。
最近,AI 界的大佬吴恩达教授在一次演讲中提出了四种关键的 AI 智能工作流设计模式:Planning(计划)、Tool Use(使用工具)、Reflection(反思)和 Multi-Agent(多智能体协作)。这些模式就像是给 AI 装上了大脑和四肢,让它们能够像人类一样思考、规划、使用工具,甚至团队协作!
今天,我们先重点聚焦其中两种最基础也最重要的模式:Planning(计划)和 Tool Use(使用工具)。通过了解这两种模式,你将看到 AI 是如何一步步成长为能够帮我们处理复杂任务的得力助手的。
Planning:让 AI 学会做计划
这里假设一下,如果你想要组织一次生日派对,你会怎么做?大概率是先列一个清单:确定日期和地点、邀请朋友、准备食物和饮料、布置场地、安排活动等等。这个过程,就是我们人类的Planning(计划)能力。
那你是不是觉得,其实 AI 也能学会了这项重要的技能?是的,在 AI 世界里,Planning 就是让 AI 具备拆解任务、制定执行计划的能力。简单来说,就是教会 AI 像人类一样,面对复杂任务时先动脑再动手。
工作原理
让我们来通过吴恩达演讲中一个具体的例子来理解 AI 是如何进行 Planning 的。以以下图片中的任务为例:生成一个女孩阅读书籍的图像,并描述这个新图像。
-
输入任务:AI 接收到指令"生成一个女孩阅读书籍的图像,姿势与示例图中的男孩相同,然后描述这个新图像"。
-
分解子任务:AI 将这个复杂任务拆解为几个关键步骤:
- 分析示例图片中男孩的姿势
- 基于分析的姿势生成新的图像
- 描述生成的新图像
-
选择执行模型:对于每个子任务,AI 选择最合适的模型或工具:
- 使用 openpose 模型进行姿势确定
- 使用 google/vit 模型从姿势生成图像
- 使用 vit-gpt2 模型将图像转换为文本描述
-
执行流程:
- Pose Determination:分析示例图片,识别出男孩的精确姿势。
- Pose-to-Image:基于识别出的姿势,生成一个女孩以相同姿势阅读书籍的新图像。
- Image-to-text:分析生成的新图像,创建文字描述,如"一个女孩坐在床上阅读一本书"。
-
输出结果:最终,AI 按照这个计划逐步执行任务,输出一个新生成的图像和对应的文字描述。
这个例子展示了 AI 如何通过 Planning 将复杂任务分解为可管理的步骤,并为每个步骤选择最合适的工具或模型。这种方法不仅提高了任务完成的效率和准确性,还增强了 AI 系统的灵活性和适应能力。通过这种模块化的方法,我们可以轻松地替换或升级单个组件,而不需要重建整个系统,从而不断提升 AI 的整体性能。
优势
Planning 模式给 AI 带来了哪些超能力呢?
-
解决复杂问题的能力: 通过任务拆解,AI 可以处理更加复杂的问题,不再局限于简单的问答。
-
提高输出质量: 有了规划,AI 的输出更加有条理,质量也更高。
-
增强适应性: AI 可以根据不同任务制定不同的计划,增强了适应各种场景的能力。
非常好,让我们继续深入探讨文章提纲的第二部分:Tool Use(使用工具)模式。我会保持通俗易懂的风格,并结合实际案例来解释这个概念。
Tool Use:让 AI 智能体工欲善其事,必先利其器
还记得哆啦 A 梦的百宝袋吗?无论遇到什么问题,哆啦 A 梦总能从袋子里掏出恰到好处的道具来解决。现在,想象一下如果给 AI 也配上这样一个百宝袋,会怎么样?这就是 Tool Use 模式的妙处所在。
Tool Use,顾名思义,就是让 AI 学会使用各种工具的能力。在 AI 的世界里,这些工具可以是搜索引擎、数据库、编程环境,甚至是其他专门的 AI 模型。通过 Tool Use,AI 就像拥有了手和工具箱,能够与外部世界进行更多互动,大大扩展了自己的能力边界。
常见的 Tool 类型
让我们来看看 AI 的工具箱里都有些什么宝贝:
-
搜索引擎:就像我们使用 Google 一样,AI 也可以通过搜索引擎获取最新、最全面的信息。
-
知识库:这就像是 AI 的
大脑,存储着海量的专业知识和数据。 -
代码编译器和运行环境:让 AI 能够编写、测试和运行各种编程语言的代码。
-
API 接口:允许 AI 调用各种在线服务,比如天气预报、股票行情等。
-
图像/语音处理程序:使 AI 能够理解和生成图片、音频等多媒体内容。
-
数据分析工具:帮助 AI 处理和分析大量数据,得出有价值的见解。
Tool Use 的优势
Tool Use 模式给 AI 带来了哪些超能力呢?
-
知识的时效性:通过使用搜索引擎等工具,AI 可以获取最新信息,不再局限于训练数据的时间范围。
-
能力的扩展:每一个新工具都为 AI 开启了新的能力领域,让 AI 逐步成为
全能选手。 -
更强的问题解决能力:结合各种工具,AI 可以处理更复杂、更专业的问题。
-
提高准确性:通过查询权威来源,AI 可以提供更准确、更可靠的信息。
-
实现
眼、耳、手的功能:图像识别、语音处理等工具让 AI 具备了类似人类感官的能力。
Tool Use 模式的意义不仅在于增强 AI 的能力,更重要的是让 AI 能够与现实世界更好地交互。通过使用各种工具,AI 不再是封闭系统中的独行侠,而是能够感知、分析和影响现实世界的智能助手。
Planning + Tool Use:AI 的大脑和四肢如何协同工作
Planning 和 Tool Use 两种模式各有所长,但只有结合起来,AI 才能发挥最大的作用。接下来,我们将通过一个实际案例来展示 Planning 和 Tool Use 是如何协同工作的。
案例:生成参考别人写作风格的文章
假设你想写一篇模仿某个作家风格的文章,Coze 工作流可以这样规划:
- 分析目标作家的写作风格特点
- 确定文章主题和大纲
- 按照特定风格撰写文章内容
- 校对和修改,确保风格一致性
那具体如何用 Coze 的功能对应上呢?来,我们来一个个解释:
-
分析目标作家的写作风格特点:
- Planning:我们先要求用户提供 1 篇目标作家的文章链接,然后分析这些文章的关键词、句式、篇章结构等信息。
- Tool Use:首先使用一些链接读取插件,分别获取文章内容。然后使用工作流的大模型节点,分析文章的关键词、句式等特点,生成一个风格分析报告和一个对应的新大模型提示词备用。
-
确定文章主题和大纲:
- Planning:要求用户提供文章主题,然后收集相关信息,制定文章大纲。
- Tool Use:使用相关搜索引擎插件,搜索相关主题的文章,提取关键信息。然后使用工作流的大模型节点,基于这些信息生成文章大纲。
-
按照特定风格撰写文章内容:
- Planning:根据分析结果和大纲,撰写文章内容,保持文章的风格一致。
- Tool Use:使用大模型节点,根据提示词和大纲,生成符合目标风格的文章内容。
为此我还搭建了一个 Coze 工作流,工作流已发布到工作流商店了,大家有需自取:
通过这个案例,我们可以看到 Planning 和 Tool Use 是如何协同工作的。Planning 模式帮助 AI 分析任务、制定计划,Tool Use 模式则让 AI 使用各种工具来执行计划,最终完成任务。这种协同工作方式不仅提高了 AI 的效率和准确性,还增强了 AI 的灵活性和适应能力。
总结
在这篇文章中,我们深入探讨了 AI 发展中的两个重要模式:Planning(规划)和 Tool Use(使用工具)。这两种能力不仅让 AI 变得更加智能,更重要的是让 AI 成为了真正有用的助手。
Planning 赋予了 AI 思考和规划的能力。就像一个经验丰富的项目经理,AI 现在可以将复杂的任务拆解成有序的步骤,制定出清晰可行的计划。无论是安排旅行还是管理复杂项目,AI 都能够考虑周全,为我们提供全面的解决方案。
Tool Use 则给了 AI 手和工具。通过使用各种外部工具,AI 突破了知识的局限,能够获取最新信息,处理各种类型的数据,甚至能够看、听、说。这让 AI 不再是封闭的信息孤岛,而是能够与现实世界实时互动的智能助手。