Graph of Thoughts: 解决复杂问题的创新框架

graph-of-thoughts

引言

随着人工智能技术的快速发展,大型语言模型(LLM)在自然语言处理领域取得了巨大的进步。然而,在面对复杂的推理和决策任务时,LLM仍然存在一些局限性。为了克服这些挑战,研究人员提出了各种提示工程技术,其中Graph of Thoughts (GoT)框架作为一种新颖的方法脱颖而出。

GoT框架的核心思想是将复杂问题分解为一系列相互关联的操作,形成一个操作图(Graph of Operations, GoO)。通过这种结构化的方法,GoT能够指导LLM进行更有效的推理,从而解决更加复杂和精细的问题。本文将详细介绍GoT框架的工作原理、实现细节以及在实际应用中的表现。

GoT框架概述

核心理念

Graph of Thoughts框架建立在以下几个关键概念之上:

问题分解:将复杂问题分解为多个子任务或操作步骤。
操作图:使用图结构来表示这些子任务之间的关系和依赖。
LLM驱动:利用大型语言模型作为执行引擎,完成各个操作节点的任务。
迭代优化:通过多次迭代和反馈,不断改进解决方案的质量。

这种方法允许LLM以一种更加结构化和可控的方式来处理复杂问题,克服了传统提示方法的局限性。

与其他方法的比较

GoT框架可以看作是对Chain-of-Thought (CoT)和Tree of Thoughts (ToT)等方法的进一步发展和扩展:

相比CoT,GoT提供了更灵活的推理结构,不局限于线性思维链。
相比ToT,GoT允许更复杂的任务依赖关系,可以建模更广泛的问题类型。

GoT框架示意图

上图展示了GoT框架的基本结构,我们可以看到问题被分解为多个相互关联的操作节点,形成一个有向图。

GoT框架的实现

核心组件

GoT框架的实现主要包含以下几个核心组件:

Graph of Operations (GoO):定义问题的操作图结构。
Controller:控制整个执行流程,协调各个组件的工作。
Language Model:作为执行引擎,完成具体的推理任务。
Prompter:负责生成适合每个操作节点的提示。
Parser:解析LLM的输出,提取有用信息。

工作流程

GoT框架的典型工作流程如下:

问题建模:将复杂问题建模为一个操作图(GoO)。
初始化:Controller初始化思维状态和其他必要参数。
执行循环:
- Controller选择下一个要执行的操作节点。
- Prompter生成适合该节点的提示。
- LLM根据提示生成输出。
- Parser解析LLM的输出,更新思维状态。
迭代优化:根据需要重复执行某些操作,改进解决方案。
输出结果:生成最终的问题解决方案。

实际应用案例

为了更好地理解GoT框架的实际应用,让我们来看一个具体的例子:使用GoT解决32个数字的排序问题。

排序问题示例

以下代码展示了如何使用GoT框架来解决排序问题:

from examples.sorting.sorting_032 import SortingPrompter, SortingParser, got, utils
from graph_of_thoughts import controller, language_models, operations

# 问题输入
to_be_sorted = "[0, 2, 6, 3, 8, 7, 1, 1, 6, 7, 7, 7, 7, 9, 3, 0, 1, 7, 9, 1, 3, 5, 1, 3, 6, 4, 5, 4, 7, 3, 5, 7]"

# 获取操作图
gop = got()

# 配置语言模型
lm = language_models.ChatGPT("config.json", model_name="chatgpt")

# 创建Controller
ctrl = controller.Controller(
  lm, 
  gop, 
  SortingPrompter(), 
  SortingParser(),
  # 以下字典用于配置初始思维状态
  {
    "original": to_be_sorted,
    "current": "",
    "phase": 0,
    "method": "got"
  }
)

# 运行Controller并生成输出图
ctrl.run()
ctrl.output_graph("output_got.json")

在这个例子中,GoT框架将排序问题分解为多个阶段,每个阶段都有特定的操作。通过迭代执行这些操作,GoT能够逐步改进排序结果,最终得到正确的排序序列。