ARC-AGI: 人工通用智能的新标准与挑战

ARC-AGI

ARC-AGI:重新定义人工智能测试的里程碑

在人工智能(AI)领域,我们一直在寻找能够真正衡量机器智能的方法。随着深度学习和大型语言模型的进步,似乎我们离人工通用智能(AGI)越来越近。然而,François Chollet - Keras深度学习库的创造者和Google AI研究员 - 提出了一个令人深思的问题:我们真的在朝着正确的方向前进吗?

2019年,Chollet发表了一篇影响深远的论文《论智能的衡量》,并随之推出了一个全新的AI基准测试:抽象与推理语料库(Abstraction and Reasoning Corpus,简称ARC-AGI)。这个项目旨在重新定义我们对AI进展的评估方式,为AGI研究指明新的方向。

重新定义AGI

传统上,我们倾向于将能够自动化大多数经济价值工作的系统视为AGI。然而,Chollet认为这种定义存在根本性的问题。他指出,仅仅衡量特定任务的技能并不能真正反映智能。技能很大程度上受到先验知识和经验的影响:通过无限的先验知识或训练数据,开发者可以为系统"购买"各种技能水平。这掩盖了系统本身的泛化能力。

Chollet提出了一个更为精确的AGI定义:

AGI是一个能够在其训练数据之外高效获取新技能的系统。

更正式地说:

系统的智能是对一系列任务的技能获取效率的度量,这种效率与先验知识、经验和泛化难度有关。

这意味着,真正的AGI系统应该能够适应它从未见过、其创造者(开发者)也未曾预料到的全新环境。

ARC-AGI的设计理念

ARC-AGI由独特的训练和评估任务组成。每个任务包含输入-输出示例。这些谜题般的输入和输出呈现为一个网格,其中每个方块可以是十种颜色之一。网格的高度和宽度可以在1x1到30x30之间任意变化。

要成功解决一个任务,测试者必须为最后的输出生成一个像素级完全正确的输出网格。这包括选择正确的输出网格维度。

ARC-AGI的核心在于它明确设计用来比较人工智能和人类智能。为了实现这一点,ARC-AGI明确列出了人类所具有的先验知识,以便为比较AI系统提供公平的基础。这些核心知识先验是人类自然拥有的,甚至在童年时期就已具备:

物体性: 对象持续存在,不会无缘无故出现或消失。对象可以根据情况相互作用或不作用。
目标导向: 对象可以是有生命的或无生命的。一些对象是"代理",它们有意图并追求目标。
数字和计数: 可以使用基本数学如加法、减法和比较来对对象进行计数或按形状、外观或移动进行排序。
基本几何和拓扑: 对象可以是矩形、三角形和圆形等形状,可以进行镜像、旋转、平移、变形、组合、重复等操作。可以检测距离的差异。

ARC-AGI避免依赖任何不属于这些先验的信息,例如获得的或文化的知识,如语言。

ARC-AGI的影响和意义

解决ARC-AGI代表着朝AGI迈出的实质性一步。至少,解决ARC-AGI将带来一种新的编程范式。它将允许任何人,即使是没有编程知识的人,只需提供他们想要的几个输入-输出示例就可以创建程序。

这将极大地扩展谁能够利用软件和自动化。程序可以在接触新数据时自动改进,类似于人类的学习方式。如果找到解决方案,ARC-AGI的影响将超过Transformer的发现,开辟人工智能技术的新分支。

ARC-AGI竞赛历史

自2019年ARC-AGI首次亮相以来,它经历了多轮激烈的竞赛:

2020年: 在Kaggle平台上举行首次ARC-AGI竞赛。获胜团队"ice cuber"在测试集上达到21%的成功率。
2021年: 一项纽约大学研究发现,大多数人平均可以解决ARC-AGI公开训练集84%的任务。
2022年: ARCathon 2022全球AI竞赛,118个团队参与。Michael Hodel获胜,开发了迄今为止最好的ARC-AGI领域特定语言(DSL)之一。
2023年: ARCathon 2023吸引了65个国家的265+支队伍参赛。Somayyeh Gholami和Mehran Kazeminia(SM团队)以及Jack Cole(MindsAI团队)并列第一,在私有评估集上达到30%。
2024年: Mike Knoop、François Chollet和Lab42联手创建了ARC Prize 2024,奖金池超过110万美元。