可回溯的 AI 驱动研究
data-to-paper 是一个框架,通过完整的端到端科学研究系统地导航 AI 的力量,从原始数据开始,最后生成全面、透明、可回溯且人类可验证的科学论文(示例)。
实施。为实现这一目标,data-to-paper 系统地指导 LLM 和基于规则的代理沿着传统的科学路径互动,从注释数据到创建研究假设、进行文献搜索、编写和调试数据分析代码、解释结果,最终逐步撰写完整的研究论文。通过这些步骤跟踪信息流,过程生成透明且高度可回溯的手稿,结果、方法和数据在程序上是链接的(演示)。
data-to-paper 框架是作为一个研究项目创建的,目的是了解 LLM 驱动的科学研究的能力和局限性,并开发利用 LLM 加速研究的方法,同时保持甚至增强关键的科学价值,如透明性、可追溯性和可验证性,同时允许科学家监督和指导整个过程(另见:living guidelines)。
参考
data-to-paper 框架描述在以下预印本中:
- Tal Ifargan, Lukas Hafner, Maor Kern, Ori Alcalay 和 Roy Kishony, "从数据到人类可验证的研究论文的自主 LLM 驱动研究", arXiv:2404.17605
主要特征
- 数据链手稿。该过程生成透明和可验证的手稿,结果、方法和数据在程序上是链接的(所有数值都可以点击追溯到生成它们的代码行)。
- 领域无关。我们努力使该框架尽可能通用,以便它可以在不同的研究领域中使用。
- 开放目标或固定目标研究。data-to-paper 可以用来自主提出和测试假设,或者测试特定的用户提供的预定义假设。
- 编码护栏。标准统计软件包被多重护栏覆盖,以最小化常见的 LLM 编码错误。
- 人类参与。一个 GUI 应用程序允许用户监督过程,并在每个研究步骤中进行干预。
- 记录与重放。整个过程被记录下来,包括所有 LLM 的响应、人类反馈和文献检索,允许透明的重放。
安装
请参见 INSTALL.md 获取安装说明。
如何运行
- 安装 data-to-paper (INSTALL)。
- 运行 data-to-paper:
python data_to_paper/data_to_paper/scripts/run.py
- 这将打开一个启动对话框,允许你指定自己的项目,或者重现示例项目(
data-to-paper/projects
) - 点击“开始”以开始运行,并由人类进行监督和反馈。
- 在过程结束时,手稿的 PDF 将会创建在项目文件夹中。
GUI 应用程序演示
示例
我们在以下测试案例中运行了 data-to-paper:
尝试运行:python run.py diabetes
- 社交网络(开放目标)。117 届国会成员之间 Twitter 互动的有向图 (Fink et al)。这是一个由 data-to-paper 创建的示例论文。
尝试运行:python run.py social_network
- 治疗政策(固定目标)。一组关于在实施治疗指南变更前后 NICU 接受治疗和结果的非活跃婴儿的数据集 (Saint-Fleur et al)。这是一个由 data-to-paper 创建的示例论文。
尝试运行:python run.py npr_nicu
- 治疗优化(固定目标)。一组接受过手术后机械通气的儿科患者的数据集,包括基于 X 射线确定的气管插管深度和用于机器学习和基于公式的模型预测这一最优深度的个性化患者属性集 (Shim et al)。我们为这篇论文的研究问题定义了三个难度级别。
-
简单:比较两种机器学习方法以预测最优插管深度
尝试运行:python run.py ML_easy
-
中等:比较一种机器学习方法和一种基于公式的方法以预测最优插管深度
尝试运行:python run.py ML_medium
-
困难:比较 4 种机器学习方法和 3 种基于公式的方法以预测最优插管深度
尝试运行:python run.py ML_hard
贡献
我们邀请大家使用自己的数据尝试 data-to-paper,并渴望获得反馈和建议。它目前设计用于相对简单的研究目标和简单数据集,我们希望提出和测试统计假设。
我们也邀请大家帮助开发和扩展 data-to-paper 框架,在科学或其他领域中应用。
重要提示
免责声明。使用此软件即表示您同意承担与其使用相关的所有风险,包括但不限于数据丢失、系统故障或可能出现的任何其他问题,特别是但不限于在您的本地计算机上运行 LLM 生成的代码的后果。该项目的开发者不对使用该软件可能导致的任何损失、损害或其他后果承担任何责任。
责任。您对创建的手稿的全部内容,包括其严谨性、质量、伦理和任何其他方面负全责。该过程应由人类参与监督和指导,并且创建的手稿应由领域专家仔细审查。该过程不是无误的,需要 人类干预以确保结果的准确性和质量。
合规性。您有责任确保根据该软件输出所采取的任何行动或决定符合所有适用的法律、法规和道德标准。该项目的开发者和贡献者对使用该软件可能导致的任何后果概不负责。此外,data-to-paper 手稿被水印为 AI 创建,以保持透明性。用户不应移除此水印。
Token 使用。请注意,通过外部 API 使用大多数语言模型,尤其是 GPT-4,由于其 token 使用量,可能会很昂贵。使用本项目即表示您同意自行负责监控和管理您的 token 使用量及相关费用。强烈建议您定期检查 API 使用情况,并设置任何必要的限制或警报,以防止意外收费。
相关项目
以下是一些其他很酷的多代理相关项目:
以及这个精选的 awesome-agents 列表。