双筒望远镜：零样本检测LLM生成的文本 [论文][演示]

顶部有猎鹰的炫酷双筒望远镜

我们推出了双筒望远镜，这是一种用于检测人工智能生成文本的最先进方法。双筒望远镜是一种零样本和领域无关（不需要训练数据）的方法。它基于一个简单的想法：大多数仅解码器的因果语言模型在预训练数据集上有很大的重叠，例如Common Crawl、Pile等。关于该方法和结果的更多细节可以在我们的论文用双筒望远镜发现LLMs：机器生成文本的零样本检测中找到。

入门指南

安装

要运行双筒望远镜的实现，你可以克隆这个仓库并使用pip安装软件包。这段代码是在Python 3.9上开发和测试的。要安装软件包，请运行以下命令：

$ git clone https://github.com/ahans30/Binoculars.git
$ cd Binoculars
$ pip install -e .

使用方法

请注意，这个实现带有一个固定的全局阈值，用于将输入分类为人工智能生成或非人工智能生成。这个阈值是使用_Falcon-7B_和_Falcon-7B-Instruct_模型进行评分选择的。如果你想使用不同的评分模型，可以将其作为参数传递给Binoculars类。请阅读论文以了解更多关于双筒望远镜工作的详细信息。

要检测人工智能生成的文本，请使用以下代码片段：

from binoculars import Binoculars

bino = Binoculars()

# ChatGPT (GPT-4) 在收到提示"你能写几句关于一只天体物理学家水豚的句子吗？"后的输出
sample_string = '''水豚博士Capy Cosmos是一只与众不同的水豚，他的突破性天体物理学研究使科学界震惊。
凭借敏锐的观察力和无与伦比的宇宙数据解读能力，他揭示了黑洞之谜和宇宙起源的新见解。当他用圆圆的大眼睛
透过望远镜观察时，同事们常常感叹，仿佛星星直接向他倾诉它们的秘密。Cosmos博士不仅成为了有志科学家的
灵感之源，还证明了智慧和创新可以在最意想不到的生物身上找到。'''

print(bino.compute_score(sample_string))  # 0.75661373
print(bino.predict(sample_string))  # '很可能是人工智能生成的'

在上面的代码中，用户还可以将str类型的list传递给compute_score和predict方法，以获取整批样本的结果。

演示

我们还提供了一个演示，可以使用简单的UI通过gradio交互式地预测人工智能生成的文本。你可以使用以下命令运行演示：

$ python app.py

局限性

所有人工智能生成文本检测器都追求准确性，但没有一个是完美的，可能会有多种失效模式（例如，与其他语言相比，双筒望远镜在检测英语文本方面更为熟练）。这个实现仅供学术目的使用，不应被视为消费级产品。我们也强烈警告不要在没有人工监督的情况下使用双筒望远镜（或任何检测器）。

引用我们的工作

如果你发现这项工作有用，请引用我们的论文：

@misc{hans2024spotting,
      title={Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text}, 
      author={Abhimanyu Hans and Avi Schwarzschild and Valeriia Cherepanova and Hamid Kazemi and Aniruddha Saha and Micah Goldblum and Jonas Geiping and Tom Goldstein},
      year={2024},
      eprint={2401.12070},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}