Tanuki.py: 一个强大的LLM增强函数库

tanuki.py

Tanuki.py: 让AI赋能你的Python函数

在人工智能快速发展的今天,如何将强大的语言模型(LLM)无缝集成到现有代码中,成为了许多开发者面临的挑战。Tanuki.py应运而生,它为开发者提供了一种简单而优雅的方式来创建LLM增强的Python函数,让AI的力量触手可及。

什么是Tanuki.py?

Tanuki.py是一个创新的Python库,它允许开发者轻松地在Python函数中调用LLM,同时保持与手动实现函数相同的参数和输出。这些LLM驱动的函数具有良好的类型定义、可靠性和无状态性,可以无缝地集成到你的应用程序中。

与传统的LLM调用方式不同,Tanuki.py生成的函数行为更像传统的Python函数,具有适当的错误处理机制。更令人兴奋的是,随着你使用Tanuki函数的次数增加,它们会变得更快、更便宜(最多可提升9-10倍!),这要归功于自动模型蒸馏技术。

Tanuki.py的核心特性

简单易用: 只需使用@tanuki.patch装饰器修饰一个函数存根,再添加类型提示和文档字符串,就能在几秒钟内将LLM增强功能添加到任何工作流程中。
类型感知: Tanuki.py确保LLM的输出遵守函数的类型约束(包括Python基本类型、Pydantic类、Literals、Generics等),有效防止使用LLM时可能出现的bug或意外副作用。
对齐输出: LLM本身可能不太可靠,这使得它们难以直接替代传统编程函数。通过在@tanuki.align装饰的函数中使用简单的assert语句,你可以将修补函数的行为与预期对齐。
降低成本和延迟: 随着使用量的增加,Tanuki.py可以实现高达90%的成本降低和80%的延迟减少。该库会自动处理模型训练、MLOps和DataOps工作,通过蒸馏技术提高LLM的能力。
支持主流模型: Tanuki.py支持多种流行的模型(如OpenAI、Amazon Bedrock、Together AI)来执行函数。
RAG支持: 无缝获取下游RAG(检索增强生成)实现的嵌入输出。输出嵌入可以轻松存储和用于相关文档检索,从而降低成本和延迟,并提高长文本内容的性能。
开箱即用: 除OpenAI外,无需其他远程依赖。

如何开始使用Tanuki.py?

使用Tanuki.py非常简单,只需几个步骤即可开始:

创建一个用@tanuki.patch装饰的Python函数存根,包括类型提示和文档字符串。
(可选)创建另一个用@tanuki.align装饰的函数,其中包含普通的assert语句,声明修补函数在不同输入下的预期行为。
(可选)配置你想要用于该函数的模型。默认使用GPT-4,但如果你想使用我们堆栈中支持的任何其他模型,可以在@tanuki.patch操作符中进行配置。

以下是一个简单的情感分类函数示例:

@tanuki.patch
def classify_sentiment(msg: str) -> Optional[Literal['Good', 'Bad']]:
    """将用户消息分类为Good、Bad或None。"""

@tanuki.align
def align_classify_sentiment():
    assert classify_sentiment("I love you") == 'Good'
    assert classify_sentiment("I hate you") == 'Bad'
    assert not classify_sentiment("People from Phoenix are called Phoenicians")

if __name__ == "__main__":
    align_classify_sentiment()
    print(classify_sentiment("I like you")) # Good
    print(classify_sentiment("Apples might be red")) # None

Tanuki.py的工作原理

当你在开发过程中调用一个tanuki修补的函数时,会调用一个n-shot配置的LLM来生成类型化响应。使用的示例数量取决于用align装饰器注释的函数中提供的align语句数量。

响应将被后处理,并以编程方式实例化提供的输出类型,确保返回正确的类型。这个响应可以传递给你的应用程序的其余部分、存储在数据库中或显示给用户。

确保在运行修补函数之前至少执行一次所有align函数,以确保注册预期行为。这些将被缓存到磁盘上以供将来参考。

函数的输入和输出将在执行期间存储为未来的训练数据。随着数据量的增加,将使用较大模型的输出来蒸馏越来越小的模型。较小的模型将以较低的计算成本和较低的延迟捕获所需的行为和性能,而无需任何MLOps工作。

Tanuki.py工作原理

类型化输出: Tanuki.py的核心概念

LLM API的输出通常是自然语言形式的。在许多情况下,最好对输出格式有所限制,以便更好地将它们集成到工作流程中。

Tanuki的一个核心概念是支持类型化参数和输出。支持修补函数的类型化输出允许你声明关于修补函数允许传回什么类型的数据的规则,以供程序的其余部分使用。这将防止LLM训练为"尽可能有帮助"而产生的冗长或不一致的输出。

你可以使用Literals或在Pydantic中创建自定义类型,以表达关于修补函数可以返回什么的非常复杂的规则。这些充当模型的护栏,防止修补函数破坏代码或下游工作流程,这意味着你可以避免在应用程序中编写自定义验证逻辑。

@dataclass
class ActionItem:
    goal: str = Field(description="需要完成的任务")
    deadline: datetime = Field(description="目标需要实现的日期")
    
@tanuki.patch
def action_items(input: str) -> List[ActionItem]:
    """生成一个Action Items列表"""

@tanuki.align
def align_action_items():
    goal = "你能在周二之前把演示文稿给我吗?"
    next_tuesday = (datetime.now() + timedelta((1 - datetime.now().weekday() + 7) % 7)).replace(hour=0, minute=0, second=0, microsecond=0)

    assert action_items(goal) == ActionItem(goal="准备演示文稿", deadline=next_tuesday)

通过限制可以通过修补函数传递的数据类型,你声明了模型可以返回的潜在输出,并指定了程序存在的世界。

测试驱动对齐: 确保LLM行为符合预期

在经典的测试驱动开发(TDD)中,标准做法是在编写使其通过的代码之前编写一个失败的测试。

测试驱动对齐(TDA)采用这个概念,将修补函数的行为与测试定义的期望对齐。要将修补函数的行为与你的需求对齐,用@align装饰一个函数,并像标准测试一样使用'assert'语句断言函数的输出。

@tanuki.align 
def align_classify_sentiment(): 
    assert classify_sentiment("I love this!") == 'Good' 
    assert classify_sentiment("I hate this.") == 'Bad'
   
@tanuki.align
def align_score_sentiment():
    assert score_sentiment("I like you") == 7

通过编写一个封装tanuki修补函数预期行为的测试,你声明了函数必须履行的契约。这使你能够:

验证期望: 确认函数符合所需的输出。
捕捉行为细微差别: 确保LLM尊重你的测试规定的边缘情况和细微差别。
迭代开发: 通过将所需行为声明为测试来细化和更新tanuki修补函数的行为。

与传统的TDD不同,在传统TDD中,目标是编写通过测试的代码,TDA翻转了脚本:测试不会失败。它们的存在和它们采取的形式足以让LLM与预期行为保持一致。

TDA为将机器学习嫁接到现有或新的Python代码库提供了一种精简而强大的方法。它结合了TDD的预防性优点,同时解决了LLM动态性带来的特定挑战。

扩展和微调: Tanuki.py的成本和延迟优势

使用Tanuki.py的一个优势是,随着数据点数量的增加,将提供成本和延迟方面的好处。

你的修补函数的成功执行(适合微调)将被持久化到训练数据集中,该数据集将用于为每个修补函数蒸馏更小的模型。模型蒸馏和伪标记是一种经过验证的方法,可以减少模型大小,并在延迟和内存占用方面获得改进,同时对性能的影响微不足道(https://arxiv.org/pdf/2305.02301.pdf, https://arxiv.org/pdf/2306.13649.pdf, https://arxiv.org/pdf/2311.00430.pdf等)。

训练和部署较小的特定函数模型由Tanuki库处理,因此用户无需额外的MLOps或DataOps工作即可获得好处。注意:目前微调仅适用于从GPT-4(教师)到GPT-3.5(学生),尚未为AWS Bedrock和Together AI模型实现。

我们使用OpenAI模型在Squad2、Spider和IMDB电影评论数据集上测试了使用Tanuki的模型蒸馏。我们使用GPT-4(教师)的少量响应微调了GPT-3.5-turbo模型(学生),我们的初步测试表明,使用训练数据中不到600个数据点,我们能够使GPT-3.5 turbo的性能基本等同于GPT-4(在保留的开发集上的性能差异小于1.5%),同时实现了高达12倍的成本降低和超过6倍的延迟降低(成本和延迟降低非常依赖于任务特定的特征,如输入-输出令牌大小和对齐语句令牌大小)。这些测试显示了这种形式的模型蒸馏在智能降低成本和