tanuki.py学习资料汇总 - 轻松构建更快更便宜的LLM应用

Ray

tanuki.py

tanuki.py简介

tanuki.py是一个用于轻松构建LLM驱动应用的Python库,它能让LLM应用随着使用变得更快更便宜。其主要特点包括:

易于集成 - 只需几秒钟即可将LLM增强功能添加到任何工作流程中
类型感知 - 确保LLM输出符合函数的类型约束,避免意外问题
对齐输出 - 通过简单的断言语句对齐patched函数的行为
降低成本和延迟 - 使用次数越多,成本可降低90%,延迟可降低80%
支持主流模型 - 支持OpenAI、Amazon Bedrock、Together AI等流行模型
RAG支持 - 无缝获取embedding输出,用于下游RAG实现

快速入门

安装tanuki.py:

pip install tanuki.py

设置OpenAI API密钥:

export OPENAI_API_KEY=sk-...

创建一个简单的tanuki.py函数:

import tanuki

@tanuki.patch
def classify_sentiment(msg: str) -> Optional[Literal['Good', 'Bad']]:
    """Classifies a message from the user into Good, Bad or None."""

@tanuki.align
def align_classify_sentiment():
    assert classify_sentiment("I love you") == 'Good'
    assert classify_sentiment("I hate you") == 'Bad'
    assert not classify_sentiment("People from Phoenix are called Phoenicians")

if __name__ == "__main__":
    align_classify_sentiment()
    print(classify_sentiment("I like you")) # Good
    print(classify_sentiment("Apples might be red")) # None

学习资源

官方文档 - 详细介绍了tanuki.py的使用方法和概念。
示例代码 - 提供了多个使用tanuki.py的实际案例,包括:
- 客户请求重要性分类器
- 冒犯性语言分类功能
- 食品评论应用
- 生成符合数据库模式的数据
AWS Bedrock配置指南 - 如何配置和使用AWS Bedrock模型。
Together AI配置指南 - 如何配置和使用Together AI模型。
嵌入支持文档 - 介绍了如何使用tanuki.py的嵌入功能支持RAG实现。
简单的ToDo List应用示例 - 一个使用tanuki.py构建的简单ToDo List应用。
Discord社区 - 加入Discord社区,与其他开发者交流学习。