Github
文档
论文项目介绍：kani
项目概述
kani 是一个轻量级且高度可定制的框架，专为基于对话的语言模型而设计，还支持工具使用和功能调用。与其他框架不同，kani 提供了更精细的定制选项，适合自然语言处理（NLP）研究人员、业余爱好者和开发人员使用。
支持的模型
kani 具有丰富的模型支持能力，包括：
-
托管模型：OpenAI 的 GPT-3.5 和 GPT-4 等模型，以及 Anthropic 的 Claude 模型。
-
开源模型：通过 Hugging Face 和 llama.cpp 平台上的许多开源聊天模型：
- LLaMA 3、Mistral 和 Vicuna 等多种变体。
- 这些模型的参考实现和调优版本。
用户可以在项目的模型库中查看如何在不同应用中使用这些模型。
项目特点
- 轻量与高级别：kani 提供与语言模型接口的基本功能，而不过多干预开发者的提示形式。
- 模型无关性：kani 提供了简单的接口，可以轻松切换底层运行的语言模型，而无需大幅重构代码。
- 自动对话记忆管理：无需手动管理对话历史中的 token 数量，kani 会自动处理。
- 支持模型反馈和重试的函数调用：通过简单的代码行即可让模型访问函数，kani 会优雅地处理参数偏差和错误，并支持重试。
- 完全控制提示：kani 不会擅自决定数据的格式，开发者拥有完全的提示控制权。
- 快速迭代和直观学习：在 kani 中仅需编写 Python 代码，其余部分由框架处理。
- 异步设计：可轻松并行运行多个对话会话，无需管理多个进程或程序。
安装指南
安装要求 Python 3.10 或以上版本。可以通过 pip 安装特定模型的依赖项：
# 对于 OpenAI 模型
$ pip install "kani[openai]"
# 对于 Hugging Face 模型
$ pip install "kani[huggingface]" torch
# 或者安装所有内容：
$ pip install "kani[all]"
如需最新的更改和新模型，用户还可以从 Git 的 main 分支安装开发版本。
快速入门
kani 的快速开始指南展示了如何通过 OpenAI 的 ChatGPT 创建一个简单的对话机器人：
第一步是安装库，然后使用以下代码来运行：
import asyncio
from kani import Kani, chat_in_terminal
from kani.engines.openai import OpenAIEngine
api_key = "sk-..." # 替换为您的 OpenAI API 密钥
engine = OpenAIEngine(api_key, model="gpt-4o-mini")
ai = Kani(engine)
chat_in_terminal(ai)
# 或通过异步函数调用
async def main():
resp = await ai.chat_round("What is the airspeed velocity of an unladen swallow?")
print(resp.text)
asyncio.run(main())
功能调用
kani 通过简单的 @ai_function 装饰器，将 Python 函数暴露给语言模型。例如：
import asyncio
from typing import Annotated
from kani import AIParam, Kani, ai_function, chat_in_terminal
from kani.engines.openai import OpenAIEngine
api_key = "sk-..."
engine = OpenAIEngine(api_key, model="gpt-4o-mini")
class MyKani(Kani):
@ai_function()
def get_weather(self, location: Annotated[str, AIParam(desc="The city and state, e.g. San Francisco, CA")]):
return f"Weather in {location}: Sunny, 72 degrees fahrenheit."
ai = MyKani(engine)
chat_in_terminal(ai)
kani 确保函数调用的有效性，让开发人员可以将精力集中在实现功能上。
流式处理
kani 支持从底层语言模型逐个 token 地流式输出响应，即使处于函数调用过程中，也能够无缝处理。
开发背景
kani 由宾夕法尼亚大学的三位计算机与信息科学博士生 Andrew Zhu、Liam Dugan 和 Alyssa Hwang 开发，他们参与并使用 kani 进行 NLP 研究，确保其符合现代 NLP 实践。
通过其轻量级、灵活且强大的设计，kani 成为开发和研究语言模型应用的有力工具。
