Functionary: 一个强大的函数调用语言模型

Functionary简介

Functionary是由MeetKai公司开发的一款先进的语言模型,它具有解释和执行函数/插件的强大能力。与传统的语言模型不同,Functionary能够智能地判断何时执行函数,是并行执行还是串行执行,并且能够理解函数的输出结果。它只在需要时触发函数,大大提高了效率。Functionary使用JSON Schema对象来定义函数,这与OpenAI GPT的函数调用方式类似。

Functionary logo

Functionary的核心优势在于它能够:

智能判断何时调用函数
支持并行和串行函数执行
理解函数输出并据此生成响应
仅在必要时触发函数,避免冗余调用

这些特性使Functionary成为一个强大而灵活的工具,能够应对各种复杂的任务场景。

Functionary的主要特性

Functionary具有许多独特而强大的特性,使其在函数调用语言模型中脱颖而出:

单函数调用: Functionary可以精准调用单个函数来完成特定任务。
并行函数调用: 支持同时调用多个函数,大大提高了处理效率。
函数参数补全: 能够智能跟进并补全缺失的函数参数。
多轮对话: 支持在多轮对话中持续使用函数。
基于函数执行结果的响应生成: 能够理解函数执行结果,并据此生成恰当的响应。
闲聊能力: 除了函数调用,还具备自然的对话能力。
代码解释器: 内置代码解释器,可以执行和分析代码。

这些特性使Functionary成为一个全能型的AI助手,能够在各种复杂场景下提供智能支持。

Functionary的技术实现

Functionary的工作原理非常巧妙。它首先将函数定义转换为类似TypeScript定义的文本,然后将这些定义作为系统提示注入。之后,它会注入默认的系统提示,然后开始对话消息。

Functionary不会改变logit概率以符合某个特定模式,而是模型本身知道如何遵循规则。这种方法允许使用现有的工具和缓存系统,大大提高了灵活性和兼容性。

Functionary的应用场景

Functionary在多个领域都展现出了强大的应用潜力:

1. 旅游与酒店业 - 行程规划

Functionary可以通过plan_trip函数来智能规划旅行行程。例如,对于用户输入"我想计划一次为期7天的巴黎之旅,重点是艺术和文化",Functionary可以调用相应的函数,生成一个详细的旅行计划。

2. 房地产 - 房产估值

通过estimate_property_value函数,Functionary可以根据用户提供的房产详细信息(如位置、大小、房间数量等)来估算市场价值。这对于房地产评估和投资决策非常有帮助。

3. 电信 - 客户支持

Functionary可以使用parse_customer_complaint函数来解析复杂的客户投诉,提取核心问题并识别潜在的解决方案。这大大提高了客户服务的效率和准确性。

Functionary的性能评估

Functionary在多个权威评估中都表现出色:

在Berkeley函数调用排行榜中,Functionary-medium-v3.1模型以88.88%的准确率排名第二,仅次于GPT-4。
在ToolSandbox评估中,Functionary的表现与最佳专有模型相当,远超其他开源模型。
在SGD数据集上的函数预测评估中,Functionary-medium-v3.1模型达到了88.11%的准确率,超过了GPT-4和Gemini等强大对手。

Functionary evaluation results

这些评估结果充分证明了Functionary在函数调用和智能对话方面的卓越能力。

如何使用Functionary

Functionary提供了多种使用方式,以满足不同用户的需求:

1. OpenAI兼容API

Functionary提供了与OpenAI API兼容的接口,使得现有的OpenAI用户可以轻松迁移到Functionary:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="functionary")

client.chat.completions.create(
    model="meetkai/functionary-small-v3.2",
    messages=[{"role": "user", 
               "content": "What is the weather for Istanbul?"}],
    tools=[{
        "type": "function",
        "function": {
            "name": "get_current_weather",
            "description": "Get the current weather",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {
                        "type": "string",
                        "description": "The city and state, e.g. San Francisco, CA"
                    }
                },
                "required": ["location"]
            }
        }
    }],
    tool_choice="auto"
)

2. 原生HTTP请求

对于喜欢直接控制的用户,Functionary也支持原生的HTTP请求:

import requests

data = {
    'model': 'meetkai/functionary-small-v3.2',
    'messages': [
        {"role": "user", "content": "What is the weather for Istanbul?"}
    ],
    'tools': [{
        "type": "function",
        "function": {
            "name": "get_current_weather",
            "description": "Get the current weather",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {
                        "type": "string",
                        "description": "The city and state, e.g. San Francisco, CA"
                    }
                },
                "required": ["location"]
            }
        }
    }]
}

response = requests.post("http://127.0.0.1:8000/v1/chat/completions", 
                         json=data, 
                         headers={
                             "Content-Type": "application/json",
                             "Authorization": "Bearer xxxx"
                         })

print(response.text)

3. Llama.cpp推理

Functionary还支持使用Llama.cpp进行本地推理,这对于需要离线使用或追求高性能的用户来说是一个很好的选择:

from llama_cpp import Llama
from llama_cpp.llama_tokenizer import LlamaHFTokenizer

llm = Llama.from_pretrained(
    repo_id="meetkai/functionary-small-v2.4-GGUF",
    filename="functionary-small-v2.4.Q4_0.gguf",
    chat_format="functionary-v2",
    tokenizer=LlamaHFTokenizer.from_pretrained("meetkai/functionary-small-v2.4-GGUF"),
    n_gpu_layers=-1
)

messages = [
    {"role": "user", "content": "what's the weather like in Hanoi?"}
]
tools = [{
    "type": "function",
    "function": {
        "name": "get_current_weather",
        "description": "Get the current weather",
        "parameters": {
            "type": "object",
            "properties": {
                "location": {
                    "type": "string",
                    "description": "The city and state, e.g., San Francisco, CA"
                }
            },
            "required": ["location"]
        }
    }
}]

result = llm.create_chat_completion(
    messages = messages,
    tools=tools,
    tool_choice="auto",
)

print(result["choices"][0]["message"])