AIKit: 构建、微调和部署开源大语言模型的强大工具

AIKit: 开源大语言模型的全能助手

在人工智能快速发展的今天,大语言模型(LLMs)已成为许多应用的核心技术。然而,要充分利用这些强大的模型并不容易。这就是AIKit诞生的原因 - 它旨在为开发者和企业提供一个全面的平台,简化大语言模型的部署、微调和使用过程。

AIKit的核心功能

AIKit主要提供两大核心功能:

推理能力: AIKit集成了LocalAI,支持广泛的推理能力和格式。LocalAI提供了一个与OpenAI API兼容的REST API,这意味着你可以使用任何兼容OpenAI API的客户端来与开源LLMs进行交互。
微调功能: AIKit提供了一个可扩展的微调接口。它支持Unsloth,为用户提供快速、内存高效且易于使用的微调体验。

AIKit的主要特点

轻量级部署: 只需Docker,无需GPU或Internet接入即可使用。
最小化镜像: 基于定制的distroless镜像,减少漏洞和攻击面。
声明式配置: 提供简单易用的声明式配置,用于推理和微调。
OpenAI API兼容: 可与任何兼容OpenAI API的客户端无缝集成。
多模态支持: 支持处理文本和图像等多种模态的数据。
图像生成: 集成了Stable Diffusion,支持图像生成功能。
广泛的模型支持: 支持GGUF、GPTQ、EXL2、GGML和Mamba等多种模型格式。
Kubernetes就绪: 可直接部署到Kubernetes集群中。
多模型支持: 单个镜像可支持多个模型。
多平台支持: 支持AMD64和ARM64 CPU,以及NVIDIA GPU加速推理。
供应链安全: 提供SBOM、来源证明和签名镜像,确保安全性。
离线环境支持: 可在离线环境中使用自托管、本地或任何远程容器注册表。

快速开始

想要体验AIKit的强大功能吗?只需一行命令,就可以在本地机器上启动AIKit:

docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b

运行后,打开 http://localhost:8080/chat 即可访问WebUI界面!

API使用示例

AIKit提供了与OpenAI API兼容的端点,这意味着你可以使用任何兼容OpenAI API的客户端向开源LLMs发送请求。以下是一个简单的curl命令示例:

curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
  }'