访问官网
Github
Huggingface
文档
论文项目介绍：AIKit
AIKit 是一个功能全面的平台，旨在帮助用户快速搭建、部署、构建和微调大型语言模型（LLMs）。该平台的主要特点是支持多种推理和微调功能，使用户能够轻松访问和定制高级的人工智能模型。
主要功能
推理（Inference）
AIKit 使用 LocalAI 来支持广泛的推理能力和格式。LocalAI 提供了一个与 OpenAI API 兼容的替代 REST API，因此用户可以使用任何兼容 OpenAI API 的客户端（如 Kubectl AI、Chatbot-UI 等）来发送请求到开放的大型语言模型。
微调（Fine-Tuning）
AIKit 提供了一个可扩展的微调接口，支持 Unsloth，让微调过程变得快速、内存高效且简单易用。
功能特性
- 无需 GPU、互联网接入或额外工具，通过 Docker 即可使用。
- 提供最小化的镜像尺寸，使用基于 Distroless 的镜像，提升安全性。
- 支持 OpenAI API，兼容任何 OpenAI API 客户端。
- 支持多模态模型和图像生成。
- 支持多种模型格式，如 GGUF、GPTQ、EXL2、GGML 以及 Mamba 模型。
- 支持 Kubernetes 部署。
- 单一镜像支持多种模型。
- 支持 AMD64 和 ARM64 CPU，以及使用 NVIDIA GPU 加速推理。
- 确保供应链安全，支持 SBOMs、证明声明和签名镜像。
- 支持自托管、本地或任何远程容器注册表，适用于隔离网络环境。
快速开始
用户可以在本地计算机上快速启动 AIKit，而且不需要 GPU。只需运行以下命令：
docker run -d --rm -p 8080:8080 ghcr.io/sozercan/llama3.1:8b
运行成功后，可以通过访问 http://localhost:8080/chat 来使用 WebUI。
API 使用
AIKit 提供了一个兼容 OpenAI API 的端点，用户可以使用任何兼容的客户端来发送请求：
curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "llama-3.1-8b-instruct",
"messages": [{"role": "user", "content": "explain kubernetes in a sentence"}]
}'
预设模型
AIKit 提供了一系列现成的模型，用户可以直接使用这些模型开始项目。如果需要特定模型，用户也可以创建自己的镜像，并将其托管到选择的容器注册表中。
支持的硬件架构
AIKit 支持 AMD64 和 ARM64 架构的 CPU，并可以选择使用 NVIDIA GPU 进行推理加速。
接下来的步骤
欲了解更多信息及如何微调模型或创建自定义镜像，请参阅 AIKit 网站。
