LocalAI
:bulb: 获得帮助 - ❓常见问题 💭讨论 :speech_balloon: Discord :book: 文档网站
LocalAI 是一个免费的、开源的 OpenAI 替代方案。LocalAI 是一个可替代的 REST API,与 OpenAI(Elevenlabs, Anthropic...)API 规范兼容,适用于本地 AI 推理。它允许您在本地或内部使用消费级硬件运行 LLMs、生成图像、音频(不仅如此)。不需要 GPU。由 Ettore Di Giacinto 创建和维护。
运行安装脚本:
curl https://localai.io/install.sh | sh
或者使用 docker 运行:
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-aio-cpu
# 备用镜像:
# - 如果您有 Nvidia GPU:
# docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-aio-gpu-nvidia-cuda-12
# - 无预配置模型
# docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
# - 针对 Nvidia GPU 的无预配置模型
# docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12
🔥🔥 热门话题 / 路线图
- 2024年7月: 🔥🔥 🆕 P2P 仪表盘,LocalAI 联邦模式和 AI 群集: https://github.com/mudler/LocalAI/pull/2723
- 2024年6月: 🆕 您现在可以无需 LocalAI 浏览模型库!查看 https://models.localai.io
- 2024年6月: 支持来自 OCI 注册表的模型: https://github.com/mudler/LocalAI/pull/2628
- 2024年5月: 🔥🔥 去中心化 P2P llama.cpp: https://github.com/mudler/LocalAI/pull/2343 (点对点 llama.cpp!) 👉 文档 https://localai.io/features/distribute/
- 2024年5月: 🔥🔥 Openvoice: https://github.com/mudler/LocalAI/pull/2334
- 2024年5月: 🆕 无需语法的函数调用和混合模式: https://github.com/mudler/LocalAI/pull/2328
- 2024年5月: 🔥🔥 分布式推理: https://github.com/mudler/LocalAI/pull/2324
- 2024年5月: 在 WebUI 中的聊天、TTS 和图像生成: https://github.com/mudler/LocalAI/pull/2222
- 2024年4月: Reranker API: https://github.com/mudler/LocalAI/pull/2121
热门话题(寻求贡献者):
- 🔥🔥 分布式、P2P 全球社区池: https://github.com/mudler/LocalAI/issues/3113
- WebUI 改进: https://github
- 📖 使用 GPTs 生成文本(
llama.cpp
、gpt4all.cpp
等 更多) - 🗣 文本转音频
- 🔈 音频转文本(使用
whisper.cpp
进行音频转录) - 🎨 使用 Stable Diffusion 生成图像
- 🔥 OpenAI 类工具 API
- 🧠 生成嵌入向量数据库
- ✍️ 受限语法
- 🖼️ 直接从 Huggingface 下载模型
- 🥽 视觉 API
- 📈 重排序器 API
- 🆕🖧 P2P 推理
- 🌍 集成 WebUI!
💻 使用方法
请查阅我们文档中的 入门指南 部分。
🔗 社区与集成
构建并部署自定义容器:
WebUIs:
- https://github.com/Jirubizu/localai-admin
- https://github.com/go-skynet/LocalAI-frontend
- QA-Pilot(一个利用 LocalAI LLMs 快速理解和导航 GitHub 代码库的互动聊天项目) https://github.com/reid41/QA-Pilot
模型库
其他:
- Helm chart https://github.com/go-skynet/helm-charts
- VSCode 插件 https://github.com/badgooooor/localai-vscode-plugin
- 终端工具 https://github.com/djcopley/ShellOracle
- 本地智能助手 https://github.com/mudler/LocalAGI
- Home Assistant https://github.com/sammcj/homeassistant-localai / https://github.com/drndos/hass-openai-custom-conversation / https://github.com/valentinfrlch/ha-gpt4vision
- Discord 机器人 https://github.com/mudler/LocalAGI/tree/main/examples/discord
- Slack 机器人 https://github.com/mudler/LocalAGI/tree/main/examples/slack
- Shell-Pilot(在 Linux 或 MacOS 系统上使用纯 shell 脚本与 LocalAI 模型互动) https://github.com/reid41/shell-pilot
- Telegram 机器人 https://github.com/mudler/LocalAI/tree/master/examples/telegram-bot
- Github Actions: https://github.com/marketplace/actions/start-localai
- 示例: https://github.com/mudler/LocalAI/tree/master/examples/
🔗 资源
📖 🎥 媒体、博客、社交
- 使用 LocalAI 运行 Visual Studio Code(SUSE)
- 🆕 在 Jetson Nano Devkit 上运行 LocalAI
- 使用 Pulumi 在 AWS EKS 上运行 LocalAI
- 在 AWS 上运行 LocalAI
- 为团队和 OSS 项目创建回答文档的 Slackbot
- LocalAI 遇见 k8sgpt
- 使用 LangChain、LocalAI、Chroma 和 GPT4All 在本地进行问答
- 使用 LocalAI 的 k8sgpt 教程
引用
如果您在下游项目中使用了此存储库或数据,请考虑使用以下方式引用:
@misc{localai,
author = {Ettore Di Giacinto},
title = {LocalAI: The free, Open source OpenAI alternative},
year = {2023},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/go-skynet/LocalAI}},
❤️ 赞助商
您觉得 LocalAI 有用吗?
通过成为 支持者或赞助商 来支持该项目。您的标志将显示在此处,并链接到您的网站。
非常感谢我们的慷慨赞助商,他们支持此项目并支付 CI 费用,以及我们的 赞助商列表:
🌟 星标历史
📖 许可证
LocalAI 是由 Ettore Di Giacinto 创建的社区驱动项目。
MIT - 作者 Ettore Di Giacinto mudler@localai.io
🙇 鸣谢
LocalAI 的构建离不开社区中已有的优秀软件的帮助。谢谢!
- llama.cpp
- https://github.com/tatsu-lab/stanford_alpaca
- https://github.com/cornelk/llama-go 提供的初步想法
- https://github.com/antimatter15/alpaca.cpp
- https://github.com/EdVince/Stable-Diffusion-NCNN
- https://github.com/ggerganov/whisper.cpp
- https://github.com/saharNooby/rwkv.cpp
- https://github.com/rhasspy/piper