#本地部署

这款语音识别工具可在本地离线运行，基于开源的fast-whisper模型，可将视频和音频中的人声快速转换为文字。支持输出json、srt及纯文本格式，无需联网，确保隐私安全，与openai语音识别接口准确率相当。用户可便捷下载预编译版本，或自行部署源码，支持多种操作系统。此外，还提供API接口，适合开发者使用。支持CUDA加速，优化处理速度。

Chatbot UI是一个开源的人工智能聊天应用，面向所有用户免费开放。本项目支持快速本地部署和云端托管，适配了最新的移动设备布局，并持续优化后端兼容性。使用Chatbot UI，用户可以享受即时的信息交流体验，增强交互效率。项目提供官方托管版本，无需自行托管，简化了设置过程。同时，Chatbot UI鼓励社区用户参与讨论，共同推动项目进步。

QMedia是一个开源的多媒体AI搜索引擎，专为处理和整合文本、图片及短视频内容而设计。此搜索引擎支持本地部署，便于在保护隐私的同时进行有效的内容搜索和问答处理。

Auto_PPT是一款采用gpt-3.5-turbo技术的先进自动化PPT生成工具，专为高效生成高质量PPTX文件，支持md格式并提升文本生成过程。搭配Unsplash精选插图，增强视觉吸引力，同时提供本地部署选项以保障数据安全。

本页面介绍了如何通过Whisper模型将语音转换为文字，包括在本地环境和Docker中的部署方法。提供克隆项目代码、配置虚拟环境或Docker镜像的详细步骤，帮助用户快速启动和测试Whisper模型在本地的运行效果。

grontown是一款基于开源游戏代理框架eastworld开发的黑色风格互动游戏。作为eastworld框架的演示和开发平台，grontown展示了AI技术在游戏中的应用。游戏可在gron.games网站上体验，也支持本地安装运行。项目源代码开放，为开发者提供了学习和研究eastworld框架的机会。

本项目提供Local-LLM全面指南，深入剖析大语言模型背景、开源LLM利弊、在线与本地LLM对比及应用场景。详述LLM运作机制、应用差异和在线使用挑战。指南助力用户选择合适LLM方案，尤其适合本地部署LLM的开发者和研究人员参考。

OnPrem.LLM是一个Python工具包，支持在本地机器上运行大型语言模型，处理非公开数据。该工具兼容本地LLM和OpenAI API，提供文档问答、文本摘要和信息提取等功能。适用于需要在防火墙内处理敏感信息的企业，可轻松将本地LLM集成到实际应用中。

Ollama GUI为ollama.ai提供Web界面，支持在本地运行大型语言模型。该项目集成多种模型，如Mixtral、Phi和Solar，实现模型下载、聊天历史管理和Markdown解析等功能。基于Vue.js、Vite和Tailwind CSS开发，Ollama GUI为AI爱好者和开发者打造了便捷的本地LLM交互平台。

Sudo-Flix是一个开源流媒体项目，支持多服务器选择和本地部署。项目包含浏览器扩展、代理服务、后端和前端组件，用户可使用官方实例或自行部署。FMHY将其评为2024年最佳多服务器流媒体网站，并在Reddit相关版块获得推荐。项目提供详细文档和国际化支持，旨在优化在线观影体验。

此项目提供Microsoft Phi-3.5-mini-instruct模型的GGUF格式量化版本。GGUF是llama.cpp团队推出的新格式，取代了GGML。支持2-bit至8-bit多种量化位宽，兼容多个GGUF支持工具，如llama.cpp和LM Studio。这些工具具备GPU加速和Web界面，便于本地部署和使用大型语言模型。

Llama-3-8B-Instruct-64k-GGUF 是一款采用 GGUF 格式量化的指令调优大语言模型。该模型支持 2 至 8 位多种量化精度，具有 64k 上下文窗口，适用于长文本处理任务。它可通过多种开源工具使用，如命令行接口、Python 库和 Web 界面等，在各类硬件上实现高效运行。

本项目提供Mistral-7B-Instruct-v0.3模型的GGUF格式量化版本。GGUF是llama.cpp团队开发的新格式，兼容多种客户端和库。模型支持2-8位量化，可在不同平台上实现GPU加速，适合文本生成和对话应用。这为在本地设备部署高性能大语言模型提供了便捷解决方案。

这是Llama-3-8B-Instruct-v0.10模型的GGUF格式量化版本，提供2-bit至8-bit的精度选项。GGUF是llama.cpp团队开发的新格式，取代了GGML，支持多种客户端和库。该项目使用户能够在本地设备上高效运行大型语言模型，适用于文本生成任务。