Github
Huggingface
文档torchchat 项目介绍
torchchat 是一个展示大型语言模型（LLMs）运行能力的小型代码库。无论是通过 Python、在您自己的应用程序（C/C++，桌面或服务器）中，还是在 iOS 和 Android 上，torchchat都可以无缝地运行大型语言模型。
项目亮点
- 最新支持：对Llama 3.2 11B的多模态支持。用户可以尝试通过执行安装步骤来使用该功能。
- 支持通过命令行与流行的LLMs进行交互，例如 Llama 3、Llama 2、Stories、Mistral 等。
- 支持流行的硬件和操作系统，包括 Linux、Mac OS、Android 和 iOS。
- 多种数据类型和量化方案支持，增强了执行效率和适配性。
- 提供多种执行模式，包括 Python和本地执行环境。
功能概述
torchchat提供了一系列功能，确保用户可以在各种环境和设备上使用LLMs：
-
Python 环境运行：用户可以直接在 Python 环境中进行模型推理，通过命令行进行交互、生成文本和浏览器交互。
-
桌面/服务器运行无Python依赖：通过AOT Inductor 或 C++ 运行程序进行快速执行，帮助用户在不使用 Python 的情况下运行模型。
-
移动端运行：
- 支持 iOS 和 Android 部署，确保用户可以在移动设备上运行模型。
- 使用ExecuTorch进行移动设备优化，以提升性能和减少模型大小。
-
模型评估：可以通过使用 EleutherAI 的 lm_evaluation_harness 对模型准确性进行评估。
支持的模型
torchchat支持多种模型，并且为每个模型提供了别名和相关信息。这些模型适用于不同的使用场景，如聊天、生成文本、分类等。每个模型都适配了移动环境，确保在不同设备上的流畅运行。
安装指南
安装步骤要求用户安装Python 3.10。在安装过程中，建议使用虚拟环境（venv）或CONDA来隔离安装包。通过克隆torchchat的GitHub仓库，并执行安装脚本，即可完成基础的安装。
使用命令
torchchat提供了两类接口：Python命令和本地运行器，用户可以通过命令行执行互动聊天、生成人工文本、管理和下载模型、评估模型等多种操作。用户可通过帮助文档获取更多详细的命令说明。
参与社区
torchchat团队重视社区贡献，并接受来自用户的各种改进建议。用户可以通过加入我们的Slack社区与开发者和其他用户交流，分享经验和想法。我们欢迎所有希望对项目开发做出贡献的用户。
希望通过介绍能帮助大家更好地了解torchchat，欢迎尝试和反馈建议！如果遇到任何问题，请访问我们的GitHub问题页获取帮助。
