#大语言模型
LASER项目学习资料汇总 - 一种改进大语言模型推理能力的新方法
superagent
Superagent是完全开源的AI助手框架，利用大语言模型、检索增强生成和生成式AI技术，帮助开发者在应用中集成强大的AI助手。功能涵盖文档问答、聊天机器人、内容生成、数据聚合和工作流自动化。由Y Combinator支持，提供Python和Typescript SDK，并附有详细文档和教程。
text-generation-inference
Text Generation Inference (TGI) 是一个部署和服务大型语言模型的工具包。它支持Llama、Falcon、StarCoder、BLOOM、GPT-NeoX等流行的开源模型，提供简便的启动器、分布式追踪、张量并行、多GPU推理加速、令牌流等特性。TGI还支持权重量化和安全张量加载，具备自定义提示生成和微调功能，兼容Nvidia、AMD、Inferentia、Intel GPU、Gaudi和Google TPU等硬件平台。
aidea
AIdea是一款基于Flutter的开源应用，集成了包括OpenAI的GPT-3.5、GPT-4，Anthropic的Claude instant、Claude 2.1，Google的Gemini Pro等多种大语言模型，支持文生图、图生图、超分辨率等功能。该应用还提供了私有化部署选项，适合需要自定义服务端解决方案的用户。
cody
Cody是一款开源AI编码助手，通过搜索和代码库上下文帮助更快地理解、编写和修复代码。支持最新的Claude 3.5 Sonnet和GPT-4o语言模型。Cody提供聊天、自动补全、内联编辑和快捷命令功能，适用于VS Code、JetBrains和网页端。个人和团队均可免费使用，并支持Sourcegraph账户访问免费的大型语言模型。
MaxKB
MaxKB是一款基于LLM大语言模型的开源知识库问答系统，支持本地和公共大模型，提供开箱即用的智能问答体验。它具备文档自动爬取、向量化处理、灵活编排等功能，且可零编码嵌入第三方系统，提高用户满意度。适用于企业复杂业务场景，支持离线安装和快速部署。
Open-Assistant
Open Assistant项目旨在为所有人提供高质量的对话式大语言模型，类似于稳定扩散技术在艺术和图像方面的革命性影响，该项目希望通过改进语言本身来促进创新。完整的oasst2数据集已发布，详情请查看最新博客文章和HuggingFace平台。
LLaMA-Factory
LLaMA-Factory是一个高效的语言模型微调工具，支持多种模型和算法。该平台专注于提高微调速度，支持连续预训练、监督微调和激励建模等策略。LLaMA-Factory利用LoRA技术实现高效训练，并提供详尽的数据监控和快速推理能力。此外，新版本还增加了PiSSA算法，且支持多种开发平台如Colab和DSW，适合高质量文本生成和智能应用开发。
FastGPT
FastGPT是一个先进的问答系统，基于LLM大语言模型，提供开箱即用的数据处理和模型调用能力。它支持可视化工作流编排，适用于复杂的问答场景。同时，FastGPT支持快速部署，具有强大的知识库能力和多模型支持，是企业和开发者的理想选择。
FlexGen
FlexGen通过高效的IO卸载、压缩和大批量处理，实现了在单GPU上高吞吐量运行大语言模型。该系统专为高吞吐量任务设计，如信息提取和数据处理，特别适合成本敏感的环境。虽然FlexGen在小批量任务上速度较慢，但在批量处理和低成本硬件上具有显著优势。