#GPT
FasterTransformer: 加速Transformer模型推理的高性能库
LocalAI
LocalAI是一个自由开源的OpenAI替代项目,提供与OpenAI兼容的REST API,支持本地或预置的消费级硬件上运行大型语言模型、生成图像和音频。该项目由Ettore Di Giacinto创建和维护,不需要GPU即可支持多种模型系列,实现了多种AI推理的独立化和去中心化。LocalAI致力于为开发者提供全面的开源AI模型使用方案,包括文本生成、语音转换、图像生成等功能,并通过Docker容器化技术实现了高效的部署和使用。
llm-app
Pathway的LLM应用让高精度RAG AI应用快速上线,使用最新数据源。支持文件系统、Google Drive、Sharepoint、S3、Kafka、PostgreSQL等多种数据源的连接和同步,无需额外基础设施。提供多种模板,扩展至数百万页文档,满足不同需求。
KG_RAG
KG-RAG,一种融合生物医学知识图谱SPOKE与大型语言模型的检索增强生成系统,专为提升特定领域的语义理解而设计。了解其配置、运行方法及在生物医学应用中的实例。
femtoGPT
femtoGPT是一个用Rust实现的最小生成预训练转换器,支持在CPU和GPU上进行GPT模型的推理与训练。项目从零开始构建了张量处理逻辑以及训练和推理代码,适合对大语言模型感兴趣并想深入了解其工作原理的用户。使用了随机生成、数据序列化和并行计算库,尽管速度较慢,但能在NVIDIA和AMD显卡上运行。
whatsapp-chatgpt
基于WhatsApp构建的聊天机器人融合了OpenAI的GPT和DALL-E 2技术,支持文本和语音输入,提供回复功能,旨在提高日常对话的自动化效率。欲了解更多安装与使用详情,请前往官方文档。
examor
基于用户笔记生成考题的网站应用,通过问题复习笔记内容,帮助用户实现知识的长期记忆。集成Ebbinghaus记忆曲线,支持从文档生成问题,提供自定义题型和角色选择,优化学习体验。利用GPT-4模型进行精准答案检测和评分,使用户获得及时反馈并根据成绩调整复习计划。新版本增加题库模块,积累高质量问题,鼓励社区贡献。
FasterTransformer
FasterTransformer不仅支持多框架集成,还针对NVIDIA新一代GPU优化了编解码性能,极大提升了操作效率和处理速度。包含模型支持、性能对比及API演示的详细文档,有助于用户深入了解并有效使用FasterTransformer。
awesome-open-gpt
awesome-open-gpt平台集合了多样的GPT相关开源项目,囊括了GPT镜像、增强、插件等多种工具,覆盖了从聊天机器人到专业领域应用的广泛用途。该平台采用MIT许可证,不断进行更新,为技术专业人员和开发者提供了一个理想的学习、交流与贡献的环境。
LLMs-from-scratch
本书详细介绍了如何从零开始编码、构建和训练GPT类大语言模型。提供逐步指导、清晰图示和示例,适合教育用途的小型模型开发,并包含大模型预训练权重加载和微调的代码示例。