#性能优化
LLaMA-Factory
LLaMA-Factory是一个高效的语言模型微调工具，支持多种模型和算法。该平台专注于提高微调速度，支持连续预训练、监督微调和激励建模等策略。LLaMA-Factory利用LoRA技术实现高效训练，并提供详尽的数据监控和快速推理能力。此外，新版本还增加了PiSSA算法，且支持多种开发平台如Colab和DSW，适合高质量文本生成和智能应用开发。
Google AI Gemma
Google AI Gemma 网站展示了一系列高性能AI开放模型，旨在提供针对复杂数据、编程和科学计算的优化解决方案。Gemma系列模型，包括Gemma 1和Gemma 2，以不同的模型大小提供卓越性能，具备前沿的技术和可靠的设计，确保AI使用的安全性和责任感。
Medusa
Medusa框架通过多解码头技术加速大型语言模型(LLM)的生成，解决了草稿模型需求、系统复杂性和采样生成效率低的问题。在保持原模型性能的基础上，Medusa通过添加新解码头预测多个未来词，显著提升生成速度。最新的Medusa-2版本支持全模型训练和自我蒸馏，使任何微调后的LLM都能利用Medusa，无需原始训练数据。测试显示在不同LLM上提升了2.2-3.6倍的速度。
llm-applications
本教程详细展示如何从零基础开发和部署基于检索增强生成(RAG)的LLM应用程序，并使用Anyscale技术优化其性能。揭示如何综合开发、调整各关键组件、评估性能，并高效地进行服务上线，确保应用的卓越性能和极致的扩展性。
horovod
Horovod是一个分布式深度学习训练框架，提供对TensorFlow, Keras, PyTorch, Apache MXNet的支持。它优化了多GPU并行训练的过程，使得在多GPU上进行训练既快速又简单，无需重大代码修改。Horovod展示了高达90%的扩展效率，适合大规模深度学习应用，同时兼容NCCL和Gloo等高效的集合通信库，确保在各种环境下的高效运行。
burn
Burn，一个全面而高效的基于Rust的深度学习框架，致力于提供前所未有的灵活性和便携性。配备了自动内核融合、异步执行以及线程安全技术，极大提升了性能。此外，Burn通过智能内存管理和硬件优化，支持多后端架构，确保无论是云端训练还是各种硬件部署，均可实现最佳表现。
TNN
TNN，腾讯优图实验室开源的神经网络推理框架，提供针对移动设备和X86/NV GPUs的高效性能优化。该框架已被QQ、微视等多款应用使用，并支持各大平台包括TensorFlow、Pytorch、MxNet。
DAMO-YOLO
DAMO-YOLO, 阿里巴巴DAMO实验室的先进对象检测技术，基于YOLO系列和嵌入包括神经网络架构搜索及轻量级算法在内的多项新技术，以优化性能和效率。针对广泛行业场景，提供一站式解决方案，从训练到部署全面支持。
vectordb
Epsilla，这款开源矢量数据库以其高性能的向量检索、成本效率及可扩展性而备受欢迎。拥有完整的数据库管理系统功能并支持深度学习与自然语言处理查询，Epsilla同时实现云原生的无服务器多租户架构，并与多种生态系统无缝集成。