#性能提升
unsloth入门指南 - 加速大语言模型微调2-5倍的开源工具
GPTCache
GPTCache专为大型语言模型（LLM）设计，通过建立语义缓存库存储响应，以有效降低API调用费用并加快响应速度。项目兼容多种LLM，实现常见查询的缓存，简化重复请求，适合高效部署于生产环境。欢迎访问最新文档和发布通告。
unsloth
Unsloth提供高效AI模型调优方案，能将处理速度提升2倍，内存消耗降低60%。支持多种NVIDIA GPU型号，并适用于Llama 3.1、Mistral及Gemma等多种模型，全程无需更换硬件。易于操作的免费笔记本特别适合AI初学者。探索我们的网站，体验这一领先技术。
Chinese-LLaMA-Alpaca-3
Chinese-LLaMA-Alpaca-3项目推出了基于Meta新一代Llama-3技术的中文模型版本，涵盖原始及指令精调版本。这些模型利用海量中文数据增强了语义理解与指令执行性能，可广泛适用于多种中文文本处理任务。
ChatGLM2-6B
ChatGLM2-6B，基于GLM技术开发的中英双语对话模型，1.4T中英数据预训练后展现出改善的多语言处理效果，支持长达32K的上下文长度，新技术支持更快的推理速度和更好的对话体验。适用于学术研究和商业应用，如聊天机器人和客服AI，提供技术支持与灵活部署方案。
YAYI2
YAYI 2，由中科闻歌研发，30B参数的多语言开源大模型。采用超过2万亿Tokens的多语言语料进行预训练，通过百万级指令和人类反馈强化学习微调，极大提升其在多领域的应用效率。现开源YAYI2-30B，助力全球中文AI技术的创新与进步。
unify
Unify通过统一接口简化了不同提供商Large Language Models（LLM）的使用，无需管理多个API密钥或处理不同格式。用户可以通过自定义测试和评估，优化模型质量、成本和速度，并实现最佳模型路由，快速部署应用。安装包并获取API密钥后，即可管理模型、提供商与端点，自定义提示、多消息发送及异步处理和流式响应。更多详情，请访问Unify文档。
CFU-Playground
CFU-Playground项目为工程师、实习生和学生提供了一个用于设计和评估FPGA“软”处理器增强功能的框架，专注于提升机器学习任务的性能。用户可以快速上手、自定义指令，并进行效率测试和性能测量，实现多次迭代。项目还包含TensorFlow Lite模型优化、硬件要求和软件工具链的详细设置指导，除Vivado外，所有工具均为开源。
FCOS
FCOS算法是一种完全卷积的单阶段对象检测方法，通过避免使用锚点框，提高了检测性能和速度。在COCO minival数据集上，FCOS实现了46FPS和40.3的AP评分，并在各种模型和硬件上表现出色，包括ResNe(x)t和MobileNet等。与Faster R-CNN相比，FCOS在ResNet-50平台上表现更佳（38.7对36.8的AP），且训练和推理时间更短。该项目已基于Detectron2实现，并引入了多项优化和改进。
openvino
OpenVINO™是一款开源软件工具包，用于优化和部署深度学习模型。它支持多种框架如TensorFlow、PyTorch等，能在从边缘到云的多种平台上高效部署。此工具包还包含大量社区资源和教程，助力提升计算机视觉、自然语言处理等领域的模型性能。