#深度学习推理
相关项目
ppl.nn
PPLNN是一款高效的深度学习推理引擎，兼容各种ONNX模型，并对OpenMMLab进行了优化。其最新的LLM引擎包括闪存注意力、分裂K注意力、动态批处理和张量并行等功能，并支持INT8分组和通道量化。项目发布了多个LLM模型，如LLaMA、ChatGLM和Baichuan，并提供详细的构建和集成指南。
openvino_notebooks
本项目提供了一系列可执行的Jupyter Notebooks，用于学习和实验OpenVINO™工具包。用户可以通过这些Notebooks了解OpenVINO的基础知识，并学习如何使用API进行优化的深度学习推理。支持多平台运行，包括本地、云端和Docker容器，提供详细的安装指南、系统需求及常见问题解答，全面辅助开发者使用OpenVINO™。
finn
FINN是一个开源实验框架，专注于FPGA上的量化神经网络推理。它为每个网络生成定制的数据流式架构，实现高效、高吞吐量和低延迟的FPGA加速器。FINN提供跨软硬件抽象层的灵活性，支持深度神经网络研究，并通过Docker提供编译器环境和丰富的文档资源。