#GPU加速
PowerInfer学习资料汇总 - 消费级GPU上的高速大语言模型推理引擎
languagemodels
该Python库简化了大语言模型的使用，最低内存需求仅为512MB，确保所有推理在本地完成以保障数据隐私。支持GPU加速及多种模型配置，功能涵盖文本翻译、代码补全、语义搜索等，适合教育和商业用途。用户可通过简单的pip命令安装，在REPL、笔记本或脚本中使用。详见官方网站的文档与示例程序。
pytorch
PyTorch是一个开源的提供强大GPU加速的张量计算和深度神经网络平台，基于动态autograd系统设计。它不仅支持广泛的科学计算需求，易于使用和扩展，还可以与Python的主流科学包如NumPy、SciPy无缝集成，是进行深度学习和AI研究的理想工具。
vits-simple-api
vits-simple-api运用先进的VITS技术，支持文本到语音的转换，包括情感和声音风格的自定义，适用于众多场景。此外，项目还支持中文、日语等多语言，提供实时和批量处理模式，以及Docker和虚拟环境部署选项，确保安装和使用的便捷性。
DALI
NVIDIA DALI是一个GPU加速的数据加载和预处理库，专为提高深度学习应用效率而设计。它提供了一套优化的工具，改善图像、视频和音频的处理，同时解决CPU瓶颈，支持跨多平台框架使用。此外，DALI利用GPUDirect Storage技术，从而实现从存储到GPU内存的直接数据传输，显著提升处理速度。
NeMo-Curator
NeMo Curator 是一款专为大型语言模型（LLM）设计的开源Python库，通过结合Dask和RAPIDS等技术，实现GPU加速的数据集准备与管理。其功能包括数据下载、语言识别、文本清理、质量过滤、文档去重和个人信息保护等模块，为多种LLM任务提供快速、灵活和可扩展的解决方案，显著提升数据处理效率与模型质量。
llama2-webui
llama2-webui是一个跨平台的工具，允许在多个操作系统（Linux、Windows、Mac）通过Gradio Web UI轻松运行Llama 2模型。支持从7B到70B等多种模型规模，包含GPTQ和GGUF等，并兼容8位与4位计算模式。此外，项目还支持与OpenAI API兼容，可作为各类生成型应用的后端，旨在为开发人员提供一个便捷且高效的工具。
PowerInfer
PowerInfer是一款在个人电脑上针对消费级GPU设计的高效大型语言模型(LLM)推理引擎。它结合激活局部性原理和CPU/GPU混合技术，通过优化热/冷激活神经元的处理方式，显著提高推理速度并降低资源消耗。软件还融入了适应性预测器和神经元感知技术，优化了推理效率和精度，支持快速、低延迟的本地模型部署。
Omega-AI
Omega-AI是一个基于Java的深度学习框架，支持快速搭建并训练神经网络模型，涵盖BP、卷积、循环神经网络等多种类型。支持VGG16、ResNet、YOLO、LSTM、Transformer、GPT-2等多种模型。最新版本支持CUDA和CUDNN加速，极大提高运算速度。项目提供详细的环境配置指南及示例代码，帮助用户轻松上手。
video-subtitle-extractor
Video-subtitle-extractor是一款高效的视频字幕提取工具，可以将视频中的硬字幕提取为外挂字幕文件（srt格式）。支持批量处理、多语言字幕提取和水印去除，适用于Windows、macOS和Linux系统。用户可选择快速、自动或精准模式，使用GPU加速提高提取速度和准确度。本地OCR识别无需连接在线服务，适合对字幕提取有高要求的用户。