#Python API
xFasterTransformer:高性能大语言模型推理引擎 - 学习资料与资源汇总
mistral.rs入门指南 - 快速高效的LLM推理平台
AIY Projects Raspbian 学习资料汇总 - 为树莓派提供AI功能的开源项目
aiyprojects-raspbian
提供适用于AIY Vision Kit和Voice Kit的简便Python API,包括详细的组装指南、Python API参考、示例代码和系统更新指南。用户可以下载最新的SD卡镜像或自行构建,体验便捷的AIY项目。如果遇到问题,可以通过AIY帮助文档、论坛和Stack Overflow获取支持,或在GitHub提交问题报告和修复请求。
aqueduct
Aqueduct是一个开源MLOps框架,支持使用Python定义和部署机器学习和LLM任务,适配各种云基础设施如Kubernetes、Spark和AWS Lambda。Aqueduct能将代码无缝迁移到云端或在不同云间转换,并提供模型执行与性能监控。该框架还提供集中的代码、数据和元数据管理,保障工作流顺利运行并及时通知异常情况。
mistral.rs
mistral.rs是一款支持多种设备、模型量化的大型语言模型(LLM)推理平台,配备与Open-AI API兼容的HTTP服务器和Python绑定,提供快速、精确的模型推理服务。平台支持文本和视觉模型,如AnyMoE、Llama等,采用LoRA技术和动态适配器,提高推理效率。用户可通过API在多种加速器上部署模型,实现快速计算和灵活应用。
xFasterTransformer
xFasterTransformer是一个为X86平台优化的大规模语言模型(LLM)推理解决方案,支持多插槽和节点的分布式运行,适用于大型模型推理。它提供C++和Python API,支持例如ChatGLM、Llama、Baichuan等流行的LLM模型,并可通过PyPI、Docker或从源代码进行安装。项目附带详细文档、API使用示例、基准测试代码和Web演示,确保用户能充分利用其高性能和高扩展性。
xorbits
Xorbits 是一款开源计算框架,旨在简化数据科学和机器学习任务的扩展。从数据预处理到模型部署,Xorbits 支持整个流程。它可以利用多核或GPU加速单机计算,或扩展至数千台机器,以处理TB级数据和大型模型的训练。Xorbits 提供兼容 pandas、NumPy、PyTorch 和 XGBoost 等库的 Python API,无需深入了解基础设施即可完成工作负载扩展。
Tensorflow-bin
提供适用于RaspberryPi的Tensorflow Lite预构建二进制文件,支持XNNPACK和半精度推理功能。兼容多个操作系统和Python版本,支持Tensorflow v1到v2的多版本安装。通过简便的安装脚本,用户可以快速部署和运行Tensorflow模型,实现高效的设备端推理。
wikipron
WikiPron是一款命令行工具和Python API,用于从Wiktionary提取多语言发音数据,并提供生成的发音词典数据库。它涵盖了基本安装和使用说明,并提供高级选项和配置指南,适合跨语言发音数据挖掘研究。关键特性包括ISO三字母语言码支持、方言指定、转录级别选择、分段机制和括号内容处理。
virtualhome
VirtualHome是一个用于模拟复杂家庭活动的交互平台。通过Python API,用户可以实现与环境的复杂交互,如拾取物体和操作电器等。该平台支持多代理活动模拟,适用于具身AI任务的训练。最新版本新增了程序生成、多种定制环境、强化物理模拟、时间管理系统及改进的室内外实时照明。
dlib
dlib是一个功能丰富的C++工具库,专注于机器学习解决方案,支持快速编译和高效运算。提供完整的Python集成和标准Boost许可,适用于各类项目。