cutlass

高性能矩阵乘法与混合精度计算的CUDA C++模板库

CUTLASS GEMM CUDA 高性能矩阵运算 Tensor Core Github 开源项目

CUTLASS是一个高性能CUDA C++模板库，旨在高效实现矩阵乘法(GEMM)及其扩展运算。支持各种精度与多个NVIDIA架构，如Volta、Turing、Ampere和Hopper。该库的模块化设计方便用户构建和优化自定义核心和应用程序。3.5.1版本新增特性以提升性能并增加新架构支持。

Github

文档

介绍相关项目

unsloth - 提高模型速度，降低内存消耗

GithubLlama 3.1Unsloth.ai免费notebooks内存优化开源项目性能提升

Unsloth提供高效AI模型调优方案，能将处理速度提升2倍，内存消耗降低60%。支持多种NVIDIA GPU型号，并适用于Llama 3.1、Mistral及Gemma等多种模型，全程无需更换硬件。易于操作的免费笔记本特别适合AI初学者。探索我们的网站，体验这一领先技术。

DiffSharp - 开源张量库支持可微分编程和机器学习

DiffSharpGithubPyTorch开源项目张量库微分编程机器学习

DiffSharp是一个开源张量库，专为可微分编程而设计。该项目采用F#语言开发，支持嵌套和混合模式微分，提供常用优化器、模型元素和可微概率分布。DiffSharp结合了PyTorch的命名习惯，支持LibTorch CUDA/C++张量和GPU加速，适用于机器学习、概率编程和优化等领域。它兼容Linux、macOS和Windows平台，可在Jupyter和Visual Studio Code中使用交互式笔记本。

lattigo - 基于Go语言的高性能格密码同态加密库

GithubGo语言Lattigo同态加密多方计算密码学开源项目

Lattigo是一个高性能的Go语言格密码同态加密库，提供优化的环代数算术、RLWE原语以及BFV/BGV和CKKS方案实现。支持跨平台构建和浏览器WASM编译，性能媲美顶级C++库。Lattigo专注于分布式系统和微服务架构中的同态加密应用，充分利用Go语言的并发优势和可移植性。

Simd - 开源图像处理与机器学习库支持多平台SIMD指令优化

GithubSIMD优化Simd Library图像处理开源项目机器学习跨平台

Simd是一个开源的图像处理和机器学习库，专为C和C++开发者设计。它提供像素转换、图像缩放、滤波、统计分析、运动检测、对象识别和神经网络等高性能算法。该库针对x86/x64的SSE、AVX、AVX-512、AMX和ARM的NEON等SIMD指令集进行了优化。Simd提供C API和C++接口，支持动态和静态链接，兼容32位和64位的Windows及Linux平台。

NVTabular - GPU加速的大规模表格数据特征工程库

GPU加速GithubNVTabular开源项目推荐系统数据预处理特征工程

NVTabular是NVIDIA Merlin框架的组件，用于处理TB级数据集和训练深度学习推荐系统。该库利用GPU加速计算，提供高级抽象以简化代码。它可处理超出内存限制的大规模数据集，使数据科学家专注于数据操作，快速准备实验数据，并加速生产模型的数据转换过程。

effort - LLM模型计算量实时优化的开源实现

GithubLLM模型推理bucketMul算法开源项目权重加载矩阵乘法计算效率优化

Effort是bucketMul算法的开源实现，支持实时调整LLM模型推理过程中的计算量。在Apple Silicon芯片上，50%effort可匹配常规矩阵乘法速度，25%effort则提供双倍速度，同时保持大部分输出质量。项目支持跳过加载次要权重，实现性能与质量的灵活平衡。Effort Engine提供预编译二进制文件，源代码基于Swift和Metal开发。

llama2.rs - Rust开发的高效Llama2 CPU推理库

CPU推理GithubLlama2RustSIMD开源项目量化

llama2.rs是一个用Rust开发的Llama2 CPU推理库，专注于提供高性能的推理能力。项目支持4位GPT-Q量化、批量预填充提示标记、SIMD加速和内存映射等技术，实现了70B模型的即时加载。通过Python API，开发者可在普通台式机上运行70B Llama2模型（1 token/s）和7B模型（9 tokens/s）。该项目为大规模语言模型的CPU推理提供了高效且灵活的开源解决方案。

taskflow - 现代C++并行和异构任务编程库Taskflow

GPU加速GithubTaskflow任务图并行编程开源项目异步编程

Taskflow是一个C++任务编程库，专注于并行和异构计算。它通过简洁的API支持静态和动态任务图构建、条件执行和GPU加速。Taskflow提供可视化和分析工具，有助于程序优化。该库在性能和可扩展性方面表现优异，适用于各类并行计算场景，已在学术和工业项目中得到应用。

torchquad - 基于GPU加速的开源数值积分框架

GPUGithubPyTorchtorchquad开源项目数值积分机器学习

torchquad是一个开源的高性能数值积分框架,支持PyTorch、JAX和Tensorflow等多个后端。该框架针对GPU进行了优化,能有效处理高维积分问题,并在GPU上展现出优异的扩展性。torchquad提供多种积分方法,支持自动微分,适用于机器学习和科学计算等领域。其简洁的API设计使研究人员和开发者能够高效地完成复杂的数值积分任务。

autodiff - 高效直观的C++17自动微分库

C++库Githubautodiff导数计算开源项目自动微分表达式树

autodiff是一个C++17自动微分库，通过现代编程技术实现高效的导数计算。支持前向和反向模式，只需少量代码修改即可处理复杂函数。该库适用于机器学习、优化和科学计算领域，为开发者提供灵活的自动微分功能。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com