cutlass

高性能矩阵乘法与混合精度计算的CUDA C++模板库

CUTLASS GEMM CUDA 高性能矩阵运算 Tensor Core Github 开源项目

CUTLASS是一个高性能CUDA C++模板库，旨在高效实现矩阵乘法(GEMM)及其扩展运算。支持各种精度与多个NVIDIA架构，如Volta、Turing、Ampere和Hopper。该库的模块化设计方便用户构建和优化自定义核心和应用程序。3.5.1版本新增特性以提升性能并增加新架构支持。

Github

文档

介绍相关项目

qulacs - 快速高效的量子电路模拟库适用于大规模复杂和参数化电路

C++GPUGithubPythonQulacs开源项目量子电路模拟

Qulacs是一个Python/C++开发的高性能量子电路模拟库，专注于大规模、含噪声和参数化量子电路的快速模拟。它采用并行化C/C++后端，支持噪声模型、参数化量子门和电路优化。Qulacs提供GPU加速功能和丰富的量子计算研究工具。在多项基准测试中，Qulacs展现出优秀的性能，适用于广泛的量子计算研究领域。

cudaKDTree - CUDA加速的左平衡k-d树构建与查询库

CUDAGPU计算Githubk-d树开源项目数据结构查询算法

cudaKDTree是一个基于CUDA的k-d树库,提供高效的构建和查询功能。它支持多种可定制输入数据类型,可在主机和GPU上构建树结构。该库提供三种设备端构建器,在性能和内存使用间权衡。支持空间k-d树和Bentley风格的平衡k-d树,适用于多种数据类型。还包含多种遍历算法,如最近点查找(FCP)和k近邻(KNN)等示例查询。

matrix-rust-sdk - Rust实现的高性能Matrix客户端库

GithubMatrixRustSDK客户端库开源开源项目

matrix-rust-sdk是一个基于Rust开发的Matrix客户端库。它包含高级客户端、无IO状态机和加密模块，适应多样化开发场景。该项目支持Swift、Kotlin和JavaScript等语言绑定，现处于alpha阶段。采用Apache-2.0许可，要求Rust 1.70及以上版本。

exllama - 为现代GPU优化的快速内存高效Llama实现

AI模型CUDAExLlamaGPU加速Github开源项目深度学习

ExLlama是一个基于Python/C++/CUDA的独立实现,针对4位GPTQ权重进行了优化,旨在提高现代GPU上的运行速度和内存效率。该项目支持NVIDIA 30系列及更新的GPU,可处理Llama、Koala和WizardLM等多种大型语言模型。ExLlama具备基准测试、聊天机器人示例和Web界面等功能,同时支持Docker部署。尽管仍在开发中,项目已展现出卓越的性能和效率。

fast_float - 快速解析数值的C++库性能超越标准库

C++库Githubfast_float开源项目性能优化数字解析浮点数转换

fast_float是一个高性能C++头文件库,用于快速解析ASCII字符串中的数值。它提供类似C++17 from_chars的API,支持精确舍入,性能远超标准库实现。该库无需内存分配,可解析特殊值,支持C++20编译时计算,已被GCC、Chromium等重要项目采用。

stable-fast - 优化HuggingFace Diffusers推理性能的轻量级框架

CUDADiffusersGithubPyTorchStable FastTorchScript开源项目

stable-fast是一个优化HuggingFace Diffusers推理性能的轻量级框架，支持NVIDIA GPU。相比TensorRT和AITemplate需要几十分钟的编译时间，stable-fast仅需几秒钟即可完成模型编译。主要特色包括动态形状、低精度计算和多种算子融合。它还兼容ControlNet和LoRA，并支持最新的StableVideoDiffusionPipeline，是加速PyTorch推理的有效工具。

tensorcircuit - 新一代量子软件框架支持多种先进功能

GithubTensorCircuit即时编译开源项目硬件加速自动微分量子软件框架

TensorCircuit是新一代量子软件框架,基于现代机器学习框架构建。它支持自动微分、即时编译、硬件加速等多项先进功能,可高效模拟量子-经典混合算法。该框架还能访问实际量子硬件,提供多种计算资源的混合部署方案,为量子计算研究和应用提供强大灵活的工具。

contrastive-unpaired-translation - 基于对比学习的无监督图像转换

Contrastive Unpaired TranslationCycleGANGithubPyTorch图像到图像转换对比学习开源项目

CUT项目提供了一种基于PyTorch的无监督图像间转换方法，采用局部对比学习和对抗学习技术。该方法较CycleGAN具备更快的训练速度和更低的内存占用，并且无需手工设计损失函数和反向网络，适合单图像训练。支持Linux或macOS系统及Python 3环境，适合在NVIDIA GPU上运行，整个训练和测试流程简单易操作。该项目由UC Berkeley和Adobe Research团队开发，并在ECCV 2020会议中展示。

mirage - 多层次张量程序超优化器提升DNN性能

CUDAGithubMirage开源项目张量代数深度神经网络超优化器

作为一款先进的张量代数超优化器，Mirage在深度神经网络(DNN)性能优化领域展现出独特优势。通过在GPU计算层次结构中实现多层次联合优化，该工具能够自动发现并生成高效的张量程序。Mirage不仅可以识别和验证复杂的优化策略，还能通过搜索等效程序空间来开发出性能卓越的自定义内核。这一技术在各类DNN应用中表现出色，如LLAMA-3-70B模型中的组查询注意力机制和低秩适配器优化，生成的CUDA内核性能显著优于传统手动优化方法。

llama.go - 基于Golang的高效LLM推理与调试实现

GithubGolangLLaMALarge Model Collider多线程开源项目跨平台兼容

llama.go是一个基于Golang的LLM推理项目，旨在通过纯Golang编写的张量数学与多线程优化，实现高效的LLaMA模型推理，替代C++实现。支持LLaMA V1和V2模型架构，兼容Mac、Linux和Windows，涵盖INT8量化、AVX2加速等高级功能。未来计划扩展支持Nvidia GPU、AVX512和INT4量化，并提供内置REST API，适用于真实项目中的服务器模式。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com