#内存管理

nvshare: 革新GPU共享技术,打破内存限制

3 个月前
Cover of nvshare: 革新GPU共享技术,打破内存限制

PyTorch内存管理利器:pytorch_memlab深度解析

3 个月前
Cover of PyTorch内存管理利器:pytorch_memlab深度解析

深入理解张量:从数学概念到实际应用

3 个月前
Cover of 深入理解张量:从数学概念到实际应用

Cymem: Cython内存池实现RAII风格的内存管理

3 个月前
Cover of Cymem: Cython内存池实现RAII风格的内存管理

Koila: 用一行代码解决PyTorch的显存不足问题

3 个月前
Cover of Koila: 用一行代码解决PyTorch的显存不足问题

SmartGPT:突破大语言模型的复杂任务处理能力

3 个月前
Cover of SmartGPT:突破大语言模型的复杂任务处理能力

SmartGPT: 革新大语言模型的复杂任务处理能力

3 个月前
Cover of SmartGPT: 革新大语言模型的复杂任务处理能力
相关项目
Project Cover

smartgpt

SmartGPT是一种实验性项目,通过模块化和插件系统支持,将GPT-3.5和GPT-4用于自动完成复杂任务。其特点包括自动配置、动态执行和静态工具链。虽然在生态系统和内存管理方面有一些限制,但SmartGPT正在探索并推动大型语言模型的最大潜力。适合对AI创新感兴趣的开发者。

Project Cover

julep

Julep是一个专为构建具备状态管理的AI应用的开源平台。它支持对话历史、多种语言模型、智能代理工作流及多种集成功能。用户可以通过简单的标志调整对话记忆,并可选择本地或云端部署。平台内置90多种工具,允许开发者轻松切换不同的LLM,并提供丰富的API与SDK文档,便于实现个性化的AI解决方案。

Project Cover

koila

Koila是一个开源项目,通过一行代码解决CUDA内存不足错误。它包含自动累积梯度、惰性求值和批次大小优化功能,使GPU计算更高效。作为轻量级PyTorch包装器,Koila自动计算GPU的剩余内存,并选用适当的批次大小,从而保持与PyTorch的兼容性。

Project Cover

arcstr

arcstr是一个Rust库,提供ArcStr类型作为优化的引用计数字符串实现。该库支持零成本静态字符串字面量和单指针设计,提高了性能。arcstr保留了Arc<str>的核心功能,同时简化不常用特性,增加了实用的字符串操作。库中还包含Substr子串类型。经过严格测试,arcstr支持多种平台和编译器版本,适用于各种字符串处理场景。

Project Cover

fusion

Fusion是一个使用Nim语言开发的x86-64架构爱好者操作系统。该项目实现了UEFI引导、内存管理、任务调度、系统调用和进程间通信等核心功能。未来计划引入基于能力的安全机制、事件驱动任务状态机和按需分页等特性。开发者可通过QEMU模拟器运行和测试Fusion系统。

Project Cover

mimalloc

mimalloc是一款开源的高性能内存分配库,采用自由列表分片和多分片技术,有效减少内存碎片并提升内存局部性。它支持安全模式、首类堆和有界分配时间等特性,在多项基准测试中表现优于其他主流分配器。mimalloc可直接替代malloc函数,无需修改代码即可在Windows、Linux、macOS等多种系统中使用。

Project Cover

cymem

cymem为Cython项目提供了两个简洁的内存管理助手,实现了内存与Python对象生命周期的智能绑定。其核心Pool类封装了calloc函数,适用于复杂的深度嵌套结构。通过自动内存释放机制,cymem有效防止内存泄漏,简化了开发流程,提升了Cython项目的性能和可靠性。

Project Cover

tensor

该项目用C语言实现了一个简单的1D浮点张量库,功能类似PyTorch的Tensor和NumPy的ndarray。库支持高效切片操作,并提供Python接口。通过展示张量对象如何管理Storage和View来实现高效内存利用,帮助开发者理解底层张量操作原理。项目还演示了如何将C代码封装为Python模块,并使用pytest进行测试。

Project Cover

nuke

nuke是一个专为Go语言开发的内存arena实现库。通过大块内存预分配和按需小块分配的方式,nuke有效降低了内存分配开销,同时提高了缓存局部性,从而优化了应用性能。该库提供单调和并发安全的arena选项,适应不同使用场景。在对象分配和切片创建等操作上,nuke相比Go标准运行时展现出明显的性能优势。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号