#Apple silicon
Metal Flash Attention: 加速Apple生态系统中图像生成的核心
3 个月前
Metal Flash Attention: 加速Apple设备上的AI模型训练
3 个月前
相关项目
metal-flash-attention
metal-flash-attention项目将FlashAttention算法移植至Apple silicon，提供精简可维护的实现。支持macOS和iOS，使用32位精度计算和异步拷贝。项目采用单头注意力机制，专注于核心瓶颈优化。通过创新的反向传播设计，减少内存使用并提高计算效率。改进了原始FlashAttention的反向传播设计，提高并行效率。项目正在持续优化，包括寄存器压力、可移植性和文档完善。
HelloSilicon
HelloSilicon项目为开发者提供了Apple silicon Mac汇编语言编程的入门指南。该项目基于《Programming with 64-Bit ARM Assembly Language》一书,调整示例代码以适配Apple ARM64架构。内容涵盖基础知识、系统调用、内存管理、与C/Python交互等方面,并详细解释了Apple平台的特殊性。对于希望深入了解Apple silicon底层编程的开发者而言,这是一个全面且实用的学习资源。