ai_and_memory_wall

行业领先模型的参数及内存使用情况的分析

此库提供了AI and Memory Wall论文中的数据，包括SOTA模型在计算机视觉、自然语言处理和语音学习领域的参数、特征大小和推理与训练所需的总FLOPs。详细统计涵盖BERT和GPT系列等模型，分析其内存使用和训练计算量。数据表格展示了各模型的输入分辨率、参数内存和总内存，为研究人员和开发者提供可靠的参考。

CV模型NLP模型SOTA模型内存占用训练FLOPsGithub开源项目

GitHub

论文

AI与“记忆墙”项目介绍

项目背景

本项目是围绕“AI与记忆墙”（AI and Memory Wall）论文的数据集合，主要涉及计算机视觉（CV）、自然语言处理（NLP）和语音学习领域的最先进（SOTA）模型的内存占用和计算量（FLOPs）。项目通过对这些模型的参数数量、特征尺寸以及在推理和训练阶段的总FLOPs进行详细报告，帮助研究者深入了解当前模型的计算和内存需求。

自然语言处理（NLP）模型

在NLP领域，项目主要关注不同变种的Transformer模型。这些模型从BERT模型入手，分别计算了它们在训练和推理阶段的FLOPs，参数数量以及内存占用。这些信息让我们能清楚了解这些顶尖NLP模型在性能和资源消耗上的异同。

参数信息展示

项目为每个模型提供了详细的参数信息，包括序列标记尺寸（Token Size）、参数数量（#Params）、特征数量（#Features）、推理阶段的GFLOPs以及训练阶段的PFLOPs。例如，GPT-3模型在推理阶段需要740,000 GFLOPs，而在训练阶段则需要消耗310,000,000 PFLOPs。

计算机视觉（CV）模型

在CV领域，项目列出了多个重要的视觉模型，逐个分析它们的输入图像分辨率、参数数量、推理和训练阶段的GFLOPs和PFLOPs，从而对比这些模型的复杂程度和计算资源需求。

参数信息展示

例如，AlexNet需要1.4 GFLOPs用于推理，而ResNet152则需要23 GFLOPs。同时，训练阶段的资源消耗差异更大，InceptionV3在训练时需要100,000 PFLOPs，而DenseNet201仅需2,800 PFLOPs。

内存需求分析

除计算资源外，项目还提供了历年来不同SOTA模型所需的内存详细报告，包括存储参数所需的内存、优化算法相关的内存以及激活/特征内存等。通过这些信息，研究者可以更好地理解和优化内存使用问题。

示例分析

在2018年，BERT Large模型的总内存需求为18.34 GB，其中参数内存为1.32 GB，优化器内存为2.64 GB，激活内存则达到了14.38 GB。这反映出深度学习模型在提升性能的同时，也在内存消耗上带来了巨大挑战。

致谢

如果您认为此项目对您的研究工作有帮助，请引用以下论文：

Gholami A, Yao Z, Kim S, Mahoney MW, Keutzer K. AI and Memory Wall. RiseLab Medium Blog Post, University of California Berkeley, 2021, March 29.

此项目通过量化分析和数据支持，为研究者提供了对复杂AI模型内存和计算需求的准确认识，进而帮助设计更高效的AI解决方案。

编辑推荐精选

Manus

全面超越基准的 AI Agent助手

Manus 是一款通用人工智能代理平台，能够将您的创意和想法迅速转化为实际成果。无论是定制旅行规划、深入的数据分析，还是教育支持与商业决策，Manus 都能高效整合信息，提供精准解决方案。它以直观的交互体验和领先的技术，为用户开启了一个智慧驱动、轻松高效的新时代，让每个灵感都能得到完美落地。

飞书知识问答

飞书官方推出的AI知识库上传word pdf即可部署AI私有知识库

基于DeepSeek R1大模型构建的知识管理系统，支持PDF、Word、PPT等常见文档格式解析，实现云端与本地数据的双向同步。系统具备实时网络检索能力，可自动关联外部信息源，通过语义理解技术处理结构化与非结构化数据。免费版本提供基础知识库搭建功能，适用于企业文档管理和个人学习资料整理场景。

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

TraeAI IDE协作生产力转型热门AI工具

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统，允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令，自动执行排序、公式计算和数据透视等操作，支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内，支持超过100万行数据的即时分析。

使用教程AI工具酷表ChatExcelAI智能客服AI营销产品

DeepEP

DeepSeek开源的专家并行通信优化框架

DeepEP是一个专为大规模分布式计算设计的通信库，重点解决专家并行模式中的通信瓶颈问题。其核心架构采用分层拓扑感知技术，能够自动识别节点间物理连接关系，优化数据传输路径。通过实现动态路由选择与负载均衡机制，系统在千卡级计算集群中维持稳定的低延迟特性，同时兼容主流深度学习框架的通信接口。

DeepSeek

全球领先开源大模型，高效智能助手

DeepSeek是一家幻方量化创办的专注于通用人工智能的中国科技公司，主攻大模型研发与应用。DeepSeek-R1是开源的推理模型，擅长处理复杂任务且可免费商用。

KnowS

AI医学搜索引擎整合4000万+实时更新的全球医学文献

医学领域专用搜索引擎整合4000万+实时更新的全球医学文献，通过自主研发AI模型实现精准知识检索。系统每日更新指南、中英文文献及会议资料，搜索准确率较传统工具提升80%，同时将大模型幻觉率控制在8%以下。支持临床建议生成、文献深度解析、学术报告制作等全流程科研辅助，典型用户反馈显示每周可节省医疗工作者70%时间。

Windsurf Wave 3

Windsurf Editor推出第三次重大更新Wave 3

新增模型上下文协议支持与智能编辑功能。本次更新包含五项核心改进：支持接入MCP协议扩展工具生态，Tab键智能跳转提升编码效率，Turbo模式实现自动化终端操作，图片拖拽功能优化多模态交互，以及面向付费用户的个性化图标定制。系统同步集成DeepSeek、Gemini等新模型，并通过信用点数机制实现差异化的资源调配。

AI IDE