#神经网络

awesome-ebm项目汇集了能量函数模型(EBM)和能量函数学习的全面资源。包括早期至最新的相关论文、教程、讲座和开源库。涵盖EBM在图像生成、分类、密度估计、强化学习等领域的应用，为研究和开发人员提供丰富的学习参考。

OMLT是一个将机器学习模型整合到Pyomo优化环境的Python工具包。它支持神经网络和梯度提升树模型，提供全空间、简化空间和混合整数线性规划等优化formulation。OMLT可导入Keras和ONNX模型，并提供详细文档和示例，方便研究人员和工程师在优化问题中应用机器学习技术。

tnlearn是一个开源Python库，通过符号回归算法生成任务专属神经元。该库利用多样化神经元构建神经网络，提升特征表示能力。tnlearn支持向量化符号回归，寻找最优公式并将其参数化为神经元的可学习聚合函数。在多项基准测试中，tnlearn展现出优异性能，为人工神经网络设计开辟新途径。

VanillaNet是一种创新的神经网络架构，专注于简洁性和效率。它摒弃了复杂的快捷连接和注意力机制，仅使用较少的层数就能保持出色的性能。该项目展示了精简架构也能实现有效结果，为计算机视觉领域开辟了新路径，挑战了基础模型的现状。与主流模型相比，VanillaNet在保持相当性能的同时，具有更少的层数和更快的推理速度。

brain.js是一个JavaScript神经网络库，利用GPU加速提高性能，适用于浏览器和Node.js环境。支持前馈神经网络、循环神经网络和自编码器等多种网络类型。该库提供简洁API，便于训练和部署模型。此外，brain.js具备异步训练、数据流处理和交叉验证等功能，适合开发各类智能应用。

TensorFlow Graphics是一个融合深度学习与计算机图形学的开源框架。它提供可微分的图形和几何层，包括相机模型、反射模型、空间变换和网格卷积等，同时支持3D可视化。这些工具可用于开发和优化3D视觉任务的机器学习模型，如物体姿态估计、材质分析和语义分割。该框架致力于帮助研究人员和开发者更高效地解决复杂的3D视觉问题。

AnimeSR是一个专为动画视频设计的超分辨率模型。该项目采用创新技术学习真实世界的动画视频超分辨率，有效提升视频清晰度和质量。AnimeSR提供预训练模型、推理脚本和训练代码，可处理单帧图像和视频。该模型在保持动画风格的同时，能实现更自然的纹理和背景恢复，并减少伪影。项目还发布了AVC数据集用于模型训练和测试。

RCG是一种创新的自监督图像生成框架，在ImageNet 256x256数据集上达到了无条件图像生成的最佳性能。该框架缩小了无条件和有条件图像生成之间的性能差距。项目提供基于PyTorch的GPU实现，包含表示扩散模型(RDM)以及MAGE、DiT、ADM和LDM等多种像素生成器的训练和评估代码。同时提供预训练模型和可视化工具，便于研究人员复现和拓展相关工作。

onnx2c是一款ONNX到C的编译工具，专门针对微控制器环境进行优化。它将ONNX文件转换为单一C文件，生成的代码不使用动态内存分配，仅需标准C数学库支持。该工具设计简单易用，无需学习曲线，方便开发者将训练好的神经网络快速集成到微控制器项目中。onnx2c提供多种优化功能，包括张量联合、Cast节点移除和实验性量化，有效提升代码性能和内存利用率。

OnePose++是一种目标姿态估计方法，无需CAD模型和预定义关键点。该方法通过结构光重建和深度学习，实现单次拍摄即可估计物体姿态。项目提供训练、推理和演示代码，支持OnePose和OnePose_LowTexture数据集，可扩展至LINEMOD数据集。OnePose++在计算机视觉和机器人领域有潜在应用价值。

此项目包含一系列深度学习教程幻灯片，基于PyTorch框架。内容涵盖线性代数、卷积神经网络、循环神经网络和注意力机制等主题，从基础到高级逐步深入。幻灯片采用Jupyter Notebook格式，便于交互式学习和实践。资源适合系统学习深度学习知识的学习者和研究人员。

segmentation_models.pytorch 是一个基于 PyTorch 的图像分割库,提供9种分割模型架构和124种编码器。该库 API 简洁,支持预训练权重,并包含常用评估指标和损失函数。它适用于研究和实际应用中的各种图像分割任务,是图像分割领域的实用工具。

Sockeye是基于PyTorch的开源神经机器翻译工具包,实现了分布式训练和优化推理。虽已进入维护模式,但仍具高性能和灵活性,支持大规模数据训练。项目提供详细文档和教程,适用于学术和工业研究。Sockeye为Amazon Translate等应用提供技术支持,是NMT领域的重要开源项目。Sockeye 3.x版本完全基于PyTorch,支持并行训练和推理优化,突显其技术优势。

ManimML是基于Manim社区库开发的开源项目,旨在为机器学习概念提供动画和可视化。该工具提供了丰富的基础可视化组件,可以轻松创建复杂机器学习概念的视频演示。ManimML支持可视化前馈神经网络、卷积神经网络、最大池化和激活函数等,并能生成前向传播动画。通过提供高级抽象,ManimML让用户能专注于内容解释而非编程细节,是机器学习教育和交流的实用工具。

JAX是一个专为高性能数值计算和大规模机器学习设计的Python库。它利用XLA编译器实现加速器导向的数组计算和程序转换，支持自动微分、GPU和TPU加速。JAX提供jit、vmap和pmap等函数转换工具，让研究人员能够方便地表达复杂算法并获得出色性能，同时保持Python的灵活性。

pytorch-image-models是一个综合性PyTorch图像模型库，提供最新计算机视觉模型、预训练权重和训练脚本。库中包含CNN和Transformer等多种架构，支持迁移学习和特征提取。项目不断更新，近期新增MobileNetV4模型并优化现有模型性能。该库为计算机视觉研究和开发提供了丰富的工具和资源。

pytorch-lr-finder是一个基于PyTorch的学习率范围测试工具，实现了Leslie N. Smith论文中的方法和fastai的改进版本。通过在预训练阶段调整学习率，帮助用户确定最佳学习率。工具支持梯度累积和混合精度训练，适用于多种深度学习任务。简洁的API和可视化功能便于优化神经网络训练过程。

Efficient-Computing项目旨在提高AI模型的计算效率和性能。这个由华为诺亚方舟实验室开发的高效计算方法集合包含多个子项目，涵盖了模型压缩、二值神经网络、知识蒸馏、网络剪枝、模型量化、自监督学习、训练加速、目标检测和低层视觉等领域的技术。该项目为AI研究和开发提供了多样化的工具和资源。

PyTorch Frame是一个为异构表格数据设计的深度学习框架，支持数值、分类、时间、文本和图像等多种列类型。它采用模块化架构，实现了先进的深度表格模型，并可与大型语言模型集成。该框架提供了便捷的mini-batch加载器、基准数据集和自定义数据接口，简化了表格数据的深度学习研究过程，适用于各层次研究人员。框架内置多个预实现的深度表格模型，如Trompt、FTTransformer和TabNet等，并提供与XGBoost等GBDT模型的性能对比基准。PyTorch Frame无缝集成于PyTorch生态系统，便于与其他PyTorch库协同使用，为端到端的深度学习研究提供了便利。

本项目整理了近期Mamba模型在计算机视觉领域的研究论文，涵盖分类、检测、分割、增强等多项CV任务。内容展示了Mamba在视觉应用中的潜力，并持续更新，为研究者提供了解该领域最新进展的便捷渠道。

此项目汇集了多任务学习(MTL)领域的精选资源,包含数据集、代码库和研究论文。涉及计算机视觉、自然语言处理、强化学习等多个领域的MTL基准测试和数据集。另外还收录了MTL架构、优化方法和任务关系学习等相关研究。对于研究人员和工程师深入学习和应用MTL技术而言,这是一个极具参考价值的资源库。

本项目详细演示了Llama 3模型的实现过程，包括模型架构、分词、嵌入和注意力机制等核心技术。通过逐步解析模型文件和实现RMS归一化、旋转位置编码(RoPE)等关键组件，为开发者提供了构建大型语言模型的实践指南。项目结合代码实现和可视化说明，深入浅出地解释了复杂概念，是研究大型语言模型的重要参考资料。

RayDF是一种创新的基于射线的连续3D形状表示方法，在渲染800x800深度图像时比传统方法快1000倍。该项目包含完整的训练和评估流程，涵盖双射线可见性分类器和射线-表面距离网络训练，并在多个数据集上进行了实验。RayDF在3D重建和渲染方面表现出色，为计算机视觉和图形学领域开辟了新的研究方向。

calflops是一款专为神经网络模型设计的计算工具，可分析各类模型的FLOPs、MACs和参数量。支持线性、CNN、RNN、GCN和Transformer等模型，以及基于PyTorch的自定义模型。工具能详细展示每个子模块的计算数据及占比，有助于深入了解模型性能。对大型语言模型的分析尤为出色，并与Hugging Face平台无缝对接。

En-transformer是一个创新的开源项目，结合了E(n)等变图神经网络与Transformer架构。支持原子和键类型嵌入，处理稀疏邻居，传递连续边特征。已应用于抗体CDR环设计，并可用于蛋白质骨架坐标去噪等分子建模任务。项目提供简便的安装和使用方法，适合研究人员和开发者探索。

NDR是一种基于神经网络的动态场景表面重建方法，利用单目RGB-D相机数据恢复高保真几何、运动和外观。该技术无需模板，适用于复杂场景重建。NDR在NeurIPS 2022会议获得Spotlight展示，体现了其在3D视觉领域的创新性。项目提供开源代码和数据集，为相关研究提供参考。

TRIPS是一种新型三线性点分布技术,结合了高斯分布和ADOP的优势,用于实时辐射场渲染。该技术将点栅格化到屏幕空间图像金字塔,并利用轻量级神经网络重建无缝图像,实现高质量渲染和60fps实时帧率。在复杂几何、广阔景观和自动曝光等场景中,TRIPS的表现超越了现有最先进方法。

UltraFastBERT是一个开源项目，旨在通过创新的快速前馈（FFF）层设计实现BERT语言模型的指数级加速。项目提供了完整的训练代码，以及在CPU、PyTorch和CUDA平台上的高效实现。包含训练文件夹、各平台基准测试代码，以及UltraFastBERT-1x11-long模型的配置和权重，可通过HuggingFace轻松加载使用。研究人员可以方便地复现结果，并进一步探索该突破性技术在自然语言处理领域的广泛应用潜力。

该项目基于Bengio等人2003年的论文，实现了多层感知器(MLP)作为n-gram语言模型。项目提供C、NumPy和PyTorch三种实现，展示了从底层操作到高级抽象的不同层次。通过对比，突出了PyTorch在Tensor处理、自动微分和深度学习层构建方面的优势。相比传统n-gram模型，此方法以较少参数实现更低验证损失，但训练成本较高。

MambaOut是一种新型视觉模型架构,通过堆叠门控CNN块构建,无需使用复杂的状态空间模型。在ImageNet图像分类任务中,它的性能超越了现有的视觉Mamba模型,同时具有较低的参数量和计算复杂度。该项目提供了从轻量级MambaOut-Femto到大型MambaOut-Base的多个预训练模型,在准确率和效率间实现平衡。研究人员可利用提供的代码和教程复现结果或应用于自身任务。

该项目提供使用PyTorch从零实现近端策略优化(PPO)算法的教程。代码精简、注释详尽、结构清晰。涵盖PPO算法核心概念、网络实现及完整训练流程。适合想深入理解PPO算法细节的强化学习爱好者。

MixFormerV2是一个统一的全Transformer跟踪模型，无需密集卷积操作和复杂评分预测模块。该模型提出四个关键预测token，有效捕捉目标模板与搜索区域的相关性。项目还引入新型蒸馏模型压缩方法，包括密集到稀疏和深层到浅层两个阶段。MixFormerV2在LaSOT和TNL2k等多个基准测试中表现优异，分别达到70.6%和57.4%的AUC，同时在GPU上保持165fps的推理速度。值得注意的是，MixFormerV2-S是首个在CPU上实现实时运行的基于Transformer的单流跟踪器。

该项目整理了测试时适应(TTA)研究领域的论文，涵盖自监督、信息熵、批量归一化等多个方向。列表包含最新研究成果和代码链接，定期更新维护。为机器学习研究人员和开发者提供TTA技术的系统概览，便于深入学习和应用。

该研究项目探索Transformer模型的算术能力。研究团队开发的Abacus Embeddings技术使Transformer模型能执行加法、乘法、排序和按位OR等运算。项目提供复现所需的代码、数据集和评估方法，并详述模型训练、测试和分析流程。这一研究为提升AI模型数学运算能力提供新思路。

Automatic Circuit DisCovery (ACDC)项目提供了一套自动化工具，用于探索神经网络内部机制，提高模型可解释性。项目包含NeurIPS 2023聚焦论文的配套代码，实现了ACDC算法、计算图编辑功能和可编辑计算图的底层实现。基于TransformerLens库开发，支持Python 3.8+环境，并提供完整的安装和使用文档。该工具为研究人员提供了深入分析神经网络内部结构的新方法。

该项目提供了PyTorch框架下的CycleGAN和pix2pix图像翻译实现，支持配对和无配对的图像翻译。最新版本引入img2img-turbo和StableDiffusion-Turbo模型，提高了训练和推理效率。项目页面包含详细的安装指南、训练和测试步骤，以及常见问题解答。适用于Linux和macOS系统，兼容最新的PyTorch版本，并提供Docker和Colab支持，便于快速上手。