#AI训练

glake

GLake优化了GPU内存管理和IO传输，解决了AI大模型训练和推理中的内存和传输瓶颈。通过GPU虚拟和物理内存管理及多GPU、多路径和多任务优化，提高了硬件资源利用率，最高可将训练吞吐量提高4倍，推理内存降低3倍，IO传输加速3至12倍。GLake易于集成，无需代码修改，且提供内存优化、多路径IO传输提升、和数据去重等功能，为AI训练与推理提供高效、安全的解决方案。

awesome-huge-models

详尽介绍大型AI语言模型最新进展及开源资源，包括训练代码、数据集和预训练权重。收录Baichuan、Falcon、OpenLLaMA等模型，并关注开源与分布式训练框架如PyTorch和XLA生态。提供全面资源链接，帮助研究人员和开发者了解当前AI模型的最前沿动态。

Contra-PPO-pytorch

本项目利用Proximal Policy Optimization (PPO)算法，通过Python代码训练AI智能体进行Contra NES游戏。PPO算法由OpenAI提出，其早期版本曾用于训练OpenAI Five在电竞中取得胜利。项目提供了详细的训练指南、示例代码，并支持Docker环境，方便进行模型的训练和测试。本项目展示了PPO算法在游戏AI中的实际应用效果。

carbontracker

carbontracker是一款开源工具,用于监测深度学习模型训练过程中的能耗和碳排放。它能实时追踪GPU和CPU能耗,提供当前和预测的碳足迹数据,并转换为直观的等效值。该工具兼容NVIDIA GPU、Intel CPU以及Slurm和Google Colab等环境,帮助AI研究人员评估和降低模型训练对环境的影响。

open-instruct

open-instruct是一个致力于指令微调预训练语言模型的开源项目。它提供了基于最新技术和公开数据集的模型微调代码，以及多项基准测试的评估工具。项目发布了包括Tülu系列在内的多个微调模型检查点。open-instruct支持全参数微调、LoRA和QLoRA等高效方法，并提供完整的训练和评估脚本。该工具集为研究人员和开发者提供了探索指令调优大语言模型的全面解决方案。

InstructionWild

InstructionWild项目汇集11万余条高质量用户生成指令，类型丰富，标签完善。该数据集致力于增强AI模型在生成、开放问答和头脑风暴等领域的对话表现。项目展示了完整的数据收集流程、评估分析和后续规划，为AI研究与应用领域贡献重要资源。

param

PARAM (PyTorch based Arbitrary Range Micro-benchmarks) Benchmarks是一个评估AI训练和推理平台的综合基准测试库。它包括通信和计算微基准测试以及完整工作负载，弥补了独立C++基准测试和应用级基准测试之间的空白。PARAM能够深入分析系统架构和框架级开销，涵盖通信、计算和端到端工作负载评估。该开源项目采用MIT许可证，欢迎社区贡献。

advprompter

AdvPrompter是一种针对大语言模型的自适应对抗提示技术。该项目提供完整实现代码，支持Vicuna、Mistral和Llama2等主流模型。AdvPrompter具有易于安装、使用灵活的特点，适用于模型评估和训练。研究人员可利用此工具优化大语言模型性能，提升输出质量。项目还提供了详细的使用说明和配置选项，方便用户进行自定义设置。

Deep_reinforcement_learning_Course

免费深度强化学习课程，结合理论与实践，掌握Stable Baselines3、RL Baselines3 Zoo、Sample Factory和CleanRL等库的使用。训练智能体在SnowballFight、Huggy the Doggo、MineRL（Minecraft）、VizDoom（Doom）及经典环境（如Space Invaders、PyBullet）中运行。发布和下载社区智能体，并参与挑战与其他团队及AI对抗。