#JAX

Lineax是基于JAX开发的线性求解和最小二乘优化库，提供多种算法解决Ax = b问题。该库支持PyTree值矩阵和向量、通用线性算子及结构化矩阵，具备高效的求解器和稳定的梯度计算。Lineax优化了编译和运行性能，支持实值和复值输入，并集成JAX的自动微分、并行计算和硬件加速等功能。

Dinosaur是一个基于JAX的全球大气建模谱系动力核心。它可以求解浅水方程和原始方程，支持自动微分，并针对GPU/TPU等硬件优化。项目提供了标准测试案例，如正压不稳定性和Held-Suarez强迫。Dinosaur为大气科学研究提供了高效的并行计算工具，有助于推进大气动力学研究。

项目包含多种视觉Transformer(ViT)和MLP-Mixer模型实现,提供ImageNet和ImageNet-21k预训练模型及JAX/Flax微调代码。通过交互式Colab笔记本可探索5万多个模型检查点。这些高性能图像分类模型代表了计算机视觉的前沿进展。

RLax是基于JAX的强化学习工具库，提供实现智能体所需的核心模块。支持价值估计、分布式价值函数、通用价值函数和策略梯度等功能，适用于在线和离线学习。借助JAX实现即时编译，RLax能在多种硬件上高效运行，为开发者提供灵活的工具构建强化学习算法。

Flax是一个基于JAX的高性能神经网络库，以灵活性为核心设计理念。它提供神经网络API、实用工具、教育示例和优化的大规模端到端示例。Flax支持MLP、CNN和自编码器等多种网络结构，并与Hugging Face集成，涵盖自然语言处理、计算机视觉和语音识别等领域。作为Google Research与开源社区合作开发的项目，Flax致力于促进JAX神经网络研究生态系统的发展。

Optax是JAX生态系统中的梯度处理和优化框架。它提供了经过严格测试的高效核心组件，支持研究人员灵活组合低级模块以构建自定义优化器。该库强调模块化设计，重视代码可读性和结构化，便于匹配标准优化方程。Optax实现了多种主流优化算法和损失函数，为机器学习研究和快速原型开发提供了有力支持。

Dynamax是一个利用JAX开发的概率状态空间模型库，包含隐马尔可夫模型和线性高斯状态空间模型等。该库提供低级推理算法和面向对象接口，与JAX生态系统兼容。Dynamax支持状态估计、参数估计、在线滤波、离线平滑和未来预测等功能。库中包含丰富示例和文档，便于使用和学习。

seqax是基于JAX的序列建模框架，面向小型到中型LLM预训练研究。它以500行简洁代码实现模型、优化器、多主机FSDP和张量并行分区，具备良好扩展性和性能。seqax注重代码可读性和透明度，使数学计算、内存使用和芯片间通信等关键细节清晰可见，便于理解和修改。

skrl是基于PyTorch和JAX的开源模块化强化学习库。支持OpenAI Gym、Farama Gymnasium等多种环境接口,并兼容NVIDIA Isaac系列环境。该库注重模块化设计、代码可读性和实现透明度,允许同时训练多个智能体,可在单次运行中共享或独立资源。skrl为强化学习研究和开发提供了灵活高效的工具。

QDax是一个开源框架,用于加速质量多样性(QD)和神经进化算法。通过利用硬件加速器和大规模并行化,QDax将原本需要数天甚至数周才能在大型CPU集群上完成的QD算法运行时间缩短至几分钟。作为灵活易扩展的研究工具,QDax适用于各类问题设置,支持MAP-Elites、QDPG等多种核心QD算法,并提供多个基准任务实现。该项目由Adaptive & Intelligent Robotics Lab和InstaDeep联合开发维护。

Pgx是一个基于JAX的游戏模拟器库,专注于离散状态空间的强化学习研究。该库支持多种经典和现代棋牌游戏,包括国际象棋、围棋、将棋等。Pgx利用GPU/TPU实现高效并行计算,提供丰富的游戏环境和SVG可视化功能。其兼容PettingZoo API,方便研究人员进行实验。Pgx的设计旨在为强化学习研究提供高性能、多样化的仿真环境。

这是一个利用JAX框架实现Llama 2模型的开源项目。该项目致力于提高模型训练和推理效率,构建高质量Transformer代码库,为自然语言处理领域提供有价值见解。项目功能包括参数转换、数据加载、模型架构实现等,并在持续开发训练和生成功能。这为研究人员和开发者提供了便捷的Llama 2模型研究与应用工具。