#DeepMind
使用Python构建生成式AI应用:Google Gemini API的Python库介绍与实践
sonnet
Sonnet是由DeepMind开发的TensorFlow 2扩展库,提供简单且可组合的抽象模型,核心概念为snt.Module,支持自定义和预定义模块。Sonnet不限制训练框架,适合监督、非监督和强化学习,并支持分布式训练和高级的TensorFlow功能。
lectures
探索学习和实践递归神经网络在自然语言处理中的应用,包括语言模型、文本翻译、语音转录及问答系统等。
gym-sokoban
该项目实现了经典视频游戏推箱子,旨在为深度强化学习算法提供训练环境。游戏中的房间生成是随机的,有助于避免神经网络过拟合预定义场景。玩家需要将所有箱子推到目标位置,不可逆的错误增加了游戏的挑战性。项目支持多种渲染模式和尺寸配置,适用于不同研究和训练需求。可通过PIP或从仓库安装,并提供多种游戏变体,如固定目标、多玩家和箱子拉动功能。
open_flamingo
该项目提供了DeepMind Flamingo的PyTorch开源实现,用于训练和评估多任务视觉语言模型。OpenFlamingo处理多模态数据集,通过跨模态注意力层结合预训练视觉编码器和语言模型,实现图像和文本条件下的文本生成。用户可通过详细的安装和使用指南快速上手,并访问多个预训练模型和权重。项目欢迎社区贡献和反馈,支持多种语言和视觉编码器,适用于多种应用场景。
generative-ai-python
Google AI Python SDK为Python开发者提供了构建基于Google DeepMind Gemini模型的多模态应用的便捷途径。通过该SDK,可以轻松操作文本、图像和代码。使用者需在Google AI Studio创建API密钥,并参考Python SDK教程和快速入门指南。详细使用示例与全面文档详见Gemini API Cookbook和ai.google.dev,全面支持各版本Python。
openfold
OpenFold是DeepMind AlphaFold 2的可训练PyTorch复现版本,提供高效的蛋白质结构预测解决方案。详细的安装、模型推理和训练指南可在文档主页找到。项目采用Apache Licence 2.0许可,使用的DeepMind预训练参数遵循CC BY 4.0许可。欢迎社区通过提交问题或拉请求进行贡献。引用OpenFold时应同时参考相关的AlphaFold研究成果。
dm-haiku
Haiku是一个为JAX设计的简洁神经网络库,具备面向对象编程模型和纯函数转换功能。由Sonnet的开发者创建,Haiku能简化模型参数和状态管理,并与其他JAX库无缝集成。虽然Google DeepMind建议新项目使用Flax,Haiku仍将在维护模式下持续支持,专注于修复bug和兼容性更新。
barkour_robot
Barkour是Google DeepMind开发的灵活四足机器人系列。该开源项目提供完整设计资源,包括CAD模型、电路设计、组装指南、固件和底层代码。项目还包含仿真环境和机械设计文件,有助于研究人员复制或改进这一先进平台。Barkour机器人具备多样化运动能力,适用于广泛的研究领域。提供固定头部和带可动头部(抓取器)两个版本,包括MuJoCo仿真模型、电子设计文件和定制电机驱动器。详细组装指南和支持EtherCAT通信的嵌入式软件也已开源。Barkour展示了跳跃、平衡和物体操作等高级运动能力。
smac
SMAC是基于星际争霸II的多智能体强化学习研究环境,专注于分散式微观管理场景。环境中每个游戏单位由独立的强化学习智能体控制。SMAC提供多种预配置战斗场景地图,并与PyMARL框架集成,支持QMIX等先进算法。研究人员可利用SMAC开发和评估新的多智能体强化学习算法,促进该领域的进步。