#transformer模型
Curated Transformers: 可组合的最先进Transformer模型库
2 个月前
相关项目
curated-transformers
Curated Transformers是一个为PyTorch设计的转换器库,提供最新的模型和可复用组件。支持最新的转换器模型,如Falcon、Llama和Dolly v2,具备类型注释和极少的依赖性,适合教育和生产环境。支持集成至spaCy 3.7,快速安装及支持高效的CUDA优化。
nanodl
这是一个基于Jax的库,旨在简化变压器模型的开发和训练,特别适合资源有限的环境。支持多种模型如Gemma、GPT3、T5和Whisper,涵盖自然语言处理和计算机视觉任务。提供灵活的模块和层,包括Jax/Flax中未提供的RoPE、GQA、MQA和Swin注意力机制,支持多GPU/TPU的数据并行训练,简化数据处理。该库还包含加速的经典机器学习模型,帮助用户以最小的代码重写快速实现模型开发和训练。
Machine Learning at Scale
Machine Learning at Scale专注提升工程师机器学习能力。创始人Ludo是谷歌机器学习工程师,拥有丰富的大规模系统经验。网站提供高质量实践见解,涵盖海量数据处理、transformer模型和广告系统优化等领域。每周更新内容,助力工程师掌握前沿技术,增强职业竞争力。