#Multimodal
open_flamingo - 开源多任务视觉语言模型,支持图像文本生成和多模态训练
OpenFlamingoVision-Language ModelPyTorchDeepMindMultimodalGithub开源项目
该项目提供了DeepMind Flamingo的PyTorch开源实现,用于训练和评估多任务视觉语言模型。OpenFlamingo处理多模态数据集,通过跨模态注意力层结合预训练视觉编码器和语言模型,实现图像和文本条件下的文本生成。用户可通过详细的安装和使用指南快速上手,并访问多个预训练模型和权重。项目欢迎社区贡献和反馈,支持多种语言和视觉编码器,适用于多种应用场景。
Awesome-Parameter-Efficient-Transfer-Learning - 精选计算机视觉和多模态领域的高效参数迁移学习论文
Parameter-Efficient Transfer LearningPromptAdapterComputer VisionMultimodalGithub开源项目
本项目收录了关于计算机视觉和多模态领域的高效参数迁移学习的优秀论文。参数高效迁移学习通过修改尽可能少的参数,使得大规模预训练模型能够更好地适应各种下游任务,降低全微调带来的过拟合风险和高成本。内容包括Prompt、Adapter和Unified等方法的研究论文,是学术研究与应用开发的理想参考资源。