访问官网
Github
Huggingface
论文遥感多模态大语言模型精选资源
🔥🔥🔥 遥感多模态大语言模型综述 [项目主页]本页面 |
西北工业大学人工智能、光学与电子学院（iOPEN）
:sparkles: 首个遥感多模态大语言模型（RS-MLLMs）综述。
✨✨✨ 精心策划的RS-MLLMs资源宝库！！！
🎉🚀💡 本网站将实时更新，追踪RS-MLLMs的最新发展状况！！！
📑📚🔍 汇集了模型架构、训练流程、数据集、综合评估基准、遥感智能代理、指令微调技术等丰富资源。
🌟🔥📢 聚焦视觉-语言领域的遥感多模态大语言模型论文集锦。
:apple: 遥感多模态大语言模型
:apple: 遥感智能代理
如果本项目对您有帮助，请给予一个STAR ⭐
📢 最新更新
在本仓库中，我们将收集并记录与遥感多模态大语言模型（视觉-语言）相关的研究人员及其杰出工作。
- 列表将持续更新 🔥🔥
- 📦 敬请期待！ 🚀
- 2024年5月22日：首篇RS-MLLMs综述论文已提交审稿。 🔥🔥
精选论文
遥感大型多模态语言模型
| 标题 | 发表场所 | 日期 | 代码 | 备注 |
|---|---|---|---|---|
 SkySenseGPT: 用于遥感视觉语言理解的细粒度指令调整数据集和模型 J. Luo等 | arXiv | 2024-06-14 | Github | - |
 RS-LLaVA: 用于遥感图像联合描述和问答的大型视觉语言模型 Y. Bazi, L. Bashmal, M. M. Al Rahhal, R. Ricci, 和 F. Melgani. | Remote Sensing | 2024-04-23 | Github | - |
 H2RSVLM: 面向有帮助和诚实的遥感大型视觉语言模型 C. Pang, W. Jiang, L. Jiayu, L. Yi, S. Jiaxing, L. Weijia, W. Xingxing, W. Shuai, F. Litong, X. Guisong, H.Conghui. | arXiv | 2024-03-29 | Github | - |
| Popeye: 用于多源遥感图像船舶检测的统一视觉语言模型 W. Zhang, M. Cai, T. Zhang, G. Lei, Y. Zhuang, 和 X. Mao. | arXiv | 2024-03-06 | - | - |
| 用于遥感图像描述和检索的大型语言模型 J. D. Silva, J. Magalhaes, 和 D. Tuia. | arXiv | 2024-02-09 | - | - |
 LHRS-Bot: 利用VGI增强的大型多模态语言模型赋能遥感 D. Muhtar, Z. Li, F. Gu, X. Zhang, 和 P. Xiao. | arXiv | 2024-02-04 | Github | - |
 EarthGPT: 遥感领域多传感器图像理解的通用多模态大型语言模型 W. Zhang, M. Cai, T. Zhang, Y. Zhuang, 和 X. Mao. | arXiv | 2024-01-30 | Github | - |
 SkyEyeGPT: 通过大型语言模型的指令调优统一遥感视觉语言任务 Y. Zhan, Z. Xiong, 和 Y. Yuan. | arXiv | 2024-01-18 | Github | 数据集 |
 GeoChat: 遥感领域的接地大型视觉语言模型 K. Kuckreja, M. S. Danish, M. Naseer, A. Das, S. Khan, 和 F. S. Khan. | arXiv | 2023-11-24 | Github | 被CVPR-24接收 |
 RSGPT: 遥感视觉语言模型和基准 Y. Hu, J. Yuan, 和 C. Wen. | arXiv | 2023-07-28 | Github | - |
遥感智能代理
| 标题 | 发表地点 | 日期 | 代码 | 备注 |
|---|---|---|---|---|
| RS-Agent: 通过智能代理实现遥感任务自动化 W. Xu, Z. Yu, Y. Wang, J. Wang, 和 M. Peng. | arXiv | 2024-06-11 | - | - |
| GeoLLM-Engine: 构建地理空间副驾驶的现实环境 S. Singh, M. Fore, D. Stamoulis, 和 D. Group. | arXiv | 2024-04-23 | - | - |
| 评估遥感平台中的工具增强型代理 S. Singh, M. Fore, 和 D. Stamoulis. | arXiv | 2024-04-23 | - | - |
 Change-Agent: 面向交互式全面遥感变化解释和分析 C. Liu, K. Chen, H. Zhang, Z. Qi, Z. Zou, 和 Z. Shi. | arXiv | 2024-04-01 | Github | - |
 遥感ChatGPT: 用ChatGPT和视觉模型解决遥感任务 H. Guo, X. Su, C. Wu, B. Du, L. Zhang, 和 D. Li. | arXiv | 2024-01-17 | Github | - |
| Tree-GPT: 用于森林遥感图像理解和交互式分析的模块化大型语言模型专家系统 S. Du, S. Tang, W. Wang, X. Li, 和 R. Guo. | arXiv | 2023-10-07 | - | - |
遥感视觉语言预训练模型
| 标题 | 发表地点 | 日期 | 代码 | 备注 |
|---|---|---|---|---|
 RS5M和GeoRSCLIP: 一个大规模遥感视觉语言数据集和一个大型遥感视觉语言模型 Z. Zhang, T. Zhao, Y. Guo, 和 J. Yin. | arXiv | 2024-01-02 | Github | - |
 RemoteCLIP: 遥感视觉语言基础模型 F. Liu, D. Chen, Z. Guan, X. Zhou, J. Zhu, 和 J. Zhou. | T-GRS | 2024-04-18 | Github | arXiv |
| 无需注释的遥感视觉语言基础模型：通过地面遥感对齐 U. Mall, C. P. Phoo, M. K. Liu, C. Vondrick, B. Hariharan, 和 K. Bala. | ICLR | 2024-01-16 | 项目 | arXiv |
 RS-CLIP: 通过对比视觉语言监督实现零样本遥感场景分类 X. Li, C. Wen, Y. Hu, 和 N. Zhou. | JAG | 2023-09-18 | Github | - |
 遥感图像-文本检索的参数高效迁移学习 Y. Yuan, Y. Zhan, 和 Z. Xiong. | T-GRS | 2023-08-28 | Github | arXiv |
遥感视觉语言任务调查论文
| 标题 | 会议/期刊 | 日期 | 代码 | 备注 |
|---|---|---|---|---|
 迈向视觉语言地理基础模型：一项综述 Y. Zhou, L. Feng, Y. Ke, X. Jiang, J. Yan, 和 W. Zhang. | arXiv | 2024-06-13 | Github | arXiv |
| 遥感中的视觉语言模型：当前进展和未来趋势 X. Li, C. Wen, Y. Hu, Z. Yuan, 和 X. X. Zhu. | MGRS | 2024-04-22 | - | - |
| 遥感中的语言集成：任务、数据集和未来方向 L. Bashmal, Y. Bazi, F. Melgani, M. M. Al Rahhal, 和 M. A. Al Zuair. | MGRS | 2023-10-11 | - | - |
| 脑启发遥感基础模型和开放问题：一项全面调查 L. Jiao 等人. | JSTARS | 2023-09-18 | - | - |
其他
| 标题 | 会议/期刊 | 日期 | 代码 | 备注 |
|---|---|---|---|---|
| 地球和气候基础模型的基础 X. X. Zhu 等人. | arXiv | 2024-05-07 | Github | - |
| 多模态基础模型在地理、环境、农业和城市规划应用中的前景与挑战 C. Tan 等人. | arXiv | 2023-12-23 | - | - |
 开拓新领域：探索多模态大语言模型的地理和地理空间能力 J. Roberts, T. Lüddecke, R. Sheikh, K. Han, 和 S. Albanie. | arXiv | 2023-11-24 | Github | - |
| Visual ChatGPT在遥感中的潜力 L. P. Osco, E. L. de Lemos, W. N. Gonçalves, A. P. M. Ramos, 和 J. Marcato Junior. | Remote Sensing | 2023-06-22 | - | - |
优秀数据集
对齐预训练数据集
| 标题 | 会议/期刊 | 日期 | 代码 | 备注 |
|---|---|---|---|---|
 Z. Yuan, Z. Xiong, L. Mou, 和 X. X. Zhu. | arXiv | 2024-02-17 | Github | 链接 |
| RS5M和GeoRSCLIP：一个大规模遥感视觉语言数据集和一个大型视觉语言模型 Z. Zhang, T. Zhao, Y. Guo, 和 J. Yin. | arXiv | 2024-01-02 | Github | - |
 SkyScript：一个大型且语义多样的遥感视觉语言数据集 Z. Wang, R. Prabha, T. Huang, J. Wu, 和 R. Rajagopal. | AAAI | 2024-03-24 | Github | arXiv |
遥感视觉语言任务最新评估基准
遥感图像描述和航空视频描述
遥感视觉问答和遥感视觉定位
遥感图像-文本检索
遥感场景分类
🤖 联系方式
如果您对本项目有任何疑问，请随时联系zhanyangnwpu@gmail.com。
