访问官网
Github
文档
论文Geo SAM
由香港中文大学地球系统与地球科学学院冰冻圈实验室的赵卓一和范成彦开发。
简介
Geo-SAM 是一个 QGIS 插件，旨在帮助用户在处理大型地理空间栅格图像时高效地进行地貌分割、描绘或标记。Segment Anything Model（SAM）是一个具有超强能力的基础人工智能模型，但模型体积庞大，即使使用现代 GPU 处理图像也需要很长时间。我们的工具采用了预先编码图像特征和精简 SAM 模型的策略。交互式分割算法可以在笔记本电脑 CPU 上实现实时推理（以"毫秒"级速度），使其成为处理遥感图像的便捷高效工具。
Geo-SAM 插件包括两个独立部分：图像编码部分和交互式分割部分。图像编码部分旨在使用 SAM 图像编码器生成和保存图像特征，每张图像只需运行一次编码过程。分割部分用于交互式分割地貌，但只能用于分割预处理过的图像（其特征已使用编码工具预先生成，如演示图像所示）。
 |
|---|
| Geo-SAM 与原始 SAM 工作流程的比较。原始 SAM 包同时编码提示和图像，而 Geo-SAM 模型一次性将图像编码为特征文件，并通过加载这些保存的特征实时（以"毫秒"级速度）查询提示。 |
安装和使用
更多详细信息请阅读文档：https://geo-sam.readthedocs.io/en/latest/。
演示
- 交互式分割演示（提供提示后毫秒级响应时间）
- 交互式分割的"预览模式"演示（跟随鼠标光标执行 SAM）
- 图像编码器演示（QGIS 插件部分）
- 编码器助手演示
亮点
- 基于 QGIS 提供用户友好的图形界面，跨平台兼容，无需编程技能。
- 在给出提示后
即时提供分割结果，甚至可以实时跟随鼠标光标显示结果（预览模式，目前仅在开发版本中可用，经过严格测试后将添加到稳定版本）。用户可以获得流畅的交互体验。这可以大大提高分割的效率和用户体验。
注意事项
- SAM 设计为一次使用一系列提示分割一个对象，因此在使用 Geo-SAM 工具时，应在处理下一个对象之前保存当前结果。
- SAM 原生仅支持三波段图像，但我们已将 Geo-SAM 调整为支持一个或两个波段的图像，因此您可以尝试灰度图像、光谱指数图像（如 NDVI、NDWI）甚至 SAR 图像。
- Geo-SAM 插件目前正在积极开发中。我们将继续改进，并欢迎您的反馈。如果您有任何问题或建议，请随时在我们的 GitHub 仓库上提出问题或讨论，地址为 GitHub Issues 或 GitHub Discussions。
引用
Zhao, Zhuoyi, Fan, Chengyan, & Liu, Lin. (2023). Geo SAM: A QGIS plugin using Segment Anything Model (SAM) to accelerate geospatial image segmentation (1.1.0). Zenodo. https://doi.org/10.5281/zenodo.8191039
@software{zhao_zhuoyi_2023_8191039,
author = {Zhao, Zhuoyi and Fan, Chengyan and Liu, Lin},
title = {{Geo SAM: A QGIS plugin using Segment Anything Model (SAM) to accelerate geospatial image segmentation}},
month = jul,
year = 2023,
publisher = {Zenodo},
version = {1.1.0},
doi = {10.5281/zenodo.8191039},
url = {https://doi.org/10.5281/zenodo.8191039}
}
致谢
本仓库受益于 Segment Anything 和 TorchGeo。感谢他们的出色工作。
