Ferret是一个端到端多模态大语言模型，支持任意形式的指代并能在响应中定位内容。通过混合区域表示和空间感知视觉采样器，实现了细粒度和开放词汇的指代与定位。项目提供GRIT数据集和Ferret-Bench评估基准，为多模态模型研究提供重要资源。