Github
Huggingface
文档
论文MobileViT-Small：轻量级、通用的移动友好视觉Transformer
MobileViT-Small是一个创新的图像分类模型，它巧妙地结合了传统卷积神经网络和Transformer的优势。这个模型由苹果公司的研究人员Sachin Mehta和Mohammad Rastegari开发，旨在为移动设备提供高效、准确的图像处理能力。
模型特点
MobileViT-Small具有以下几个显著特点：
- 轻量级设计：模型仅有5.6M参数，适合在资源受限的设备上运行。
- 高性能：在ImageNet-1k数据集上达到了78.4%的Top-1准确率和94.1%的Top-5准确率。
- 创新架构：结合了MobileNetV2风格的层和新型Transformer块，实现了局部和全局特征的有效提取。
- 灵活性：可以在CNN的任何位置插入MobileViT块，无需位置编码。
工作原理
MobileViT-Small的核心创新在于其独特的处理方式：
- 将图像数据转换为扁平化的图像块。
- 使用Transformer层对这些图像块进行全局处理。
- 将处理后的图像块"解扁平化"回特征图。
这种方法允许模型在保持轻量级的同时，有效地捕捉图像的全局上下文信息。
应用场景
MobileViT-Small主要用于图像分类任务，但其轻量级和高效的特性使其适用于多种移动端应用场景，例如：
- 移动设备上的实时图像识别
- 智能相机中的场景分类
- 增强现实（AR）应用中的对象识别
- 智能家居设备中的视觉感知
使用方法
研究人员和开发者可以通过Hugging Face的Transformers库轻松使用MobileViT-Small模型。以下是一个简单的Python代码示例，展示了如何使用该模型进行图像分类：
from transformers import MobileViTFeatureExtractor, MobileViTForImageClassification
from PIL import Image
import requests
# 加载图像
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
# 初始化特征提取器和模型
feature_extractor = MobileViTFeatureExtractor.from_pretrained("apple/mobilevit-small")
model = MobileViTForImageClassification.from_pretrained("apple/mobilevit-small")
# 处理图像并进行预测
inputs = feature_extractor(images=image, return_tensors="pt")
outputs = model(**inputs)
predicted_class_idx = outputs.logits.argmax(-1).item()
# 输出预测结果
print("预测类别:", model.config.id2label[predicted_class_idx])
训练细节
MobileViT-Small在ImageNet-1k数据集上进行了预训练，该数据集包含100万张图像和1000个类别。训练过程中使用了多尺度采样技术，图像大小随机从(160, 160)到(320, 320)不等。模型在8个NVIDIA GPU上训练了300轮，使用了1024的有效批量大小和余弦退火学习率调度。
结论
MobileViT-Small代表了计算机视觉领域的一个重要进展，它成功地将Transformer的强大能力引入到移动友好的轻量级模型中。这个模型不仅在性能上表现出色，而且其灵活性和效率使其成为移动设备和边缘计算应用的理想选择。随着移动AI的不断发展，我们可以期待看到更多基于MobileViT架构的创新应用出现。
