fer - 面部表情识别与情绪检测的开源解决方案

项目介绍

FER 是一个专门用于面部表情识别的软件项目。该项目旨在通过分析人脸面部特征来识别和分类各种情感表情，例如愤怒、厌恶、恐惧、快乐、悲伤、惊讶和中立等情绪。其功能在多个场景下都颇具应用价值，从娱乐到安全监控都有广泛的使用空间。

安装指南

FER 兼容 Python 3.6 及更高版本。用户可以使用 pip 工具轻松安装：

$ pip install fer

由于该实现依赖于 OpenCV (最低版本 3.2) 和 Tensorflow (最低版本 1.7.0)，因此需要先确保系统已经安装这些库。同时，它们需要具有 Python3 的绑定。用户可以通过以下命令安装：

$ pip install tensorflow>=1.7 opencv-contrib-python==3.3.0.9

如果系统支持 GPU，可以选择安装 tensorflow-gpu 版本以提升程序的执行速度：

$ pip install tensorflow-gpu>=1.7.0

如需处理包含音频的视频，还需安装 ffmpeg 和 moviepy 包：

$ pip install ffmpeg moviepy

使用示例

FER 的使用非常简单。以下是一个识别图像中情绪的基本用例：

from fer import FER
import cv2

img = cv2.imread("justin.jpg")
detector = FER()
detector.detect_emotions(img)

该程序将返回一个包含面部坐标位置和对应情绪分数的字典。例如：

[{'box': [277, 90, 48, 63], 'emotions': {'angry': 0.02, 'disgust': 0.0, 'fear': 0.05, 'happy': 0.16, 'neutral': 0.09, 'sad': 0.27, 'surprise': 0.41}]

如果只需要识别出最显著的情绪，也可以使用以下方法：

emotion, score = detector.top_emotion(img) # 'happy', 0.99

MTCNN 面部识别

默认情况下，FER 使用 OpenCV 的 Haar Cascade 分类器进行人脸检测。用户可以选择通过设置参数使用更精确的 MTCNN 网络：

detector = FER(mtcnn=True)

视频识别

FER 还支持视频中的面部表情识别。通过将视频拆分为帧，FER 可以使用本地的 Keras 模型或 Peltarion API 进行处理：

from fer import Video
from fer import FER

video_filename = "tests/woman2.mp4"
video = Video(video_filename)

detector = FER(mtcnn=True)
raw_data = video.analyze(detector, display=True)
df = video.to_pandas(raw_data)

TF-SERVING 集成

FER 可以与在线 TF Serving docker 镜像配合使用。只需运行 docker-compose up，并在 FER 初始化时添加 tfserving=True 参数即可。

模型信息

FER 项目包含一个 Keras 模型，该模型是一个卷积神经网络，以 HDF5 格式将权重保存在模块路径中的 data 文件夹中。用户可以在实例化 FER 时通过 emotion_model 参数覆盖默认模型。

许可证

该项目使用 MIT 许可证。

致谢

FER 的代码部分借鉴了 Iván de Paz Centeno 的 MTCNN 实现以及 Octavio Arriaga 的面部表情识别代码。

参考文献

该项目使用的 FER 2013 数据集由 Pierre Luc Carrier 和 Aaron Courville 策划，这是关于机器学习竞赛的报告中的一部分，报告信息详见 Ian J. Goodfellow 等人的著作。