#脑活动

MindEye项目将fMRI数据转化为图像重建和检索结果。该项目结合对比学习和扩散先验模型,实现大脑活动到视觉信息的映射。MindEye能重建观看的图像,并从LAION数据库中检索相似图像。项目提供代码、预训练模型和使用说明,支持认知神经科学和人工智能的交叉研究。

MinD-Video是一种从大脑记录重建高质量视频的新型框架。该技术利用掩蔽大脑建模、多模态对比学习和增强稳定扩散模型，从fMRI数据中学习时空信息。MinD-Video可重建任意帧率的视频，在语义分类任务中准确率达85%，结构相似性指数达0.19，较先前技术提升45%。这项研究在NeurIPS 2023获得口头报告资格，为理解人类认知过程提供了新的途径。