《Nature Communications》：A 7?T fMRI dataset of synthetic images for out-of-distribution modeling of vision
编辑推荐：
本研究针对自然场景数据集（NSD）缺乏分布外（OOD）泛化测试能力的问题，发布了NSD-synthetic——基于8名NSD受试者的7T fMRI合成图像响应数据。结果表明，该数据集能有效揭示脑模型在OOD场景下的性能差异，且模型失效程度与数据分布距离正相关，为开发更稳健的视觉处理模型提供了关键支持。
随着脑科学研究的深入，大规模视觉神经数据集如自然场景数据集（Natural Scenes Dataset, NSD）显著推动了脑模型的性能突破。然而，这些数据集的刺激材料通常局限于自然视觉分布范围内，导致模型缺乏对分布外（Out-of-Distribution, OOD）场景的泛化能力测试，而这一能力对开发鲁棒的脑模型至关重要。
为解决这一问题，研究团队在《Nature Communications》上发表了题为“A 7T fMRI dataset of synthetic images for out-of-distribution modeling of vision”的研究，发布了NSD-synthetic数据集。该数据集采集自8名NSD参与者的7T功能磁共振成像（fMRI）数据，包含284张合成图像的神经响应。研究发现，NSD-synthetic的fMRI响应能可靠编码刺激信息，且与NSD数据形成OOD关系；基于此数据集的OOD泛化测试可揭示脑模型在分布内测试中无法发现的差异，且模型失效程度与训练数据的分布距离呈正相关。这一成果为视觉处理模型的鲁棒性评估提供了重要工具。
关键技术方法
研究利用7T超高场强fMRI采集同一批NSD受试者对合成图像的脑活动数据，通过对比NSD自然图像与合成图像的神经响应分布，量化OOD特性，并采用模型泛化误差与数据分布距离的关联分析评估脑模型性能。
研究结果
1.OOD数据有效性验证
通过分析fMRI响应与合成图像的相关性，证实NSD-synthetic能有效编码视觉信息，且其分布显著偏离NSD自然图像数据。
2.脑模型OOD泛化差异
在NSD-synthetic上测试多种脑模型发现，其泛化性能差异在OOD场景下被放大，而在分布内测试中无法体现。
3.模型失效与分布距离的关联
量化测试数据与训练数据的分布距离表明，OOD程度越高，模型性能下降越显著，为模型鲁棒性评估提供量化指标。
结论与意义
NSD-synthetic填补了视觉神经数据集中OOD测试资源的空白，通过揭示脑模型在非自然分布下的泛化缺陷，推动了更稳健视觉处理模型的开发。该数据集为研究视觉系统的分布外响应机制提供了新范式，对计算神经科学和脑机接口领域具有重要价值。
