《Scientific Data》:CNeuroMod-THINGS, a densely-sampled fMRI dataset for visual neuroscience
编辑推荐:
为解决数据密集型神经AI建模对大规模神经影像数据集的需求,研究人员结合THINGS图像库和CNeuroMod深度表型项目,开展了高密度fMRI数据采集研究。通过4名参与者完成33-36次连续图像识别任务,获得了对720个语义类别4320张图像的三次重复测量数据。研究提供了高质量的 trial-specific beta 值和眼动追踪数据,展示了在单图像水平分析记忆效应的能力,为在受控和自然场景下建模人类视觉提供了重要资源。
随着数据密集型神经AI建模方法的兴起,认知神经科学领域对大规模神经影像数据集的需求日益迫切。然而,现有数据集在语义空间采样和个体深度表型方面存在明显不足:多数数据集侧重于图像数量而非语义代表性,导致物体类别分布不均;同时,缺乏对同一参与者进行多任务、长时间追踪的数据,限制了个体化脑功能模型的构建。
针对这一挑战,Courtois神经建模项目(Courtois Project on Neural Modelling, CNeuroMod)与THINGS倡议(THINGS initiative)合作,推出了CNeuroMod-THINGS数据集——一个密集采样的功能磁共振成像(functional magnetic resonance imaging, fMRI)数据集,专门用于视觉神经科学研究。该数据集创新性地结合了两个大型数据生态系统的优势:THINGS提供的经过充分表征的图像刺激集,以及CNeuroMod项目对核心参与者进行的深度表型分析。
研究人员招募了四名健康参与者(编号sub-01至sub-06),每人均完成了33-36次fMRI扫描会话,采用连续识别范式(continuous recognition paradigm)呈现来自THINGS刺激集中的4320张图像,涵盖720个语义类别。与之前的研究相比,该设计的独特之处在于每张图像都对同一参与者重复呈现三次,支持在单图像水平进行数据驱动分析,这是其他基于THINGS的fMRI数据集所不具备的特性。
实验任务经过精心设计,参与者需要在图像呈现时判断是否之前见过该图像,并报告信心水平。图像重复模式分为会话内重复(within-session)和会话间重复(between-session),从而能够研究不同时间间隔下的记忆效应。为了确保数据质量,研究采用了多项技术措施:使用个性化头枕减少头动、同步记录眼动轨迹监测注视依从性、采集多模态生理信号等。
数据采集使用西门子PRISMA Fit扫描仪,采用同时多层采集(simultaneous multi-slice)序列,空间分辨率为2毫米各向同性,时间分辨率为1.49秒。所有数据均使用fMRIPrep流程进行预处理,并使用GLMsingle工具包估计单试次响应。此外,三名参与者还完成了功能性局部任务(functional localizer tasks),包括面部-场景局部任务(fLoc)和视网膜拓扑映射任务(retinotopy),用于界定视觉皮层中的功能感兴趣区(regions of interest, ROIs)。
关键技术方法
研究采用多项先进技术方法:使用fMRIPrep进行fMRI数据预处理,保证数据处理的一致性和可重复性;采用GLMsingle估计单试次beta值,提高响应估计的准确性;通过群体感受野(population receptive field, pRF)分析方法刻画视觉皮层的功能特性;利用功能性局部任务(fLoc)界定类别选择性脑区;使用DataLad进行数据版本控制和分布式管理,确保数据的可追溯性和可访问性。
数据质量验证
时间信噪比与头动控制 数据显示,四名参与者的时间信噪比(temporal signal-to-noise ratio, tSNR)在视觉皮层区域表现良好,其中sub-03的tSNR最高,达到73.89%。头动参数显示所有参与者的平均帧间位移(framewise displacement, FD)均控制在较低水平,sub-03的平均FD低于0.1毫米,表现出优异的扫描稳定性。
注视依从性 眼动追踪分析表明,参与者在图像呈现期间保持了良好的中央注视,大部分试次的注视点落在中央注视点0.5度视觉角度范围内,证明了任务参与度的可靠性。
记忆行为表现 行为数据分析显示,所有参与者的记忆识别准确率均显著高于随机水平(d'值在1.536-1.898之间)。值得注意的是,会话内重复图像的识别准确率和反应时均优于会话间重复图像,证明了短时记忆与长时记忆的行为差异。
fMRI记忆效应 通过对比成功识别项目("击中",hits)与正确拒绝项目(correct rejections)的神经活动,研究发现视觉皮层区域存在明显的重复抑制效应(repetition suppression),特别是在会话内重复条件下更为显著。前额叶和顶叶区域则显示出记忆相关的激活增强,反映了记忆检索过程的神经基础。
表征相似性分析 使用t分布随机邻域嵌入(t-distributed stochastic neighbor embedding, t-SNE)技术对高维神经表征进行降维可视化,发现在面部选择性脑区(如梭状回面孔区fusiform face area, FFA)、场景选择性脑区(如海马旁回位置区parahippocampal place area, PPA)等特定功能区域,神经活动模式能够根据图像内容形成有意义的聚类结构。
单图像水平分析 在功能局部界定的ROI内,研究人员进一步分析了单个体素对特定图像内容的响应特性。例如,在FFA区内噪声上限最高的体素中,包含人脸的图像引发更强的神经响应,而对场景元素的复杂性不敏感;相反,在PPA区,复杂场景图像引发更强激活,而对人脸存在与否相对不敏感。
研究结论与意义
CNeuroMod-THINGS数据集的发布标志着视觉神经科学研究的一个重要里程碑。通过将大规模、经过良好表征的刺激集与深度表型设计相结合,该数据集首次实现了在单图像水平对视觉语义表征进行个体化建模的能力。
研究的创新性体现在多个方面:首先,数据集提供了前所未有的试次水平分析粒度,支持对单个图像刺激的神经响应进行精确量化;其次,通过在同一参与者身上结合多种实验范式(包括自然视频观看和受控图像识别),为研究不同认知状态下的视觉处理机制提供了独特窗口;最后,数据集与现有的THINGS数据生态系统完全兼容,促进了跨数据集比较和元分析。
在方法论层面,研究展示了如何通过先进的数据采集和质量控制技术,在长达数月的纵向研究中保持数据的高质量标准。特别是对头动、注视依从性、生理信号等多模态指标的同步记录,为后续分析提供了重要的协变量。
从科学意义来看,该数据集为理解人类视觉系统如何表征自然物体的语义信息提供了宝贵资源。它不仅适用于测试和开发视觉计算模型,还可用于研究记忆、注意、决策等高级认知过程与视觉处理的交互作用。此外,深度表型设计使研究者能够探讨个体差异在视觉表征中的神经基础,为个性化医学和教育应用奠定基础。
数据集已通过加拿大开放神经科学平台(Canadian Open Neuroscience Platform, CONP)公开共享,采用Creative Commons CC0许可,支持广泛的学术和非商业用途。随着神经科学向数据密集型范式转变,CNeuroMod-THINGS等高质量开放数据集将加速我们理解人类视觉认知的神经机制。