《Frontiers in Cognition》：Influences of dynamic and static retrieval cues on memory for events
摘要
先前关于再认记忆的研究通常使用静态线索（如图像）来评估基于熟悉性的项目记忆和基于回忆的关联记忆。动态线索（如视频）提供了可能改变检索过程的时空信息。本研究考察了检索线索类型（图像 vs. 视频）和呈现时长如何影响记忆准确性和反应时(RTs)。参与者（N = 188）编码了演员执行动作的视频片段。在检索阶段，他们观看短时长（733 ms）或长时长（1,466 ms）的图像或视频。测试项目包括旧项目（完整的演员-动作配对）和结合项目（重新组合的演员-动作配对）以评估关联记忆，以及新演员（陌生演员，熟悉动作）和新动作（熟悉演员，陌生动作）项目以评估项目记忆。记忆表现分析显示，与图像相比，检索时的视频促进了新动作项目的拒绝，同时增加了对新演员项目做出“是”反应的趋势。分层ex-Gaussian模型表明，检索时的短观看时长导致平均RTs变慢，并增加了极长RTs的频率，而静态图像线索则与更大的RT变异性以及更频繁的长时间记忆搜索相关。较长的观看时长减少了关联决策（特别是结合项目）中长时间记忆搜索的发生。因此，动态和静态检索线索差异性地影响事件个体特征的熟悉性，而这些特征的关联绑定主要受刺激时长影响，无论刺激是静态还是动态。
引言
正如Gibson (1975)所观察到的，“事件是可感知的，但时间不是。”在日常生活中，我们经常依赖事件及相关变化（如运动、声音）来感知时间的流逝。运动和变化的进程是时间流逝的指标，也是时间得以显现的门户。静态刺激天生缺乏定义动态刺激的这些时间依赖性特征，这些根本差异可能影响感知和其他认知过程。例如，包含运动的刺激比静态刺激被感知为持续时间更长，且这种效应似乎不受运动量的调节。动态刺激被感知为更生动且更能吸引注意力，甚至可以降低特定任务（包括情绪分类）的反应时(RTs)。
动态刺激的时空优势也可能影响记忆检索。Goldstein等人 (1982) 进行了最早评估静态和动态检索线索的研究之一，发现两种刺激类型对旧项目的击中率相似；然而，与图像相比，视频改善了对诱饵项目的拒绝。这种运动驱动的改善通常被称为动态优势效应，即使控制信息量（例如，使用多个静态帧），这种效应也会自发产生并持续存在。因此，动态刺激的益处并非基于提供的信息量，而是基于所传达的信息类型，包括时间和空间线索。事实上，即使在非常短的呈现时长下（例如，200–400 ms），动态刺激似乎也能改善记忆表现。Matthews等人 (2010) 评估了静态和动态线索如何影响事件细节（即人物、动作和背景）的记忆准确性。视频增加了对旧项目的击中率，但也导致对包含与原始事件相似特征（如演员和背景）的诱饵项目产生更多的虚惊。总而言之，先前的研究在动态线索最有益于哪种事件信息，以及静态和动态刺激可能在多大程度上影响记忆中不同元素的绑定方面显示出混合的结果。
迄今为止，评估静态和动态线索差异的研究大多使用从好莱坞风格电影中提取的刺激材料，这使得很难清晰分离这些刺激类型对支持再认记忆的两个关键过程：项目记忆和关联记忆的影响。项目记忆是记住信息个体单元（例如，单个演员或动作）的能力。相反，关联记忆是记住项目或信息单元之间关联（例如，演员-动作配对）的能力。记忆的双过程理论提出，再认涉及两个具有可分离成分和时间进程的独立过程。项目记忆被认为由熟悉性支持，这是一种快速、自动的感觉，认为某物先前遇到过，而不回忆上下文信息，如空间、时间或感官细节。相比之下，关联记忆通常需要回忆，这是一个较慢、更受控制的过程，涉及检索上下文细节。尽管双过程模型在某些方面有所不同，但大多数模型假设这些过程是并行启动的，并且在检索时主要独立操作。重要的是，这些过程在不同的时间尺度上展开，基于熟悉性的项目信息在刺激呈现后约350 ms内变得可用，而基于回忆的关联信息则出现在约600–700 ms左右。项目记忆的表现可以持续增加直到约650 ms，而关联记忆的表现在大约1,400 ms左右趋于稳定。评估这一时间进程的研究使用了静态检索线索（即书面文字），目前尚不清楚观看时长是否会对不同线索类型的检索产生不同影响。短暂暴露可能会限制动态线索（如视频）信息的时间展开，而较长的暴露允许额外的线索，这可能对关联记忆特别有益。相反，静态线索是时间不变的，意味着做出记忆决策所需的所有信息在处理后即可获得，因此观看时长的影响可能较小。
先前评估与再认记忆双过程理论相关因素的研究绝大多数依赖于静态线索，包括视觉呈现的词对、与场景配对的对象或与名字配对的面孔。相比之下，较少研究采用自然主义的动态材料，如视频。因此，静态和动态线索如何差异性地影响项目记忆和关联记忆仍然未知。一种可能性是，运动的存在与否可能提供不同类型的信息或将注意力引向自然事件中的某些组成部分，从而塑造了最容易被检索的信息类型。例如，在静态显示中，面孔可靠地捕获并保持注意力的时间比其他非面部物体更长，这可能导致个体优先记忆面部身份而非其他事件特征，如正在执行的动作。相反，检索时的动态线索可能会将注意力引向身体运动，例如正在执行的动作，并提供额外的时空线索，甚至可能促进对演员-动作绑定的更准确记忆检索。
尚无研究直接评估静态和动态线索是否差异性地影响项目记忆和关联记忆的准确性和时间动态。为了评估这一点，本研究参与者在编码阶段观看演员执行动作的自然主义视频。在检索阶段，我们操纵线索类型（图像 vs. 视频）和观看时长（短：733 ms vs. 长：1,466 ms）来检查对再认准确性和RTs的影响。我们使用新演员项目（新演员执行熟悉动作）和新动作项目（熟悉演员执行新动作）测试项目记忆。对新演员和新动作项目的准确反应需要识别个体组成部分（即演员或动作）是否先前见过，而不是回忆特定的演员-动作配对。关联记忆通过旧项目（相同的演员-动作配对）和结合项目（熟悉演员和动作的新颖重组）进行评估。因此，区分旧项目和结合项目需要参与者记住特定的演员-动作配对。
使用分层指数修正高斯模型分析RTs以评估完整的RT分布。该模型使用三个参数将RT分布分解为高斯（正态）分布和指数分布。这些参数包括 μ，代表高斯分布的均值；σ，是对称的，衡量围绕μ的变异性或离散度；以及 τ，指数分量的均值，不对称，捕捉正偏斜的程度。在记忆检索的背景下，较低的μ和σ值表示更快的典型反应和更一致的检索线索处理，可能表明更高的检索效率或类似自动化的处理。较低的τ值反映极长RTs的试验频率较低，表明检索过程更不费力或响应竞争更少。
我们预期视频能提供更丰富的时空信息，与图像相比，有助于更好地区分旧项目和新项目（结合、新演员、新动作）。通过比较不同类型新项目的表现，将为时空信息如何影响事件个体特征的熟悉性以及这些特征如何结合的回忆提供证据。
关于RTs，我们预测关联记忆项目，特别是结合试验，会产生比项目记忆试验（新演员和新动作）更长的RTs，这反映了关联记忆检索所需的额外时间。在ex-Gaussian模型中，与项目记忆试验相比，关联项目（尤其是结合试验）应表现出更高的μ和/或τ参数值。最后，我们预计视频会比图像产生更低的μ和/或τ，因为运动可能提供时空线索，从而加速并支持更省力的检索。
方法
参与者
参与者为188名本科生（128名女性，58名男性，2人未回答；平均年龄 = 20.77，SD = 3.67），参与获得课程学分或额外学分。参与者被随机分配到四个被试间条件之一：短图像（n = 47）、长图像（n = 47）、短视频（n = 46）、长视频（n = 48）。佛罗里达大西洋大学机构审查委员会批准了这项研究，所有学生都提供了书面同意。
进行了先验功率分析以确定所需的样本量。分析显示，需要188名参与者才能在项目类型（旧项目 vs. 结合项目以及新演员 vs. 新动作）的被试内因素与被试间因素（短图像 vs. 长图像 vs. 短视频 vs. 长视频）之间的交互作用中达到0.80的统计功效以检测显著性。该估计假设重复测量之间的中等相关性（r = 0.25），中等效应大小（0.15），以及0.05的alpha水平。
材料
刺激材料包括64位女性演员的视频，每位演员用物体执行两个动作（例如，拉伸气球、捏衣夹），总共128个视频片段，持续时间为4-8秒（M = 5.42），以及从这些视频中截取的128个对应的静止帧。对于每个编码视频，我们确定了一个清晰描绘所执行动作的单一帧；该静止帧作为图像检索线索。例如，如果编码时的视频描绘了一位演员拉伸气球，则选择的静止帧显示演员手持完全拉伸的气球。短视频和长视频刺激围绕所选的静止帧居中，以呈现该静止帧前后相等的时间。每个检索刺激呈现733或1,466 ms。这些时长基于先前关于项目和关联信息时间可用性的研究发现。使用Adobe Premiere Pro软件以每秒30帧的帧速率创建检索刺激。由于每帧持续时间为33.33毫秒，因此时长必须是该值的倍数。检索包括四种再认项目类型（旧、结合、新动作、新演员），每种包含16个项目以评估项目和关联记忆。为了构建所有四种再认项目类型，两位演员各自被拍摄执行相同的两个动作。例如，演员A和B被拍摄拉伸气球和捏衣夹。对图像和视频条件使用了四种不同的平衡列表，使得在这些列表中，每位演员和每个动作在编码和检索时呈现的次数相等，并且各充当一次每种再认项目类型。旧项目由与编码阶段相同的演员-动作配对组成。结合项目重组了编码阶段中熟悉的演员-动作配对。新演员项目呈现了编码阶段显示的相同动作，但由一位在编码阶段未学习过的演员执行。最后，新动作项目呈现了编码阶段显示的一位演员执行一个编码阶段未显示的新动作。检索线索类型和时长在被试间进行操纵，而再认测试项目在被试内进行操纵。
程序
使用SuperLab (6.5.1) 实施实验，包括一个60分钟的会话，在编码和检索模块之间有25分钟的延迟模块。在提供知情同意后，参与者被告知将测试他们对每个视频中演员和执行动作的记忆。在编码阶段，参与者以随机顺序观看48个演员执行动作的视频。然后参与者在延迟模块中完成人口统计学问卷和填充任务。
在检索模块中，测试参与者的记忆，并指示他们某些视频或图像包含在编码阶段看到的相同演员-动作配对，而其他则与编码阶段看到的不同。参与者观看64张图像或视频，呈现733或1,466毫秒。在每个线索之后，参与者被问及：“你在实验的第一部分看到这个人执行这个动作了吗？” 参与者被指示，如果他们回忆起先前看到过相同的演员-动作配对，则回答“是”，并对任何包含与先前显示不同的演员-动作配对或不记得演员或动作的测试项目回答“否”。参与者使用Cedrus响应板（RB?844）上的指定按钮做出反应，并被指示尽可能快速且准确地进行记忆判断。
结果
记忆表现
采用贝叶斯推理的分层逻辑回归模型来模拟对不同项目类型（旧、结合、新演员、新动作）做出“是”反应的概率，给定不同的线索类型（图像 vs. 视频）和呈现时长（短 vs. 长）。为每个变量估计了固定（组级）效应，包括截距和所有交互作用。估计了每个参与者截距的随机效应，以允许个体变异性。使用Python中Numpyro库的马尔可夫链蒙特卡罗（MCMC）方法进行贝叶斯推理，估计系数的后验分布和后验预测对比（即条件之间预测概率的差异）以及95%最高密度区间（HDIs）。报告的效果是概率尺度上的后验均值差异（Mdif）。当95% HDI排除0时，认为效应可信。为简洁起见，正文重点介绍了可信的模型效应。
逻辑回归模型揭示了项目类型（旧项目 vs. 诱饵项目）的显著主效应，参与者对旧项目比对结合项目 [Mdif = +0.371, 95% HDI (+0.337, +0.405)]、新演员 [Mdif = +0.484, (+0.453, +0.516)] 和新动作项目 [Mdif = +0.696, (+0.670, +0.721)] 更有可能提供“是”反应。此外，对结合项目比对新演员项目 [结合 vs. 新演员; Mdif = +0.113, (+0.076, +0.147)]、结合项目比对新动作项目 [结合 vs. 新动作; Mdif = +0.325, (+0.292, +0.360)] 以及对新演员项目比对新动作项目 [新演员 vs. 新动作; Mdif = +0.212, (+0.183, +0.245)] 做出“是”反应的概率更高。
关于交互效应，我们的主要研究兴趣涉及关联记忆（旧项目 vs. 结合项目）和项目记忆（新演员 vs. 新动作项目）之间的差异。项目类型（新演员 vs. 新动作）与线索类型 [图像 vs. 视频; Mdif = ?0.137, (?0.182, ?0.093)] 之间存在可信的交互作用。简单效应显示，在新演员项目中，视频导致比图像更高的“是”反应概率 [Mdif = ?0.087, (?0.132, ?0.042)]。相反，图像导致比视频更高的对新动作项目的“是”反应概率 [Mdif = +0.051, (+0.024, +0.079)]。为了评估这种显著的交互作用是否可能受到反应偏差变化的影响，我们进行了信号检测标准分析，比较了线索类型对旧项目与新动作项目和旧项目与新演员项目的标准放置（c）。该分析显示，旧项目和新动作项目的标准放置在不同检索线索类型之间没有显著差异，t(186) = ?0.962, p = 0.3374。然而，旧项目与新演员项目的比较中标准放置存在显著差异，t(186) = 3.018, p = 0.003，表明当以视频形式呈现时，参与者可能对新演员项目采取了更宽松的标准将其接受为旧项目（M = ?0.325, SD = 0.403），而与图像相比（M = 0.150, SD = 0.385）。总之，这些发现表明，视频支持更好地辨别旧项目和新动作，而没有证据表明标准发生了偏移，而视频条件下对新演员项目较高的虚惊率可能反映了一种标准偏移，而不是图像辨别能力的提高。
RT建模
我们实现了一个分层ex-Gaussian回归模型来评估完整的RT分布。使用Python Numpyro库中的MCMC方法进行贝叶斯推理，以估计每个参与者的完整后验分布。该模型仅包括对项目类型的正确反应（例如，对旧项目“是”，对结合、新演员和新动作项目“否”）。基于每位参与者对每种项目类型的RTs，为每位参与者估计了μ、σ和τ的受试者水平参数。完整的模型结果可在补充材料中找到。五分位数图（第10-90百分位数）比较了不同时长、项目和线索类型下的观察RTs和后验预测RTs。五分位数图显示，旧项目通常产生比其他项目类型更快的RTs（第70和90百分位数），而结合项目和新演员项目往往是最慢的。模型支持这些主效应模式，显示旧项目（旧项目 vs. 诱饵项目）导致更短的指数尾，表明与结合项目 [τ: Mdif = ?0.207 s, 95% HDI (?0.244 s, ?0.168 s)]、新演员项目 [τ: = ?0.133 s, (?0.164, ?0.102)] 和新动作项目 [τ: Mdif = ?0.028 s, (?0.051, ?0.003)] 相比，极长记忆搜索的试验更少。相反，与新演员项目 [结合 vs. 新演员; τ: Mdif = +0.074 s, (+0.036, +0.113)] 和新动作项目 [结合 vs. 新动作; τ: Mdif = +0.180 s, (+0.141, +0.216)] 相比，结合项目导致更多需要长时间记忆搜索的试验。最后，与新动作项目相比，新演员项目导致更多需要长时间记忆搜索的试验 [新演员 vs. 新动作; τ: Mdif = 0.105 s, (+0.074, +0.137)]。因此，项目类型差异主要反映在耗时检索过程的普遍性上，这也与虚惊模式平行：结合项目表现出最大的指数尾，表明正确拒绝试验中涉及长时间记忆搜索的次数更多。值得注意的是，结合项目的虚惊率也高于新演员和新动作项目，这表明增加的检索需求不仅产生了更多需要长时间记忆搜索的试验（正确反应时），还增加了虚惊的可能性。
我们预期线索类型的主效应是视频比图像促进更快的RTs。与这一预测一致，五分位数图显示视频在第70和90百分位数的RTs比图像更快。此外，模型显示，与视频相比，图像导致RTs更大的变异性 [图像 vs. 视频; σ: Mdif = +0.021 s, (+0.005, +0.036)] 以及需要长时间记忆搜索的试验频率更高 [τ: Mdif = +0.075 s, (+0.002, +0.156)]。此外，短观看时长增加了平均RT [短 vs. 长; μ: Mdif = +0.043 s, (+0.009, +0.081)] 并导致更多需要长时间记忆搜索的试验 [τ: Mdif = +0.124 s, (+0.051, +0.201)] 与长时长相比。总体而言，较长的观看时长产生了更快的RTs，且需要非常长检索过程的试验更少，而视频与检索RTs的变异性减少以及长时间检索过程的试验减少相关。
我们还评估了与关联记忆（旧 vs. 结合）和项目记忆（新演员 vs. 新动作）相关的潜在交互效应。关联记忆项目类型、时长和刺激类型之间出现了一个可信的三重交互作用，影响RT变异性 [σ: Mdif = ?0.055 s, 95% HDI (?0.097, ?0.020)]。简单效应显示，在长时长条件下，以图像形式呈现的旧项目比视频引起更大的变异性 [σ: Mdif = +0.021 s, (+0.003, +0.037)]。相反，当以长视频形式观看时，结合项目增加了RTs的变异性 [σ: Mdif = ?0.018 s, (?0.035, ?0.003)] 与长图像相比。这种结果模式是出乎意料的，其解释并不直接。此外，在极长RTs方面发现了关联项目与时长的可信交互作用 [τ: Mdif = ?0.084 s, (?0.163, ?0.009)]。简单效应显示，较长的观看时长减少了旧项目 [短 vs. 长; τ: Mdif = +0.086 s, (+0.024, +0.148)] 和结合项目 [τ: Mdif = +0.170 s, (+0.059, +0.279)] 中长时间记忆搜索试验的发生，以至于长时长不成比例地减少了结合项目中出现长时间搜索的试验。总之，这些发现表明，增加关联记忆项目的观看时长减少了涉及耗时、费力检索的试验频率，特别是对于结合项目。
讨论
本研究发现，检索线索类型（静态图像 vs. 动态视频）和观看时长（短：733 ms vs. 长：1,466 ms）影响再认准确性和记忆检索的时间动态。本研究的结果揭示了检索线索类型对记忆准确性影响的不同模式。具体来说，在参与者拒绝包含新特征的诱饵项目（即新演员和新动作）的能力方面显示了熟悉性相关的差异。因此，动态和静态线索似乎差异性地影响对事件个体特征的记忆，而不是这些特征的关联绑定。相比之下，观看时长主要通过减少涉及长时间记忆搜索过程的试验频率来影响关联检索，特别是对于结合项目。
检索线索类型对熟悉性的影响是明显的。对于新演员诱饵，当以视频形式呈现时，与图像相比，参与者采用了更宽松的反应标准，表明动态线索增加了将包含熟悉动作的新演员诱饵认定为旧的倾向。相反，与图像相比，视频改善了对新动作项目的拒绝。对面部身份或表情识别的动态优势主要在视觉条件退化时出现，而在典型视觉条件下，静态线索的表现可以优于动态线索，这与目前的结果一致。这些发现也可能反映了运动如何将注意力引向事件的不同方面，最终影响检索准确性。例如，图像中缺乏运动可能将注意力引向图像中最突出的方面，即演员的身份，这与先前发现一致，即面孔比其他非面部物体更能捕获并保持注意力更长时间。这可能解释了当显示图像时，参与者对新演员项目的拒绝能力得到改善。相反，视频线索中与动作相关的运动可能捕获了参与者的注意力，并将其引向动作信息，从而改善了对新动作诱饵的拒绝，同时也促使了对由新演员执行的熟悉动作的宽松偏差，即将其认定为旧。
先前的研究已经证明了学习-测试一致性效应，即当编码和检索时的刺激格式一致而非不一致时，再认表现最佳。当学习和测试都呈现动态刺激时，与单一甚至多个静态图像相比，已学项目和诱饵项目之间的辨别能力得到增强。然而，在本研究中，在编码和检索时都呈现视频并未产生相对于编码为视频、检索为图像的普遍记忆表现提升。一种可能性是由于刺激构建方式，两种检索条件中都存在学习-测试不一致效应。检索刺激由原始
