OpenIrisDPI：一款开源的数字式双Purkinje图像眼动追踪器，用于视觉神经科学研究

《Journal of Neuroscience Methods》：OpenIrisDPI: An open-source digital dual Purkinje image eye tracker for visual neuroscience

本文提出OpenIrisDPI开源眼动追踪系统，通过结合瞳孔追踪与第四 Purkinje反射（DPI）技术，采用优化算法和低成本硬件配置，实现了亚分弧度精度，显著降低瞳孔偏移误差，适用于灵长类动物神经科学实验中的高精度眼动追踪需求，并验证其在感受野分析中的优势。

　　

瑞安·A·雷斯迈耶（Ryan A. Ressmeyer）|豪尔赫·奥特罗-米兰（Jorge Otero-Millan）|格雷戈里·D·霍维茨（Gregory D. Horwitz）|雅各布·L·耶茨（Jacob L. Yates）

生物工程系，华盛顿大学，地址：美国华盛顿州西雅图市第15大道东北3720号，邮编98195

摘要

背景

基于视频的眼球追踪技术在视觉科学、心理学、临床评估和神经生理学中得到广泛应用。许多此类系统通过追踪瞳孔中心和角膜反射（P-CR）并比较它们的位置来估计注视方向。然而，对于对眼球追踪质量要求严格的应用来说，P-CR眼球追踪器往往不够精确。

新方法

我们介绍了OpenIrisDPI，这是一个为OpenIris框架开发的开源插件，实现了双普金叶图像（DPI）追踪功能。OpenIrisDPI支持瞳孔图谱学（pupillography）技术，该技术在感知心理学和神经科学中得到广泛应用，并能够直接比较P-CR和DPI信号。

结果

使用OpenIrisDPI从猕猴身上收集的数据表明，与DPI相比，P-CR方法高估了眼球快速移动（saccades）期间的注视漂移量。通过高密度细胞外记录技术进一步验证了DPI信号的准确性。利用DPI信号补偿注视眼球运动的影响，可以比同时收集的P-CR信号获得更精确的神经元感受野（receptive fields）估计结果。

与现有方法的比较

OpenIrisDPI作为开源软件提供，并可在消费级硬件上运行，因此比之前描述的其他DPI眼球追踪器更易于使用，成本也更低。据我们所知，OpenIrisDPI是首个同时支持瞳孔图谱学和DPI眼球追踪的眼球追踪系统。

结论

OpenIrisDPI使高精度眼球追踪技术更容易为研究社区所使用。它特别适用于视觉神经科学研究，因为在这些研究中，准确了解实验过程中的视网膜图像至关重要。

引言

基于视频的眼球追踪技术在视觉研究中已变得普遍，但从映射感受野到研究注视眼球运动等高精度应用，都需要以几角分或更小的精度来测量注视方向（Yates等人，2023年；Ko等人，2016年；详见附录A关于眼球追踪精度的讨论）。尽管基于视频的眼球追踪器数量众多，但许多现代系统仍无法满足这一严格要求（Holmqvist和Blignaut，2020年）。它们的性能经常受到算法噪声和生物伪影的影响，这些因素引入的误差可能比眼球本身想要测量的微小运动（如微眼球运动和眼球漂移）大一个数量级（Hooge等人，2019年；Wang等人，2017年）。 一种常见的方法是瞳孔中心/角膜反射（P-CR）追踪。在这种系统中，使用数码相机拍摄眼睛图像，然后通过计算机估计瞳孔中心和角膜反射的位置。追踪器的输出是这两个特征之间的矢量差，这个量几乎不受头部相对于相机平移的影响（除非相机固定在头部上，否则很难避免这种情况；Guestrin和Eizenman，2006年）。这种对头部平移的不敏感性是P-CR系统相对于仅追踪单个特征的系统（例如仅追踪瞳孔的系统）的主要优势。 然而，P-CR系统存在两个明显的不精确来源，限制了其在高精度应用中的实用性。首先是瞳孔中心和角膜反射位置估计值在帧与帧之间的时间不相关误差（测量噪声）。测量噪声的幅度通常足够大，可能会掩盖微小的眼球运动（Niehorster等人，2021年），但可以通过优化算法、光学系统和成像硬件来减少这种噪声（Ivanchenko等人，2021年）。第二个更根本的不精确来源是瞳孔偏心，这是由于虹膜在扩张和收缩时的不对称运动造成的。这些运动会导致瞳孔中心在极端扩张状态之间移动多达0.1毫米（Wyatt，1995年），而P-CR系统会误将其解读为眼球运动（Wyatt，2010年；Wildenmann和Schaeffel，2013年）。这种瞳孔偏心伪影存在于广泛使用的系统中，如EyeLink 1000和Tobii Pro Spectrum（Hooge等人，2021年），对于任何依赖瞳孔中心的数据分析方法来说都是一个需要考虑的因素。 另一种光学技术是双普金叶图像（DPI）方法（图1）。DPI追踪在概念上类似于P-CR，但它用晶状体后表面的反射来代替瞳孔中心（即第四普金叶图像，或P4）。这种方法具有与P-CR相同的头部平移不变性，并且对瞳孔偏心不敏感。 历史上，DPI系统依赖于定制的光电反馈回路，这些回路成本高昂、技术复杂且操作困难（Crane和Steele，1985年）。这限制了它们的应用范围，仅限于少数专业实验室。随着基于视频的普金叶反射追踪方法的发展（Abdulin等人，2019年；Lu等人，2020年；Wu等人，2022年；Tabernero和Artal，2014年），数字DPI追踪有望克服这些障碍，实现更广泛的应用。 我们推出OpenIrisDPI，旨在使高精度DPI眼球追踪技术为研究社区所用（图2）。OpenIrisDPI是基于OpenIris眼球追踪框架（Sadeghi等人，2024年）构建的眼球追踪系统，具有以下几项新颖功能：（1）同时追踪瞳孔和DPI；（2）使用现代消费级CPU进行500 Hz的双眼采样；（3）可选的倾斜成像配置，无需使用反光镜。与大多数传统的基于P-CR的眼球追踪器不同，OpenIrisDPI可以同时测量瞳孔动态和精确的注视位置，且不会混淆两者。该插件的源代码免费公开，采用GPLv3许可证提供（https://github.com/ryan-ressmeyer/OpenIrisDPI）。相关维基页面提供了DPI原理和分析技术的概述，以及构建成像系统、设置参数、将OpenIris与实验系统集成以及同步记录的时间戳与独立数据流的说明。在发表时，可以组装出测量噪声低于几角分的定制数字DPI系统，成本低于5000美元。 该系统有两个常见的限制：首先是视野相对较窄。当眼睛从静止状态旋转超过大约10°时，第四普金叶图像会被虹膜遮挡，从而限制了可追踪的眼球位置范围。第二个限制是在高加速度期间（如眼球快速移动时）眼睛位置估计的不准确性。当眼球急剧加速时，晶状体的惯性和悬韧带弹性会导致晶状体振荡，从而使P4信号在眼球快速移动期间和之后短暂地与眼球的角度位置脱钩（Deubel和Bridgeman，1995a）。 尽管如此，OpenIrisDPI眼球追踪系统对于那些眼球在快速移动期间微小变化对研究变量有重大影响的研究特别有用。例如，研究眼球快速移动期间的感知漂移、双眼协调以及自上而下的视觉信号的神经生理影响等。正如结果部分所描述的，我们使用该系统测量了猕猴外侧膝状核（LGN）神经元感受野的空间特性。这种应用利用了该追踪器对注视眼球运动的极高敏感性，如果不进行补偿，这些运动会导致感受野大小被夸大。 虽然该系统是为非人类灵长类动物开发的，但对其进行适当调整后也可用于人类研究，尽管需要特别注意减少红外辐射带来的风险（详见讨论部分）。

高精度眼球追踪系统对于视觉神经科学研究至关重要，因为在这些研究中，准确了解视网膜图像对于表征神经反应至关重要（Snodderly，2016年）。视觉系统中的神经元会对落在视网膜上的特定光模式作出反应（Hubel和Wiesel，1961年；Hubel和Wiesel，1962年；Levitt等人，1994年）。对某个神经元产生反应的视网膜区域（称为感受野或RF）会随着眼睛的移动而采样不同的视觉区域（Gur和Snodderly，1987年；Gur等人，1997年；Xiao等人，2024年）。某些神经元的感受野仅覆盖几分之一度的小范围，这远小于许多眼球运动的幅度和一些眼球追踪器中的噪声。 因此，实验者通常试图在视觉处理研究中最小化眼球运动，通常通过训练实验动物在刺激呈现时保持注视来实现。然而，注视期间的残余眼球运动是不可避免的，并会影响整个视觉层次的神经活动（例如Snodderly等人，2001年；Leopold和Logothetis，1998年；Bair和O’Keefe，1998年；Khademi等人，2020年）。在线补偿这些运动对视网膜图像的影响（例如Gur和Snodderly，1987年；Snodderly和Gur，1995年），或在事后分析中补偿（例如Read和Cumming，2003年；Livingstone和Tsao，1999年；Tang等人，2007年；McFarland等人，2014年；Gur和Snodderly，2006年），可以改善对神经元反应性、随机性和选择性的测量。 为了证明OpenIrisDPI适用于此类高精度应用，我们使用该系统研究了猕猴LGN中神经元的光响应特性。这些神经元是作为一项关于眼球快速移动相关活动调节的持续研究的一部分而被记录下来的。在这些数据中，我们验证了基于DPI的眼球追踪在提高信号噪声比和空间分辨率方面的优势，并且其性能优于基于P-CR的眼球追踪方法。这些结果突显了高精度眼球追踪在视觉神经科学中的实际应用价值，并表明通过补偿眼球运动引入的变异可以提高对猕猴早期视觉系统中神经反应的准确表征。

OpenIrisDPI算法

OpenIrisDPI追踪算法依次处理视频输入：首先拟合瞳孔边界，然后识别角膜反射（CR），最后定位第四普金叶图像（P4）。算法的伪代码见附录B。 该追踪算法作为OpenIris的插件实现，并通过其C#封装Emgu CV利用OpenCV计算机视觉库。OpenCV针对基于CPU的并行处理进行了高度优化，使OpenIrisDPI能够以高速率处理视频。

OpenIrisDPI的创新之处

OpenIrisDPI的主要创新包括：（1）一个针对CPU优化的算法，可以实时同时追踪瞳孔、CR和P4；（2）硬件配置的详细文档（图3），包括一种新颖的倾斜配置，适用于DPI追踪；（3）与OpenIris眼球追踪框架的集成，便于使用和扩展。 大多数之前描述的DPI眼球追踪器使用反光镜来对齐眼睛和相机的光学轴线（Crane和Steele，1985年；Abdulin等人）

讨论

我们介绍了一种新的开源眼球追踪系统OpenIrisDPI，旨在增加视觉神经科学研究中对DPI眼球追踪的访问。DPI眼球追踪是一种非侵入性且高精度的技术，但由于缺乏方便、经济实惠且广泛可用的系统，其应用受到限制。OpenIrisDPI使研究人员能够使用廉价且易于获得的消费级电子设备构建自定义DPI系统。运行该系统所需的软件是免费的，并包含...

CRediT作者贡献声明

瑞安·A·雷斯迈耶（Ryan A. Ressmeyer）：撰写 – 审稿与编辑、初稿撰写、可视化、验证、软件开发、资源管理、方法论设计、研究计划制定、资金获取、正式分析、数据管理、概念构思。 豪尔赫·奥特罗-米兰（Jorge Otero-Millan）：撰写 – 审稿与编辑、监督、软件开发、方法论设计。 格雷戈里·D·霍维茨（Gregory D. Horwitz）：撰写 – 审稿与编辑、初稿撰写、监督、资源管理、项目计划制定、方法论设计、资金获取。

写作过程中使用生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了Claude.ai工具进行修订。使用该工具后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。

利益冲突声明

作者声明以下可能的利益冲突：瑞安·雷斯迈耶（Ryan Ressmeyer）表示获得了美国国家科学基金会的财政支持；格雷戈里·D·霍维茨（Gregory D. Horwitz）表示获得了美国国立卫生研究院的财政支持；雅各布·L·耶茨（Jacob L. Yates）也表示获得了美国国立卫生研究院的财政支持。如果还有其他作者，他们声明没有已知的利益冲突。

致谢

本项工作得到了以下机构的资助：NIH OD010425、NIH EY032900（资助格雷戈里·D·霍维茨），NIH EY032179（资助雅各布·L·耶茨），以及NSF GRFP奖学金（资助瑞安·A·雷斯迈耶）。