日常生活中智能手机使用期间的被动心率监测(passive heart-rate monitoring, PHRM)——基于面部视频光电容积脉搏波描记法(rPPG)
编辑推荐:
静息心率(resting heart rate, RHR)是心血管健康与全因死亡率的关键生物标志物,但其纵向被动追踪通常需要可穿戴设备,限制了普及性。本研究提出被动心率监测(passive heart-rate monitoring, PHRM)系统——一种利
静息心率(resting heart rate, RHR)是心血管健康与全因死亡率的关键生物标志物,但其纵向被动追踪通常需要可穿戴设备,限制了普及性。本研究提出被动心率监测(passive heart-rate monitoring, PHRM)系统——一种利用面部视频远程光电容积脉搏波描记法(remote photoplethysmography, rPPG)在日常智能手机交互期间被动测量心率(heart rate, HR)与RHR的深度学习系统。研究人员使用来自485名参与者的192,353段视频开发该系统,并在实验室及自由生活条件下用来自211名参与者的162,546段视频进行验证,据研究人员所知这是同类研究中规模最大的验证研究。PHRM在我们的基准测试中优于现有最先进方法。与参考心电图(electrocardiogram, ECG)相比,PHRM在浅、中、深三种肤色组中HR测量的平均绝对百分比误差(mean absolute percentage error, MAPE)均低于10%,满足行业精度标准;各肤色组间MAPE无劣效性差异。PHRM测得的每日RHR与可穿戴HR追踪器相比平均绝对误差(mean absolute error, MAE)小于5次/分(bpm),且与已知心血管疾病危险因素相关。结果表明智能手机有望实现被动且公平的心脏健康监测。为促进后续研究,研究人员公开了大规模标注智能手机视频数据集及预训练HR模型。
论文解读:《Passive heart-rate monitoring during smartphone use in everyday life》
本文于2026年发表于《Nature》。静息心率(resting heart rate, RHR)是心血管健康与全因死亡率的重要生物标志物,纵向监测需依赖可穿戴设备,在医疗资源不足人群中普及受限。现有基于智能手机摄像头的远程光电容积脉搏波描记法(remote photoplethysmography, rPPG)研究多局限于受控环境、样本量小,且在深肤色人群中因黑色素吸光导致信噪比(signal-to-noise ratio, SNR)下降而精度显著降低,存在肤色偏见(fairness)问题,且无研究验证日常非约束手机使用下的被动心率监测。为此,研究人员开发了被动心率监测(passive heart-rate monitoring, PHRM)系统,通过前置摄像头在屏幕解锁时自动捕获8秒面部视频,利用深度学习估算HR及置信度,并聚合有效HR测量值经卡尔曼滤波(Kalman filter)推导每日RHR。研究在实验室及自由生活条件下验证其准确性与跨肤色公平性,证明智能手机可实现无接触、公平、被动的心血管体征监测。
主要关键技术方法:
研究人员开展五项前瞻性实验室研究(n=357参与者,26,423段视频用于训练调参;n=104参与者,1,731段视频为外部测试集,按个体拓扑角(Individual Topology Angle, ITA)分为Fitzpatrick Ⅰ–Ⅲ、Ⅳ–Ⅴ、Ⅵ三组)及一项前瞻性自由生活研究(n=235参与者,采用分层抽样按年龄、性别、BMI及Monk Skin Tone(MST)量表分为训练/调参组n=128与测试组n=107,最终有效n=101,158,471段视频,涵盖26款手机型号)。参考金标准为实验室BIOPAC MP160三导联心电图(electrocardiogram, ECG)及自由生活Polar H10 ECG胸带;RHR参考为Fitbit Charge 6可穿戴设备每日RHR及仰卧位/坐位ECG最小HR。PHRM-HR模块对原始视频进行人脸标志点仿射变换稳像、帧率标准化至15 fps、面部裁剪(含20%边距)、32×32降采样及帧间差分预处理,输入时序移位卷积神经网络(Temporal Shift Convolutional Neural Network, TSCNN)将HR回归重构为多分类任务(40–180 bpm,1 bpm分箱)输出概率分布,以负熵为置信度门控(valid测量需≥阈值且单日≥20个有效HR测值方可计算RHR)。每日RHR取当日有效HR的第10百分位加偏置校正,再经Kalman filter平滑。统计分析预设HR精度目标MAPE<10%(ANSI/CTA-2065标准),RHR精度目标MAE<5 bpm,肤色非劣效界值ΔMAPE<5个百分点,采用Wilcoxon符号秩检验及调整重复测量的Bland–Altman分析,RHR与健康因素关联用广义最小二乘(generalized least squares, GLS)模型。
Overview of the system
研究人员设计的PHRM系统在屏幕解锁事件触发前置摄像头被动采集8秒面部视频,经视频稳像与预处理后送入TSCNN集成模型预测HR及置信度,低于置信度门限的噪声测量被剔除;日间多个有效HR测量值经第10百分位选取及Kalman filter得到每日RHR估计,可后台运行。
Study populations
研究人员在实验室研究中用分光测色仪测ITA值将参与者分为三组(Fitzpatrick I–III n=44, IV–V n=25, VI n=35);自由生活研究由参与者自评估MST量表分组(MST 1–4 n=39, MST 5–7 n=29, MST 8–10 n=39),满足FDA建议的肤色代表性要求。自由生活数据涵盖暗光、户外、行走、乘车等真实场景,日均上传230.7±172.2段视频,84.4%中位上传率,证实具生态代表性。
In-laboratory HR test performance
在104人实验室外部测试集中,PHRM有效HR测量成功率77.7%(1,360/1,750),与参考ECG相比参与者水平MAE=4.09 bpm(95% CI: 3.03, 5.33),MAPE=5.65%(95% CI: 4.25, 7.29),各光照及静息/运动后状态均显著低于ANSI/CTA标准10%阈值(P<0.001)。浅/中/深肤色组MAPE分别为3.81%、4.43%、8.93%,均<10%(P<0.025)。与15种2019–2025年SOTA rPPG模型比较,PHRM是唯一全肤色组MAPE<10%的模型且误差最低。Bland–Altman分析偏差?0.7 bpm,95%一致性界限?12.9~11.5 bpm。
Free-living HR test performance
自由生活测试集(n=101)中PHRM对所有参与者均获得有效HR测量,视频级成功率43.1%(浅58%、中45%、深25%),与参考ECG相比视频级MAE=3.59 bpm,MAPE=4.83%;参与者水平MAE=4.58 bpm,MAPE=6.09%(各肤色组分别为5.04%、5.12%、7.84%,均<10%,P<0.001)。肤色组间MAPE差异上限<5个百分点,满足非劣效。Bland–Altman偏差0.64 bpm,一致性界限?11.3~10.3 bpm。高置信度预测对应低误差,证实门控有效性。
Daily RHR measurements
90/101参与者(89.1%)有≥1天满足≥20个有效HR测值,其中504/685天(73.6%)得出有效每日RHR。与可穿戴参考比,日水平MAE=3.62 bpm(95% CI: 3.18, 4.09),参与者水平MAE=4.39 bpm(95% CI: 3.67, 5.17),均显著<5 bpm预设目标(P<0.001)。PHRM每日RHR与可穿戴RHR相关系数r=0.87(P<0.001),与仰卧位及坐位ECG-RHR分别r=0.73、0.74。PHRM派生RHR个体内标准差(s.d.)=1.20 bpm,变异系数(coefficient of variation, CV)=1.77%,低于传统单次测量(s.d.=5.08及4.52 bpm),重现性更优。深肤色组从第3天起Kalman filter收敛后MAE亦<5 bpm。
Association of daily RHR with health factors
调整年龄、性别及测量日后,PHRM派生每日RHR与BMI(β=1.92±0.57 bpm每1 s.d.增加,P<0.001)及心肺适能(以最大摄氧量(VO2max)衡量,β=?1.90±0.27 bpm每1 s.d.增加,P<0.001)独立相关,符合已知心血管危险因素与RHR的生理关联,验证所测信号具生理真实性。
Discussion
研究人员讨论指出,本研究首次证实智能手机可在真实世界日常使用中被动监测HR及每日RHR,是迄今最大规模多样化前瞻性验证的智能手机rPPG研究。系统满足ANSI/CTA消费级HR监测标准(MAPE≤10%),跨所有肤色组达非劣效,超越SOTA rPPG方法。将HR重构为多分类输出及负熵置信度门控是实现公平性与鲁棒性的关键。被动多次HR聚合所得每日RHR重现性优于传统单次临床测量。深肤色组视频级成功率较低归因于黑色素致pulse信号SNR降低及白光 incandescent照明下绿光成分少,未来可通过动态曝光优化及增加低SNR时重测缓解。电池优化需结合环境光与运动传感器判断最佳启动时机。隐私保护可通过端侧(on-device)处理及可信执行环境(trusted execution environment, TEE)实现,测量前须经人脸认证及用户明示同意。
结论(翻译):
综上所述,研究人员开发并验证了一套在正常手机使用期间被动测量心率及每日静息心率的系统,其在所有肤色色素沉着组别中均表现准确。这一rPPG技术进展为实现公平获取心脏健康监测益处提供了新途径——只需拥有一部智能手机即可进行日常心率与静息心率的被动追踪。