使用智能手表和卷积神经网络的实施与口腔健康监测系统的分析

《Internet of Things》：Implementation and analysis of an Oral Health Monitoring System using Smartwatches and Convolutional Neural Networks

　　弗朗西斯科·哈维尔·冈萨雷斯-卡涅特|爱德华多·卡西拉里
马拉加大学电子技术系，ETSI电信学院，29071 马拉加，西班牙

**摘要**
智能手表提供的活动跟踪功能为识别手部动作提供了一种成本效益高且广泛适用的技术方案，这使得它们成为促进持续健康监测（尤其是口腔卫生习惯）的理想工具。本研究提出将可穿戴设备与人工智能方法相结合，以识别与刷牙相关的手部动作。重点是利用卷积神经网络根据从手腕设备收集的加速度计数据样本来识别刷牙动作。该架构通过使用一组小型实验用户的日常活动中收集到的长期数据集进行系统训练和验证。结果表明，在离线评估以及在智能手表上实时运行时，该检测器的有效性及泛化能力都非常出色。

**引言**
据估计，全球约有35亿人受到口腔疾病的困扰[1]。这些疾病包括未经治疗的恒牙蛀牙（23亿人）、严重的牙周炎（7.96亿人）或完全失牙（2.67亿人）[2]。仅在美国，20至64岁之间的公民中就有92%患有恒牙蛀牙[3]，每年在牙科服务上的支出超过1080亿美元[4]。如果牙龈上的牙菌斑未得到有效清除，可能会导致蛀牙和牙龈炎（一种牙龈组织炎症）。如果不加以治疗，最终将导致牙齿脱落，并需要使用牙科植入物，而这可能引发种植体周围炎症和其他与骨整合不良相关的口腔疾病[5]。通过彻底且频繁地使用牙线、刷牙等方法，可以有效控制牙菌斑的积累[6]。医学界普遍认为，每天至少使用含氟牙膏刷牙两次对健康有益[2]。然而，根据某些西方国家的调查，不每天刷牙的成年人比例可能高达50%，其中55岁以上人群的比例超过64%[7]。衰老显然与口腔卫生状况的恶化有关[8],[9]。由于自我护理能力的下降，这种情况在老年人或痴呆症早期患者中更加严重，他们甚至可能需要他人提醒才去刷牙[10]。因此，过去十年间，研究低成本、非侵入性的自动跟踪口腔卫生习惯的系统受到了关注。

在这方面，人们付出了大量努力来实现所谓的“智能牙刷”，这些牙刷不仅可以收集刷牙时间的信息，还可以记录施加的压力、刷子角度以及刷过的口腔部位[11]。在相关文献中，通常通过在传统牙刷的手柄上安装一个带有无线传输模块的传感器（通常是笨重的惯性测量单元）来实现这一功能[12],[13],[14],[15]。在大多数原型中，该传感器收集的信息会通过蓝牙等方式发送到附近的智能手机应用程序中，以便记录和分析用户的口腔健康行为（OHB）参数和信号[16]。在某些情况下，这些设备还配备了增强现实或虚拟现实系统[16],[17],[18],[19]，通过显示口腔二维或三维图像上的刷牙动作变化来指导或教育用户。例如，Salikun等人的研究[20]开发了一款面向儿童的Android教育游戏（TOMON - Tooth Monster Hunter），利用带有传感器的牙刷和屏幕来指示哪些牙齿已被刷过。

为了避免这些智能手表的高成本和硬件复杂性，以及每次刷牙前后的手动激活/停用操作，其他研究建议通过分析刷牙时录制的音频或视频片段来监测用户的口腔健康行为[21],[19]。一些实验使用智能手机或平板电脑内置的摄像头来实现这一目标[21],[19]。外部麦克风[22]或智能手机[23]收集的音频信号也被用于评估刷牙效果。然而，这些基于图像或音频的检测方法存在诸多技术缺陷，如受光照、环境噪声、手部自影或摄像头位置及分辨率等因素的严重影响[24]。此外，Marcon等人指出[24]，刷牙时产生的某些规律性圆周运动由于手部位移较小而难以通过图像分析察觉。

一种低成本的替代方案是使用可穿戴设备（如智能手表、智能手环或 bracelets）来监测口腔健康行为。尽管最初这些设备是为追踪运动表现而设计的，但目前它们已在人类活动识别（HAR）系统中得到广泛应用，尤其是在监控健康状况和个人福祉方面[25]。这些设备已被许多用户广泛纳入日常生活，内置了惯性传感器，并可重新编程以支持活动识别功能，从而无需额外的监测工具（如智能牙刷或摄像系统）。近年来，智能手表等可穿戴设备的社会认知发生了显著变化，从时尚配饰发展为具有强大医疗监测能力的健康监测工具[25]。实际上，利用可穿戴设备和手腕手势分析卫生习惯的做法并不新鲜[26]。例如，有研究描述了一种基于人工智能的洗手检测系统[26]。在口腔卫生习惯方面，多项文献利用商用智能手表[27],[28],[29]来识别与刷牙相关的手部活动模式。为了使识别有效，智能手表必须佩戴在惯用手上，而非通常的非惯用手腕位置[27]。这些系统中的识别过程基于惯性信号（通常是三轴加速度）的分析，尽管也有使用陀螺仪或磁力计信息的架构[27]。由于刷牙时手部动作的复杂性和多样性，所提出的检测算法依赖于监督学习模型[27]。几乎所有这些研究都采用“经典”机器学习技术（如决策树、支持向量机或多层感知器）作为检测器的核心[27]。这些学习模型需要对原始传感数据进行预处理，生成用于训练分类器的输入特征（从时域或频域分析中提取的统计信息）[27]。相比之下，深度学习算法减少了人为干预和手动设置的需求，能够自动从大数据集中提取合适的特征以区分模式[28]。

卷积神经网络（CNN）是最强大的深度学习模型之一，已成功应用于HAR系统[30]。CNN由一系列可调整的卷积滤波器组成，能够通过学习不同抽象层次的数据表示方法来发现大数据集中的隐藏模式[30]。CNN和其他深度学习架构（如循环神经网络RNN和长短期记忆网络LSTM）也被用于识别手部动作[31],[32]。Zhao等人的研究[31]提出了一种基于LSTM网络的姿态识别算法，但未涉及刷牙行为的识别[31]。在另一研究中[32]，研究者利用智能手机惯性测量单元（IMU）捕获的信号成功地实现了手势识别，但该系统用于远程控制家用电器，无法用于监测口腔健康行为[32]。Kyritsis提出的HAR架构[33]基于智能手表捕获的惯性信号，通过结合卷积和循环层的神经网络来识别饮食习惯和咬合事件[33]。

在本文中，我们评估了这种神经网络通过手腕设备采集的信号区分刷牙与其他手部动作的潜力。所开发的模型已在智能手表上实现，并在实际情况中得到了验证。
本文的其余部分安排如下：第2节回顾了利用手腕设备进行刷牙检测的相关文献；第3节描述了基于CNN的刷牙行为检测架构及其预处理和后处理步骤；第4节详细介绍了实验设置、数据集和测试方法；第5节展示了实验结果，并进行了LOSO交叉验证和电池消耗分析；第6节总结了主要结论及未来研究方向。

**相关工作**
表1和表2总结了相关文献中提出的利用手腕设备检测刷牙行为的系统的主要特征。除非监测过程结合了手腕设备，否则这些表格排除了基于其他类型设备（如智能牙刷）的系统（关于跟踪卫生习惯的可穿戴系统的全面综述，请参见Zhang等人的研究[34]）。

**数据集**
为了实现检测器，必须使用包含刷牙和非刷牙手部动作的标记数据集来训练学习模型。目前已有许多公开数据集，这些数据集记录了用户在刷牙时智能手表或其他类似可穿戴设备捕获的惯性信号，例如PAAL [58]、HFID [59]、Multi-sensory [60]、HMP [61]、WISDM [42]、EJUST-ADL [62]、SAMoSA [63] 或 ROBAS-UCLA [47]等。

**输入模式的定义与选择**
近年来，随着微处理器性能的提升且功耗保持不变甚至降低，智能手表的计算能力得到了增强。然而，由于其尺寸限制，智能手表在电池续航和计算能力上仍无法与智能手机相媲美。因此，为避免实时处理惯性传感器数据，我们选择了离线评估方法。

**检测器的实现**
CNN使用Python脚本和Keras API（TensorFlow的开源人工智能软件库[80]进行编程[79]。每个测试或训练模式由一个二维数组（3×97）表示，其中包含在三秒观测窗口内（以32 Hz采样率收集的97个样本）由三轴加速度计测量的数值：
MS=(Ax1…Ax96, Ay1…Ay96, Az1…Az96)

**在智能手表上的实现及实时验证**
在成功配置、训练并验证了能够离线检测刷牙动作并将其与其他日常生活活动区分开的CNN后，下一步是在智能手表上实现该模型，使其能够实时识别刷牙动作。为此，我们开发了一个基于Android Wear OS的应用程序，该应用程序集成了训练好的CNN。为此，我们利用了TensorFlow Lite框架。

**结论与未来工作**
使用智能手表监测刷牙行为对用户、护理人员和医疗专业人员都大有裨益。与需要专用硬件的智能牙刷不同，智能手表提供了一种非侵入性、低成本且易于获取的监测口腔卫生习惯的替代方案。凭借其内置的惯性传感器，智能手表可以无需额外设备即可检测刷牙模式、持续时间和频率。这种方法能够实现持续的作者贡献。Francisco Javier González-Ca?ete的职责包括：写作（审核与编辑）、撰写原始稿件、数据验证以及参与软件开发和调查工作。Eduardo Casilari的职责同样包括：写作（审核与编辑）、撰写原始稿件、项目管理工作以及概念构思。