SAM-ColonPolypGen：通过强化学习和提示链技术提升结肠息肉报告的自动生成能力

《Biomedical Signal Processing and Control》：SAM-ColonPolypGen: Enhancing automated colon polyp report generation via reinforcement learning and prompt chaining

自适应卷积神经网络在糖尿病视网膜病变分类中的应用研究。通过图像预处理、特征学习优化和神经符号偏置校正，解决传统CNN模型在DR分类中的可扩展性、效率和偏差问题，显著提升分类准确性和计算效率。

　　

Aishwarya Jadhav | R.N. Awale | R.R. Ingle

Veermata Jijabai 技术学院，印度孟买

摘要

通过从大型眼底成像数据集中学习与糖尿病视网膜病变（DR）各阶段相关的模式和特征，卷积神经网络（CNN）在分类工作中发挥了重要作用。然而，深度学习（DL）在自主眼底图像处理方面的集成在可扩展性、多功能性和效率方面仍存在不足。偏见和眼底图像解释的重新训练会显著影响 CNN 模型的性能。为了解决这些问题，提出了一种用于自动分类 DR 级别的自适应 CNN（ACNN-DR）。ACNN-DR 包括眼底图像预处理、自动视网膜特征学习和 DR 分类。首先对获取的眼底图像进行预处理以提高视网膜特征的质量。所提出的 CNN 层旨在减轻训练偏见和灾难性遗忘问题，同时提高可扩展性、效率和适应性。为了减少模型偏见，采用了神经符号偏见校正（NBC）来设计 CNN 层。基于 NBC 的卷积层结合了语义约束，并将其映射到网络的学习表示中以发现和消除偏见。提出的 CNN 层进一步与增量学习方法集成，以解决灾难性遗忘问题并提高模型的适应性。增量学习是一种深度学习范式，其中提出的 CNN 模型可以逐步学习新的视网膜数据而不会忘记之前训练的信息。使用研究中的视网膜数据集分析了 ACNN-DR 的性能；结果表明 ACNN-DR 的效率得到了提升。

引言

糖尿病是一种慢性疾病，其特征是胰岛素生成或利用效率低下，可能导致 10 年后出现并发症，如糖尿病视网膜病变（DR）。高血压会恶化视网膜健康，从而导致 DR，甚至可能引发失明和死亡。眼科医生必须进行资源密集型的眼底镜检查以发现视网膜血管扩张。糖尿病是导致失明的主要原因，据估计到 2030 年将有 5.52 亿人受到影响 [1]，[2]。人工智能（AI）利用计算机辅助检测（CAD）[3]，[4] 等软件，通常借助机器学习（ML）和深度学习（DL）实现快速、准确的疾病检测 [5]，[6]。世界卫生组织（WHO）报告 2021 年有 690 万人死于糖尿病相关原因 [7]。糖尿病中的长期高血糖水平可能导致器官损伤和功能障碍。国际糖尿病联合会（IDF）指出，糖尿病影响了全球 10% 的人口，这是一个严重的健康问题。糖尿病与心肌梗死、肾衰竭和严重视力丧失等并发症有关。

DR 可能是由于糖尿病相关的并发症引起的，这是一个重要的问题。全球有大量患者受到 DR 的影响，其中一些患者经历了完全的视力丧失。大约 25% 的糖尿病患者患有糖尿病（DM），这是一种复杂的疾病。DR 是一种进行性眼病，长期糖尿病患者可能会出现逐渐或完全的视力丧失。工作年龄的人口对一个国家的经济发展起着关键作用，而 DR 影响了这部分人口中的很大一部分。印度正迅速成为一个糖尿病患者比例不断增加的国家。在没有症状或疼痛的情况下识别 DR 尤其具有挑战性，尤其是在视力保持正常的情况下。如果一个人的视力下降了 70%，这表明他们的病情有所改善。

在医学科学领域，识别 DR 的早期迹象是一个相当大的问题。被诊断为 DR 的患者往往直到视网膜发生不可逆的损伤或在临床检查中发现时才意识到这种疾病的微妙初始症状 [8]。定期进行眼部检查对于早期发现潜在问题至关重要。眼科医生通常使用 CAD 对眼底图像进行 DR 评估 [9]。医学图像预处理、特征选择和疾病分类是 CAD 系统的重要组成部分 [9]。视盘、血管、微动脉瘤（MA）、出血以及软性和硬性渗出物都是 DR 的临床表现。特征提取对于识别 DR 是必不可少的 [10]。DR 类型的确定受到缺血变化和血管退化的存在与否的影响，将其分类为非血管性或血管性。增殖性 DR（PDR）是 DR 最严重的阶段，与三个非 PDR（NPDR）阶段（轻度、中度和重度）相对 [11]。识别可接受的眼底病变是一个重要的科学问题。许多研究集中在出血、渗出物、微动脉瘤、血管和其他相关眼底特征上 [12]。然而，由于这些方法依赖于人工输入，它们面临各种挑战。因此，使用眼底图像进行 DR 的明确分类方法仍未解决。

传统的基于 ML 的 CAD 系统单独分析眼底图像中的每个病变，并利用这些信息进行 DR 分类。然而，这影响了 DR 检测和复杂处理的准确性。医学图像处理和患者监测是医疗保健中的两个重要应用，通常需要大量的计算分析 [13]。卷积神经网络（CNN）是一种非常有效的 DL 方法，可用于跨多个领域的图像数据评估 [14]。基于 CAD 的研究的主要焦点是开发旨在通过 DL 分析眼底图像来自动化异常识别的算法。这种方法旨在提高农村地区患者的诊断客观性和可及性 [15]，[16]，[17]。然而，由于这些信号在大小、形状、颜色和纹理上的差异，这带来了显著的挑战 [18]，[19]，[20]。与现代基于 DL 的技术应用相关的另一个挑战是它们在检测 DR 时的迟缓 [21]，[22]，[23]，[24]，[25]。以前的方法由于难以准确识别眼底图像中的特征而无法检测到各种眼底病变。

最近在基于 DL 的眼底图像处理方面的改进突出了可扩展性和效率等相关挑战。我们在下面概述了最近基于 DL 的方法所面临的主要挑战，这些挑战影响了整体效率和可扩展性。

•

质量较差的眼底图像在眼科领域带来了相当大的障碍，阻碍了精确的 DR 分类和有效的疾病管理。获取的眼底图像质量可能会丢失诊断信息，并对基于 DL 的 DR 分类产生不利影响。

•

通常需要重新训练 CNN 模型以适应新收集的眼底图像，这增加了自动 DR 分类的计算成本和模型大小。因此，现有的 DL 模型在 DR 分类方面仍然不具备适应性和计算效率。

•

由于现有基于 DL 的研究中缺乏适当的偏见校正技术，模型偏见会对整体 DR 分类性能产生负面影响。这些模型可能会表现出影响其公平性和可靠性的偏见。

这些研究空白使我们能够提出一种用于 DR 分类的自适应 CNN（ACNN-DR）。它旨在无需重新训练模型即可自适应地处理新获取的视网膜图像，从而提高分类和计算效率。ACNN-DR 包含以下创新点，体现了其独特性。

•

对获取的视网膜图像进行预处理以提高模型效率。使用自适应滤波技术过滤视网膜图像的绿色通道，以改善视网膜特征的质量。

•

使用贝叶斯优化（BO）高效设计卷积层以进行超参数微调。这些层与增量/连续学习技术集成，使用弹性权重整合（EWC）来解决灾难性遗忘问题。

•

在训练阶段使用神经符号偏见校正（NBC）进一步优化卷积层，以解决模型偏见问题，并实现 DR 分类的可靠性和公平性。

•

使用公开可用的研究数据集对 ACNN-DR 的有效性进行了实证评估。

第 2 节讨论了与 DR 分类相关的工作。第 3 节介绍了 ACNN-DR 的详细方法设计。第 4 节展示了仿真结果和讨论。第 5 节提出了结论。

相关工作

相关工作

在过去的十年中，已经提出了使用眼底图片进行 DR 分析的技术。正在开发一种新的有效 DR 分析方法。本节研究了基于 DL 的 DR 分析方法，并讨论了当前的研究问题。

ACNN-DR 方法论

图 1 全面展示了 ACNN-DR 方法，该方法使用计算效率高且自适应的 CNN 层进行 DR 分类。ACNN-DR 框架包括视网膜图像预处理、视网膜特征工程和 SoftMax 多类分类。预处理阶段侧重于提高视网膜眼底图像的质量，以实现精确的分类。预处理阶段在收集 RGB 视网膜图像后提高了输入质量。初始阶段是

仿真结果

所提出的概念使用 MATLAB（一种常用的图像处理软件）进行了实现。组合包括 Intel Core i7 处理器、8 GB 内存和 Windows 10 操作系统。接下来的部分将详细介绍数据集、性能指标、仿真结果和最新分析。使用了两个备受推崇的眼底图像数据集来评估所提出的模型。我们将视网膜图像调整为标准尺寸 1000 × 1000 以纳入研究。

结论

就计算复杂性和分类准确性而言，用于早期 DR 分类的 CAD 解决方案必须高效。本研究提出了创新的 ACNN-DR 模型，用于有效的基于 DL 的 DR 分类。ACNN-DR 主要关注两个问题：模型适应性和偏见校正，这两个问题都影响了 DR 分类的整体效率和计算复杂性。自动提取视网膜特征使用了预处理的 2D 视网膜图像作为输入

CRediT 作者贡献声明

Aishwarya Jadhav：撰写——原始草稿，概念化。R.N. Awale：方法论。R.R. Ingle：验证，监督。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。