《Biomedical Signal Processing and Control》：CCNN: Concatenation-based convolutional neural network for multimodal breast cancer diagnosis
编辑推荐：
普丽蒂·潘杜兰格尔（Preeti Pandurang Kale）、苏贾塔·库尔卡尼（Sujata Kulkarni）、赫曼特·马哈詹（Hemant Mahajan）、莎伊拉贾·N·乌克（Shailaja N. Uke）、阿帕尔娜·朱纳卡（Aparna Junnarkar）、希尔帕
普丽蒂·潘杜兰格尔（Preeti Pandurang Kale）、苏贾塔·库尔卡尼（Sujata Kulkarni）、赫曼特·马哈詹（Hemant Mahajan）、莎伊拉贾·N·乌克（Shailaja N. Uke）、阿帕尔娜·朱纳卡（Aparna Junnarkar）、希尔帕·帕瓦尔（Shilpa Pawar）、沙拉尤·洛克汉德（Sharayu Lokhande）和苏尔巴·亚达夫（Sulbha Yadav）
印度恰特拉帕蒂·桑巴吉纳加尔（Chhatrapati Sambhajinagar）CSMSS恰胡工程学院（Chh. Shahu College of Engineering）电子与计算机工程系。
摘要
乳腺X光摄影和组织学是检测乳腺癌的常用方法；然而，选择合适的算法进行多模态图像预处理、特征提取和分类仍然是一个重大的研究挑战。深度学习（DL）方法在性能上有所提升，但使用包括乳腺X光摄影和组织学在内的多模态图像诊断乳腺癌仍然非常困难。本研究提出了一种基于拼接的卷积神经网络（CCNN）模型，用于自动分类乳腺癌。该模型首先进行多模态图像预处理，包括图像标准化、过滤和对比度调整。基于拼接的CNN能够自动提取乳房图像中的显著特征。CCNN技术解决了现有CNN模型在分类乳腺癌时忽略了乳腺X光摄影或组织学特征的问题。所提出的特征编码层包含一个注意力机制，并将每个注意力层的结果拼接起来以获得可靠的特征。为了提高乳腺癌分类的准确性，特征编码层使用了泄露修正线性单元（ReLU）。特征提取模型在拼接后使用了全连接层和SoftMax以及最优超参数。使用乳腺X光摄影、组织学和多模态数据集，该模型的准确率分别达到了98.33%、96.91%和99.18%，超过了主流基准方法的性能。
引言
乳腺癌是一种乳腺细胞不受控制地增殖引起的疾病。它是女性中最常见的癌症类型，也是诊断率最高的癌症[1]。乳腺癌有四个标志性特征：肿块、钙化、结构异常和双侧不对称。乳腺癌是全球女性死亡的第二大原因。早期发现乳腺癌是减少该疾病导致死亡数的最有效方法。乳腺癌是全球诊断率最高的癌症之一。虽然这种病主要发生在40岁以上的女性中，但有些女性在较年轻时也有可能患病，这是因为她们暴露在更多的风险因素中。乳腺癌主要影响女性，但男性患病的情况也并非罕见。在人类发展指数较低或中等的国家，乳腺癌的死亡率约为48%[2]。在人类发展指数较高或非常高的国家，乳腺癌的死亡率是其他国家的四倍[3]。广泛的筛查计划在早期发现乳腺癌方面效果显著，随之而来的治疗也有助于提高生存率。由于乳腺X光摄影的普及，工业化国家的乳腺癌死亡率大幅下降[4]。癌症的特点是细胞无序增殖和分裂速度过快。乳腺癌起源于乳腺组织。肿瘤分为两类：恶性肿瘤和良性肿瘤。良性肿瘤不会扩散到身体其他部位，不具有恶性[5]。恶性肿瘤会导致细胞增殖，并可能损害附近的器官。从乳腺扩散的癌细胞通常会首先转移到腋窝淋巴结，随后通过淋巴系统和循环系统扩散到全身。在最早阶段识别恶性肿瘤并采取必要的保护措施至关重要。除了乳腺X光摄影、超声检查、磁共振成像（MRI）和组织学检查外，活检（提取恶性组织样本）也能提供明确的诊断结果[6]。通过观察细胞，病理学家可以判断组织是良性、恶性还是正常的[7]。
由于乳腺扫描的检查过程繁琐且耗时，计算机辅助诊断（CAD）系统的应用在该领域非常有益[8],[9]。为了确保诊断的准确性，病理学家在分析这些材料时需要具备丰富的知识和细心程度。借助计算机辅助设计（CAD）软件，可以减少因疲劳或疏忽等原因导致的错误。这使得医护人员能够将时间投入到复杂的诊断案例中[9]。决策支持系统、基于CAD的软计算、专家系统以及利用机器学习（ML）[6],[10],[11],[12]和深度学习（DL）[14],[15],[16],[17]的技术都可以帮助医生在疾病早期进行诊断[6],[10],[11],[12],[13],[14],[15],[16],[17]。这些技术不仅能降低成本和等待时间，还能减少医疗人员的错误判断。CAD的主要目标是将人类专业知识与技术能力相结合，以实现更准确的乳腺癌诊断。近年来，医学图像处理领域已经开始使用基于DL的技术[18]。在许多国家，尤其是在发展中国家（如印度），并不总是支持定期体检或提高对乳腺癌的认识。尽管如此，在过去的几十年里，许多人已经开始使用医学成像技术进行筛查[19]。然而，放射科医生的影像解读能力和培训水平决定了医学成像技术的实际效果[20],[21]。
尽管DL技术（尤其是CNN）取得了进展，但由于图像复杂性、图像质量不佳和组织密度差异较大，它们在从乳腺X光摄影和组织学图像中有效提取和分类特征方面仍面临困难[22]。尽管基于DL的方法在乳腺癌诊断中受到了广泛关注，但现有的医学图像处理并未充分解决图像质量提升问题。原始的低质量图像会降低DL模型的性能，导致特征提取不准确、模型泛化能力差以及假阴性/假阳性的出现。现有的CNN模型没有采用轻量级的特征融合方法，从而影响了特征提取的效果。缺乏强大的层拼接方法会导致低层次空间信息和高层次语义信息提取不足，而这些信息对于准确区分不同类型的乳腺特征和检测癌变病变至关重要。为了准确诊断乳腺癌，需要从获取的乳腺图像中有效提取更大的上下文结构和详细的细节，但 recent 的DL 研究在这方面存在不足。因此，这些因素导致了乳腺癌分类/灵敏度的下降。在利用DL算法进行图像处理时，计算复杂性始终是一个问题，特别是在乳腺癌分类方面，它会限制模型的效率和准确性，延长处理时间并可能影响诊断结果的可靠性。鉴于这些问题，需要一种更强大、更高效的多模态乳腺癌诊断方法。为了实现基于医学成像的乳腺癌自动化诊断，我们提出了一种新的多模态DL模型——基于拼接的CNN（CCNN）。该模型包括动态图像预处理、自动特征提取和分类。为了有效地分类多模态乳腺癌，CCNN模型采用了以下改进：
•我们提出了高效的图像预处理方法，包括图像标准化、动态降噪和对比度调整。这种自适应预处理改善了图像质量，使得准确提取关键特征变得更加容易。
•设计了包含注意力机制的通用特征编码层，并通过层拼接来全面表示特征，提高了特征的重用率，并能从乳腺X光摄影或组织学图像中检测复杂特征。
•在CCNN中实现了轻量级贝叶斯优化（BO），以优化超参数调整，从而最小化计算成本并提高分类效果。
•基于BO的特征提取模型与分类器结合使用，实现了多模态和准确的乳腺癌分类。
•我们使用复杂的分析技术和来自乳腺X光摄影及组织学的数据集评估了CCNN模型的性能。
第2节简要总结了相关文献。第3节讨论了CCNN模型的技术细节，第4节展示了仿真结果，第5节给出了结论。
章节摘录
相关工作
近年来，基于ML和DL的图像处理CAD系统在正确决策方面受到了广泛关注。近期研究探索了多种利用ML和DL的方法，以改进乳腺组织学和乳腺X光摄影图像的分类[22]。本节回顾了多项基于ML和DL的研究，以识别该领域存在的问题。
CCNN 方法
图1展示了所提出的CCNN的整体功能，包括乳腺图像采集、图像预处理、用于自动特征提取的CNN模型以及乳腺癌的分类。获取的乳腺X光摄影或组织学图像通常具有高维度和较差的质量，这会对自动特征提取和分类过程产生不利影响。因此，CCNN模型的第一步是提高图像质量
仿真结果
使用Python 3.12.4和Windows 11操作系统评估了所提出的SIP-HDL模型的有效性。系统配备了Intel Core i5处理器、8GB内存和Nvidia显卡。评估标准包括准确率、F1分数、精确度、召回率和平均值等指标
结论
利用多模态图像（包含乳腺X光摄影和组织学图像）早期发现乳腺癌对于提高生存率至关重要。我们提出了一种新的CCNN方法，用于基于多模态图像的自动化乳腺癌分类。该模型包括图像预处理、自动特征提取和分类。乳腺图像预处理提高了重要特征的提取效果，如肿块、宏观钙化和结构异常等。
CRediT 作者贡献声明
普丽蒂·潘杜兰格尔（Preeti Kale）： 苏贾塔·库尔卡尼（Sujata Kulkarni）： 赫曼特·马哈詹（Hemant Mahajan）： 负责撰写初稿。莎伊拉贾·N·乌克（Shailaja N. Uke）： 负责验证。阿帕尔娜·朱纳卡（Aparna Junnarkar）： 希尔帕·帕瓦尔（Shilpa Pawar）： 负责监督。沙拉尤·洛克汉德（Sharayu Lokhande）： 负责研究。
利益冲突声明
作者声明他们没有已知的可能影响本文工作的利益冲突或个人关系。
