MANet：一种用于脑肿瘤分类的多模态注意力卷积神经网络

《Scientific Reports》：MANet: a multimodal attention convolutional neural network for brain tumor classification

　　

摘要

脑肿瘤的分类是医学影像分析中的一个难题。近年来，人们采用了多种基于深度学习的技术来检测和分类来自计算机断层扫描（CT）和磁共振成像（MRI）的肿瘤。本文提出了一种新的模型，称为基于多模态注意力机制的卷积神经网络（MANet），用于脑肿瘤的检测和分类。该模型通过注意力机制整合了从MRI图像中提取的多种特征集，包括小波特征、边缘特征和纹理特征。该网络分为两个模块：特征提取模块和分类模块。特征提取模块分别结合了小波注意力、边缘注意力和纹理注意力三种机制来学习来自不同特征集的判别性特征；分类模块则通过全连接层对这些特征进行整合并生成预测结果。该模型能够识别四种类型的脑肿瘤：胶质瘤、脑膜瘤、垂体瘤和非肿瘤组织。实验使用了两个公开可用的数据集对MANet模型进行了验证，这两个数据集分别为增强对比度的磁共振成像（CT-MRI）和脑肿瘤磁共振成像（BT-MRI）。研究结果表明，MANet模型的性能优于其他现有方法。实验结果显示，该模型的准确率为99.12%，精确率为99.44%，召回率为99.35%，敏感性为99.1%，特异性为99.6%，F1分数为99.5%，表现出显著的优势。此外，实验还验证了不同注意力机制以及所提出的多模态融合技术的有效性。综上所述，MANet模型作为脑肿瘤分类工具具有很大的潜力。