精神健康障碍，如精神分裂症和双相情感障碍，是复杂的多因素疾病，对准确诊断和有效治疗提出了重大挑战（Dickinson等人，2008年）。这些疾病的特点是症状重叠、临床表现多样，且对治疗的反应各不相同，这使得鉴别诊断成为临床医生的一个关键而困难的任务。传统的诊断方法通常依赖于临床访谈和行为评估，可能无法完全捕捉患者之间的神经生物学差异。因此，人们越来越关注利用神经影像学数据来支持诊断过程，以了解与各种精神健康状况相关的脑结构和功能变化（Acharya等人，2015年；Liu等人，2022年；Zhang等人，2023年）。最近在精神疾病神经影像学领域的研究中，应用了机器学习模型结合图论指标来辅助广义焦虑障碍的诊断，展示了拓扑网络特征在精神疾病分类中的潜力（Jiang等人，2023年）。
成像技术的最新进展，特别是磁共振成像（MRI），使我们能够更详细地了解患有精神疾病个体的大脑结构和功能变化。MRI能够无创地检查大脑解剖结构，提供关于皮层厚度、灰质体积等结构生物标志物的宝贵信息。非侵入性技术如脑电图（EEG）也在继续被探索作为精神疾病和认知障碍的功能生物标志物，为结构成像提供补充信息（Koenig等人，2020年）。然而，手动解读MRI图像耗时且容易受到观察者偏见的影响；因此，需要自动化方法（如机器学习，Adeli和Hung，1995年）来提高诊断准确性。
深度学习和卷积神经网络（CNN）在医学领域的成功应用已经应用于多种任务，例如检测和分类肿瘤、在部分遮挡情况下识别人类活动（Vernikos等人，2023年）、诊断神经系统疾病（如癫痫，Yousif和Ozturk，2023年）和重度抑郁症（MDD，Shahabi等人，2023年）以及心血管疾病。在精神病学研究中，CNN被应用于MRI数据以分类精神健康障碍，显示出区分精神分裂症和双相情感障碍与健康对照组的有希望的结果。最近，Al Fahoum和Zyout（2024年）使用小波变换、重构的相空间和深度学习神经网络进行基于EEG的精神分裂症检测。然而，精神疾病的复杂性和异质性要求采用先进的方法来充分挖掘CNN在临床应用中的潜力（Siuly等人，2023年；Korda等人，2022年）。
除了MRI之外，能够可视化突出特定脑区的图像分割技术还可以提供关于大脑解剖和结构方面的补充信息（Mirzaei和Adeli，2019年）。先前的研究（例如Zhang等人，2019年；Masoudi等人，2021年）探讨了相关主题，但在基于CNN的分类中独立使用分割图像的研究仍然较少。为了进一步提高所提出的鉴别诊断模型的可解释性和实用性，本研究结合了大型语言模型（LLM）来辅助处理、解释和解释双重CNN模型的输出结果（Yang等人，2024年；Raiaan等人，2024年）。
本研究重点关注四个具有临床和神经生物学意义的诊断组：健康对照组（HC）、精神分裂症谱系障碍（SCZ）、伴有精神病性的双相情感障碍（BDWiP）以及不伴有精神病性的双相情感障碍（BDWOP）。选择这些组是因为它们代表了精神病学中最具挑战性的鉴别诊断问题之一。SCZ和BD具有重叠的症状、部分相似的脑结构改变以及类似的认知损伤轨迹，仅凭传统的临床评估很难准确区分。此外，区分伴有精神病性和不伴有精神病性的BD对预后和长期治疗计划有重大影响。儿童和青少年神经发育计划（CANDI）数据集为这四个组提供了高质量的结构MRI数据，使得在受控的成像环境中系统地评估解剖差异成为可能。
本研究提出了一种新颖的双模型方法，结合了MRI和图像分割的优势，用于精神健康障碍的鉴别诊断。分别在每种数据类型上独立训练CNN模型，从而从同一成像方式获得两种不同的图像表示。然后使用LLM分析这些模型的输出结果，以提高结果的可解释性和实际应用价值。
为了解决样本量有限的挑战，采用了迁移学习（TL）和数据增强（DA）技术，使模型能够利用现有知识并提高泛化能力。整合CNN和LLM的目的是：（1）评估MRI和分割数据对分类性能的独立贡献；（2）探索结合这两种模态的协同效益；（3）评估LLM在提高精神病学研究中复杂模型可解释性方面的潜力。
精神健康障碍的日益普遍给全球医疗系统带来了重大挑战。精神分裂症、双相情感障碍等精神疾病不仅对患者本人造成严重影响，也给家庭和社会带来巨大负担。世界卫生组织（WHO）估计，大约25%的人口在其一生中会受到精神健康障碍的影响，这凸显了有效诊断和治疗策略的迫切需求。传统的诊断方法往往依赖于临床访谈和行为评估，可能无法完全捕捉患者之间的神经生物学差异。因此，人们越来越重视利用神经影像学数据来支持诊断过程，以了解与各种精神健康状况相关的脑结构和功能变化（Acharya等人，2015年；Liu等人，2022年；Zhang等人，2023年）。最近在精神疾病神经影像学方面的研究利用机器学习模型结合图论指标来辅助广义焦虑障碍的诊断，展示了拓扑网络特征在精神疾病分类中的潜力（Jiang等人，2023年）。
成像技术的最新进展，特别是磁共振成像（MRI），使我们能够更详细地了解患有精神疾病个体的大脑结构和功能变化。MRI能够无创地检查大脑解剖结构，提供关于皮层厚度、灰质体积等结构生物标志物的宝贵信息。非侵入性技术如EEG也在继续被探索作为精神疾病和认知障碍的功能生物标志物，为结构成像提供补充信息（Koenig等人，2020年）。然而，手动解读MRI图像耗时且容易受到观察者偏见的影响；因此，需要自动化方法（如机器学习，Adeli和Hung，1995年）来提高诊断准确性。
深度学习和卷积神经网络（CNN）在医学领域的成功应用已经应用于多种任务，例如检测和分类肿瘤、在部分遮挡情况下识别人类活动（Vernikos等人，2023年）、诊断神经系统疾病（如癫痫，Yousif和Ozturk，2023年）和重度抑郁症（MDD，Shahabi等人，2023年）以及心血管疾病。在精神病学研究中，CNN被应用于MRI数据来分类精神健康障碍，显示出区分精神分裂症和双相情感障碍与健康对照组的有希望的结果。最近，Al Fahoum和Zyout（2024年）使用小波变换、重构的相空间和深度学习神经网络进行基于EEG的精神分裂症检测。然而，精神疾病的复杂性和异质性要求采用先进的方法来充分发挥CNN在临床应用中的潜力（Siuly等人，2023年；Korda等人，2022年）。
除了MRI之外，能够可视化突出特定脑区的图像分割技术还可以提供关于大脑解剖和结构方面的补充信息（Mirzaei和Adeli，2019年）。先前的研究（例如Zhang等人，2019年；Masoudi等人，2021年）探讨了相关主题，但在基于CNN的分类中独立使用分割图像的研究仍然不足。为了进一步提高所提出的鉴别诊断模型的可解释性和实用性，本研究结合了大型语言模型（LLM）来辅助处理、解释和解释双重CNN模型的输出结果（Yang等人，2024年；Raiaan等人，2024年）。
本研究重点关注四个具有临床和神经生物学意义的诊断组：健康对照组（HC）、精神分裂症谱系障碍（SCZ）、伴有精神病性的双相情感障碍（BDWiP）以及不伴有精神病性的双相情感障碍（BDWOP）。选择这些组是因为它们代表了精神病学中最具挑战性的鉴别诊断问题之一。SCZ和BD具有重叠的症状、部分相似的脑结构改变以及类似的认知损伤轨迹，仅凭传统的临床评估很难准确区分。此外，区分伴有精神病性和不伴有精神病性的BD对预后和长期治疗计划有重大影响。儿童和青少年神经发育计划（CANDI）数据集为这四个组提供了高质量的结构MRI数据，使得在受控的成像环境中系统地评估解剖差异成为可能。
本研究提出了一种新颖的双模型方法，结合了MRI和图像分割的优势，用于精神健康障碍的鉴别诊断。分别在每种数据类型上独立训练CNN模型，从而从同一成像方式获得两种不同的图像表示。然后使用LLM分析这些模型的输出结果，以提高结果的可解释性和实际应用价值。
为了解决样本量有限的挑战，采用了迁移学习（TL）和数据增强（DA）技术，使模型能够利用现有知识并提高泛化能力。整合CNN和LLM的目的是：（1）评估MRI和分割数据对分类性能的独立贡献；（2）探索结合这两种模态的协同效益；（3）评估LLM在提高精神病学研究中复杂模型可解释性方面的潜力。
精神健康障碍的日益普遍给全球医疗系统带来了重大挑战。精神分裂症、双相情感障碍等精神疾病不仅对患者本人造成严重影响，也给家庭和社会带来巨大负担。世界卫生组织（WHO）估计，大约25%的人口在其一生中会受到精神健康障碍的影响，这凸显了有效诊断和治疗策略的迫切需求。传统的诊断方法往往依赖于主观评估，可能导致诊断和治疗结果的差异。
最近的神经影像学研究，特别是使用MRI的研究，揭示了包括自闭症谱系障碍（ASD）（Nogay和Adeli，2023年；Nogay和Adeli，2024年）、精神分裂症（Pei等人，2024年）和重度抑郁症（MDD）（Ahmadlou等人，2013年）在内的几种精神疾病的重要结构和功能变化。
MRI使研究人员和临床医生能够可视化大脑结构并识别可能有助于诊断精神疾病的关键生物标志物。然而，MRI数据的解读复杂，需要复杂的分析技术。这种复杂性需要整合先进的计算方法，特别是机器学习（ML）和深度学习（DL），以改进评估过程。
最近的研究强调了CNN在多种医学应用中的成功，包括精神健康障碍的诊断。例如，先前的工作已经证明了基于CNN的模型在从结构MRI数据中分类精神分裂症方面的有效性（Wang等人，2016年；Hu等人，2022年），而其他研究则结合了结构和功能MRI特征使用深度学习来提高检测性能（Masoudi等人，2021年）。然而，这些研究通常仅使用单个CNN模型，并且仅依赖原始MRI数据。相比之下，本研究引入了一种双重CNN架构，其中两个网络分别在原始MRI和基于分割的图像上进行训练，从而从同一成像方式获得互补的特征。此外，使用LLM分析分类结果以提高可解释性和背景相关性。这种集成框架提高了四个诊断类别的分类性能，并提供了一个新的解释层，增强了透明度，支持精神病学诊断中的临床决策。
尽管取得了有希望的结果，但大多数现有研究主要关注原始MRI数据，对图像分割的补充作用关注较少。分割技术可以通过隔离特定的脑结构和异常来提高模型性能，从而提高分类准确性。尽管一些先前的研究将分割图纳入深度学习工作流程，但这些通常仅作为中间处理步骤或与MRI结合使用（Havaei等人，2017年；Zhao等人，2020年）。
此外，当前研究领域的大多数研究依赖于在原始MRI图像上训练的单一CNN模型（Hu等人，2022年），这可能限制了捕捉神经解剖数据多样性的能力。在精神疾病分类的背景下，使用双重CNN模型——其中一个网络处理原始MRI图像，另一个网络处理基于分割的图像——的研究较少。本研究通过评估从同一成像方式获得的数据表示的独立贡献，解决了这一不足。这种双重模型方法提供了从结构数据和空间定位的脑区提取互补特征的机会，从而更全面地理解精神疾病。
为了解决精神疾病诊断的复杂性，本研究引入了一种双重CNN框架，独立分析原始MRI和分割图像以捕获互补的神经解剖信息。整合LLM提供了一个事后解释层，使模型的决策能够在临床意义上得到解释。这些组件共同致力于推进基于AI的准确和可解释的诊断工具的发展。
