基于深度语义融合的几何图解译与推理新范式：语义引导跨注意力机制突破多模态语义鸿沟

《Symmetry》：Geometry Diagram Parsing and Reasoning Based on Deep Semantic Fusion

本文针对自动几何解题（AGP）中的视觉-文本语义鸿沟难题，创新性地提出了一种双流融合模型。该模型通过语义引导跨注意力（SGCA）机制，将预训练语言模型（PLM）的深层语义注入几何图解译流程，生成语境增强的视觉表征，再结合图神经网络（GNN）进行关系推理，显著提升了复杂几何关系（尤其是对称性）解析的准确性与鲁棒性，为智能教育平台等应用提供了新范式。

　　

引言

自动几何解题（Automated Geometric Problem Solving, AGP）是人工智能领域一项长期存在的挑战，在智能教育平台、自适应学习系统等领域具有巨大应用潜力。典型的几何问题由图示和伴随文本共同构成完整的问题信息。解决此类问题的首要且关键步骤是几何图解译（Geometric Diagram Parsing），其目标是识别图中的几何基元（如点、线、圆）并确定其相互关系，从而生成图的结构化解释。许多几何问题的关键在于识别显性或隐性的对称属性（如全等三角形、相等线段或角平分线），因此准确解析这些对称关系是成功进行自动推理的基础。

当前主流的深度学习方法，如PGDPNet，虽然在解析结构良好的图示方面表现出色，但其核心弱点在于过度依赖纯视觉信息，无法有效整合自然语言描述提供的完整语境。当图示本身存在歧义时，这一局限性尤为突出。例如，关键信息（如某条线是角平分线）可能仅存在于文本中。忽略此文本线索的模型容易做出错误假设，从而导致后续推理全部无效。这种视觉与文本理解之间的脱节——即语义鸿沟（semantic gap）——是阻碍AGP系统发展的核心瓶颈。

方法论

整体架构

为应对上述挑战，本研究提出了一种新颖的双流融合模型，其核心思想是将强大的预训练语言模型（Pre-trained Language Model, PLM）深度集成到几何图解译流程中。模型架构包含两个主要数据流：视觉通路和文本通路。视觉通路负责识别图中的几何基元并提取其低层视觉特征，借鉴了PGDPNet模型的强大前端。文本通路则使用蒸馏版的BERT模型（DistilBERT）处理问题的自然语言描述，目标是生成一个单一的高层语义向量，以捕捉全局语境和意图。

模型的核心创新在于语义引导跨注意力（Semantic-Guided Cross-Attention, SGCA）融合模块。该模块采用单向的文本到视觉的引导范式，而非更复杂的双向共注意力机制。这是基于几何问题的本质：文本通常扮演着提供确定性约束、澄清或补充图示中完全缺失信息的分层角色。因此，模型将文本表征视为高层的“指令集”，用于调制和细化视觉数据的解释。这种聚焦方法不仅在解决歧义方面非常有效，而且比更复杂的融合策略具有更高的计算效率和可解释性。

SGCA机制将全局文本语义向量作为查询（Query），将从视觉基元特征矩阵派生出的键（Key）和值（Value）集作为被查询对象。通过缩放点积注意力计算，文本的全局意图动态地重新权衡视觉特征，使得文本能够引导模型关注图中最相关的基元。最终，通过残差连接和层归一化，产生语境增强的视觉特征矩阵，为后续的图推理网络提供高质量的输入。

模态特异性特征编码

视觉通路：给定图示图像I，视觉编码器Φ_vis识别出一组N个几何基元P = {p₁, p₂, ..., p_N}。对于每个检测到的基元p_i，模型从卷积特征图中提取对应的D_v维特征向量v_i∈ R^D_v，封装其局部视觉外观。这些特征向量被堆叠成视觉特征矩阵V ∈ R^{N × D_v}，该矩阵在此阶段仅包含纯视觉信息。

文本通路：输入文本被处理为标记序列T = (t₁, t₂, ..., t_L)，输入DistilBERT模型Φ_lang。模型输出最终隐藏状态序列，其中对应于特殊[CLS]标记的最终隐藏状态被定义为全局语义语境向量C_text∈ R^D_h，它作为问题陈述核心“意图”或“约束”的概括，是指导后续融合过程的理想语义查询。选择DistilBERT是为了在性能与计算效率之间取得平衡。

图基关系推理

获得语境增强的特征矩阵V_fused后，最终任务是推断基元之间复杂的关系网络。该问题通过基于图的方法进行建模。构建一个全连接图，其中每个基元对应一个节点，并使用其来自V_fused的相应语境感知特征向量进行初始化。目标是预测该图中每条边的类别，即代表连接的两个节点之间的关系。

为执行此复杂的关系推理，采用了图神经网络（Graph Neural Network, GNN）。具体选择是PGDPNet基线中使用的边门控图注意力网络（Edge-gated Graph Attention Network, EGAT）。与节点中心的注意力模型（如GAT）不同，EGAT引入了边门控机制，允许模型根据边特征动态控制节点间信息流的强度。在几何关系解析任务中，关系本身就是边的属性，因此EGAT的以边为中心的建模范式与任务的基本性质内在一致，使其能够更直接、灵活地捕捉不同关系类型的独特交互模式。

GNN通过迭代的消息传递过程运行。在每次迭代中，每个节点聚合其邻居的特征信息，同时EGAT机制使用其门来控制沿每条边的信息流。这种迭代细化过程使模型能够推理高阶依赖关系。经过固定次数的迭代后，最终的节点嵌入被用于对每个成对关系进行最终分类。通过从一开始就为GNN提供语义丰富的特征，该模型在正确识别严重或完全依赖于文本描述的关系方面表现出远胜于前的强大能力，从而产生更鲁棒和准确的最终解析结果。

实验与分析

数据集与评估指标

为全面评估模型性能，使用了两个广泛采用的基准数据集：PGDP5K和IMP-Geometry3K的重新标注版本。评估严格遵循PGDPNet论文中定义的指标，主要使用关系解析的F1分数（按关系类型细分）和全关系准确率（Full Relation Accuracy, FRA）。FRA衡量模型正确解析问题中所有关系的能力，是评估整体性能的黄金标准。

主要结果比较

实验结果表明，该方法确立了新的技术水平，实现了84.8%的FRA，比强大的PGDPNet基线显著提高了1.6个百分点。详细分类显示，最大的增益出现在文本依赖类别上：Text2Geo F1（+0.6%）和Sym2Geo F1（+0.7%）。这直接验证了深度语义融合对于解析文本约束至关重要的核心假设。更重要的是，这种增强的解析能力为下游应用带来了切实的好处。1.6%的FRA提升导致命题生成准确率显著提高4.1个百分点，最终解题准确率提高2.6个百分点（从72.5%提高到75.1%）。这证明了优越的上游解析直接促成了更有效的下游推理。

效率与消融分析

效率分析表明，使用DistilBERT的主要配置在达到84.8% FRA的同时，保持了7860万参数的合理数量。使用更大的BERT-base编码器仅带来+0.2%的边际改进，但参数数量大幅增加至1.221亿，这强烈验证了DistilBERT的选择，确认了所提出的模型在技术水平性能与计算效率之间取得了极佳的平衡。

消融研究剖析了架构性能增益的来源。从PGDPNet基线（83.2% FRA）开始，单独集成SGCA或EGAT分别带来了+1.1%和+1.0%的显著改进，均大幅优于简单的文本融合策略（+0.6%）。关键的是，当这两个组件在完整模型中结合时，它们表现出清晰的协同效应，最终达到+1.6%的性能提升，验证了集成的架构设计。此外，训练损失收敛曲线显示，该模型不仅收敛更快，而且在训练后期表现出更稳定的收敛状态，表明其具有优越的学习能力和泛化性能。

定性与鲁棒性分析

定性分析通过典型案例展示了模型解决图示-文本歧义的能力。在一个需要基于与视觉表征相矛盾的文本描述进行推理的问题中，仅视觉基线由于无法理解文本约束，错误地识别了视觉上相似的角度作为答案。相比之下，该模型准确地融合了文本语义，执行了正确的逻辑推理，并得出了正确答案。这生动地证明了该方法在解决依赖于文本信息的歧义方面的有效性。

针对性的测试进一步系统评估了这种能力。在文本噪声注入测试（包括拼写错误、同义词替换等）中，该模型的FRA仅下降约4%，而基于规则的Inter-GPS系统的性能下降超过15%，显示出对语言变化的强大鲁棒性。在图示信息遗漏测试（随机擦除一个基元）中，仅视觉的PGDPNet由于无法找到对应实体而完全失败。该模型在全局文本的引导下，仅受到轻微影响（FRA下降约2%）。这些分析共同提供了令人信服的证据，表明语义引导的融合策略不仅能有效解决复杂的图示-文本歧义，而且在面对不完美输入时仍保持鲁棒性。

错误分析

尽管取得了显著的性能提升，但对失败案例的详细分析揭示了几个尚存的挑战。主要错误类别包括：

1. 1.
   文本中的复杂逻辑链：当关键关系通过文本内的多步逻辑链隐含时，模型常常失败。全局句子嵌入在捕捉整体语境时，可能会丢失此类结构的细粒度、顺序性质。
2. 2.
   密集图中的视觉 grounding 歧义：在具有许多相似基元的杂乱图中，模型可能无法将文本描述正确链接到精确的视觉元素。这表明融合机制对于高度复杂的场景可能不够细粒度。
3. 3.
   领域特定术语的知识缺口：通用的预训练语言模型有时缺乏对专业几何术语的深层、公理性理解。模型的知识更多是关联性的而非因果性的。
   这些失败案例强调，虽然语义引导的方法是向前迈进的一大步，但通往完全鲁棒的几何求解器的道路还需要在多步文本推理、更精确的 grounding 机制以及更深度的领域知识集成方面取得进展。

结论与未来工作

本研究直面自动几何解题中的语义鸿沟关键挑战。通过设计一个以语义引导跨注意力机制为核心的新颖双流架构，证明了利用全局文本语义来指导局部视觉解析是一种高效策略。该模型建立了一个在语义增强的图上进行推理的新范式，在关系解析和下游解题方面实现了领先的性能。核心贡献在于验证了未来的智能几何求解器必须进化为“双专家”，精通视觉和语言推理，超越单模态系统的性能瓶颈。

尽管取得了显著成功，本研究也指出了未来研究的一些有前景的方向。在方法论层面，当前的通用语言模型在理解专业术语方面存在局限，图示-文本融合机制还有进一步优化的空间。未来的工作可以专注于开发或微调领域特定的语言模型，以更好地公理性而非关联性地理解专业术语。此外，探索更复杂的双向或迭代融合策略可以实现更深层次的跨模态交互。在应用和生态系统层面，倡导创建下一代基准数据集以推动持续进步。这些数据集应超越现有范围，包含需要多步文本逻辑推理、更多样化的视觉-文本歧义、甚至外部知识的问题。此类努力将推动模型从当前的“图示-文本解析”阶段迈向更高层次的“多模态知识推理”，为真正通用的自动几何解题器奠定基础。