编辑推荐：
本文提出一种混合初差的对话框架，利用大语言和视觉语言模型作为反思性AI伙伴，通过五个上下文信息通道提升工程设计效率。实验表明，高上下文保真度的AI能促进更聚焦的探索、减少认知负担并提高设计质量。
作者：Shantanu Vyas、Suryapavan Cheruku、Vinayak R. Krishnamurthy
美国德克萨斯A&M大学，College Station，77840，TX
摘要
在这项研究中，我们探讨了生成式AI代理作为工程设计中反思性伙伴的作用。尽管这类模型越来越多地被用于生成设计方案，但人们仍然担心它们可能会削弱设计师的批判性思维和推理能力。为了解决这个问题，我们开发了一个混合主动性的对话框架，将大型语言模型和视觉-语言模型定位为反思性思维的伙伴，而不仅仅是解决方案的提供者。该框架围绕五个上下文信息渠道构建，即任务-角色背景、设计表示、历史背景、评估信号和目标参考，使AI代理能够提出反思性问题并提供解释和建议。为了在一个具体的设计背景下研究这一框架，我们开发了一个交互式工具，该工具体现了2D结构设计任务的上下文保真度概念。我们实现了不同级别的上下文保真度，这些级别由代理可获得的上下文信息的范围来定义。我们通过一项涉及46名参与者的被试间研究来评估这些级别，将高保真度和低保真度代理与没有AI支持的对照组进行了比较。我们使用一系列综合指标来考察代理对用户思维、交流和行为的影响，包括粗略的设计目标（变形和材料使用）、解决方案质量指标（结构和几何分析）、过程导向的衡量标准（设计空间探索模式和轨迹、设计策略转变）、对话动态（主题和时间分析）以及主观调查（NASA-TLX、认知负荷理论、对AI的信任）。我们的分析表明，虽然对话代理不能立即帮助改善粗略的设计目标，但它们显著影响了设计过程和结果的细微方面。与代理的互动极大地影响了用户探索设计空间的方式，其中代理支持的组表现出比对照组更集中的探索模式。此外，与高保真度代理的互动产生了与最优设计更高对称性和拓扑对齐的解决方案，促进了更深入的反思，减少了心理负担，并支持了更审慎的设计决策。基于这些发现，我们讨论了AI代理对问题解决过程的更广泛影响，并概述了为不同领域设计适应性和通用框架的指导原则。
引言
生成式AI在工程和设计任务中得到了广泛应用[1]，应用范围从设计概念化到超材料合成。大型语言模型（LLMs）和视觉语言模型（VLMs）的最新进展加速了这一趋势，使用户能够用自然语言与AI互动，并利用它来生成和评估解决方案及设计选项[2]、[3]、[4]、[5]。然而，这种转变在人机协作中引入了一个关键挑战，即人类越来越多地被定位为在AI生成的选项中做出选择的被动决策者，而不是积极的问题解决者。虽然这种角色划分可能提高了经验丰富的设计师的效率，但它引发了关于此类互动如何影响人类推理的重大担忧。越来越多的研究表明，过度依赖AI会削弱自主性、批判性思维和探索性推理[6]、[7]。虽然用户习惯于将认知负担转移给AI伙伴，但他们可能会忽略上下文细微差别，从而失去在工程领域至关重要的批判性评估问题的能力。
为了解决这一挑战，需要设计出能够保留反思机会、促进更深入推理和理解以及技能发展的交互式人机交互。然而，在如何系统地构建此类交互方面仍存在显著差距。我们缺乏具体的框架来指导对话式AI代理支持人类思维，而不仅仅是提供解决方案，特别是在像工程设计这样的复杂领域。虽然之前的工作提出了人机交互角色的概念性指导原则[8]、[9]，但很少有研究将其转化为功能性系统或在复杂问题领域中通过真实用户进行评估。为了弥合这一差距，我们从Sch?n的“行动中的反思”[10]概念中获得灵感，并提出了一个新颖的混合主动性对话框架，将用户定位为主要问题解决者，而AI模型（如LLMs和VLMs）则扮演支持性和反思性的角色。该框架通过不同的“上下文渠道”整合了多种信息来源，即“任务-角色背景”、“设计成果状态”、“历史背景”、“评估信号”和“目标参考”。我们通过开发具有不同“上下文保真度”水平的代理来实现这些渠道，这里的保真度定义为代理可访问的信息范围。这些对话式代理嵌入在我们开发的交互式结构设计工具中，使系统能够在复杂的多目标、视空间设计任务中利用多模态数据与用户互动。
为了考察我们的对话工作流程对设计过程和结果的影响，我们进行了一项涉及46名参与者的被试间研究，比较了无AI控制组、低保真度代理组和高保真度代理组。研究旨在探讨对话式代理和不同上下文保真度如何影响参与者的设计结果、设计过程和策略（“我们的行为方式”）、对话动态（“我们的交流方式”）以及认知负荷、感知工作负荷和学习体验（“我们的思维方式”）的衡量标准。我们的发现表明，虽然对话式代理可能不会立即影响粗略的设计目标，但在不同的组中，它们在设计细节方面产生了显著差异，代理的上下文保真度直接影响了这些设计决策。研究表明，上下文保真度对设计过程有重大影响，包括用户如何探索设计空间以及他们在解决问题过程中如何调整策略。我们观察到，在对照组中，用户通过大量的试错方法使用反思性方法，而对话式代理促进了更深入的思考，并减少了解决问题任务中不必要的方面的负担。此外，与高保真度代理的互动产生了与最优设计更高对称性和拓扑对齐的解决方案，促进了更深入的反思，减少了心理负担，并支持了更审慎的设计决策。基于这些发现，我们讨论了AI代理对问题解决过程的更广泛影响，并概述了为不同领域设计适应性和通用框架的指导原则。
相关研究
方法论
为了解决文献中确定的知识空白，我们开发了一个新的对话框架，使LLMs和VLMs能够在设计任务中充当反思性思维伙伴（图1）。我们的方法强调在整个问题解决过程中保持用户的参与度和自主性，即使在与AI模型互动时也是如此。因此，这引发了两个关键问题：(1) 需要向模型提供哪些类型的上下文信息，以便它们能够有效地与用户互动？
案例研究：结构设计
为了展示我们的框架，我们需要一个足够复杂的问题空间，其中包含权衡和推理，同时又适合没有专业知识的参与者。结构设计提供了这种平衡。它结合了力学和物理学的原理，并具有直观的视觉和空间表示。由于结构设计问题本质上是多目标的，通常要求设计师在材料使用、变形、强度等方面进行平衡
实验设计
为了评估系统并考察AI代理在设计协作中的作用，我们进行了一项被试间研究，包括一个对照组和两个实验组。对照组独立完成了设计任务，没有AI支持。相比之下，实验组的参与者与低保真度（LF）或高保真度（HF）AI代理进行了互动。为简洁起见，在接下来的讨论中，我们将实验组分别称为LF组和HF组
结果与发现
结果部分分为四个小节：(1) 上下文保真度对实现目标和设计结果的影响；(2) 它对设计探索过程和策略转变的影响；(3) 实验组参与者如何寻求代理的帮助并与其进行反思；(4) 它对认知负荷和学习的影响。
局限性
我们工作的一个局限性是任务持续时间较短。这一限制可能阻止了一些接近实现目标目标的实验组参与者完成任务。更重要的是，时间限制也限制了延长对话的机会。尽管如此，在此类任务中设置时间限制是自然的，但过长的会话可能会导致疲劳和认知超载。未来工作中的一种潜在解决方法是通过
结论与未来工作
在这项工作中，我们提出了一个新颖的混合主动性对话框架，将大型语言模型和视觉语言模型定位为复杂设计任务中的反思性伙伴。我们定义了有效的人机协作所需的关键上下文信息渠道，并提出了两种不同保真度的代理级别。为了评估这一框架，我们将其集成到了一个交互式结构设计工具中，并进行了
CRediT作者贡献声明
Shantanu Vyas：撰写 – 审稿与编辑、撰写 – 原稿、可视化、软件、方法论、调查、形式分析、概念化。Suryapavan Cheruku：软件、方法论、调查。Vinayak R. Krishnamurthy：撰写 – 审稿与编辑、监督、资金获取、概念化。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Vinayak Krishnamurthy报告称获得了德克萨斯A&M大学通过Morris E. Foster Faculty Fellowship和J. Mike Walker Career Development Professorship提供的财务支持。如果有其他作者，他们声明没有已知的可能会影响工作的财务利益或个人关系
致谢
这项工作部分得到了Morris E. Foster Faculty Fellowship和Vinayak Krishnamurthy获得的J. Mike Walker Career Development Professorship的支持。本文中的任何观点、发现、结论或建议均为作者所持，并不一定反映资金来源的观点。
