《Visual Informatics》：AI-assisted assessment of higher education quality: A visual analytical approach
编辑推荐：
本文介绍了一个名为Iva的智能视觉评估系统，旨在解决高等教育质量评估中存在的评估标准复杂、数据量大、主观性强等难题。研究人员通过融合大语言模型（LLM）与可视化分析技术，开发了人机协同的评估框架，实现了从多模态教育数据中自动生成诊断报告、构建知识图谱和智能问答等功能。系统评估显示其能有效提升评估效率与可靠性，为高等教育质量监测提供了创新工具。
在当今高等教育蓬勃发展的背景下，大学声誉和教学质量评估日益受到社会各界的关注。从学生家长到政府部门，再到高校自身，都期望通过科学评估来提升教育质量。然而，高校声誉的构成要素极为复杂，涉及基础设施、师资队伍、科研能力、学生就业等多个维度，如何准确界定这些因素并实现平衡成为巨大挑战。尽管大数据技术为教育数据的收集和分析提供了便利，但专家仍需耗费大量时间审查数据并形成评估结论，这一过程既复杂又耗时。
传统的高等教育质量评估方法存在明显不足：评估工具落后、评估主体有限、评估方式单一，难以满足不同用户的多样化需求。特别是当前的人工智能教育系统多聚焦于微观场景（如具体课程学习），而缺乏对高等院校整体质量评估的宏观视角。此外，纯粹由人工智能做出的评估存在可靠性问题，因为深度学习模型缺乏可解释性，而教育评估涉及大量主观因素，无法完全由机器替代。
在这项发表于《Visual Informatics》的研究中，厦门大学的研究团队开发了一套名为Iva（智能视觉评估）的人机协同高等教育质量评估系统。该系统创新性地将大语言模型（LLM）与可视化分析技术相结合，通过三个核心模块实现高等教育质量的智能评估：数据处理模块负责从多源数据中提取和清洗信息；数据分析模块利用LLM生成评估报告；可视化模块提供从粗到细的探索方式，包括自动生成的诊断报告、基础数据面板、知识图谱可视化和智能问答机器人。
研究人员为系统设计了符合实际评估需求的功能架构。数据处理阶段采用UnstructuredIO进行文本提取，结合KeyBERT进行关键词抽取；评估报告生成环节选用Qwen-2.5模型，基于精心设计的提示模板从教育评估指标和相关数据中生成综合分析；智能问答模块引入检索增强生成（RAG）技术，通过向量数据库检索确保回答准确性；知识图谱构建则采用手动与自动结合的方式，支持实体关系的动态提取和可视化。
研究团队通过专家访谈、案例研究和用户研究三个维度验证系统效能。专家访谈显示，教育主管部门人员、高校评估专家和教务工作人员对系统的界面友好性、功能实用性给予高度评价。案例研究以某高校（代号Y校）的评估为例，展示了系统如何在40分钟内完成对三个关键指标（专职质量监测人员比例、教授授课情况、职业指导师资比）的深入分析，并生成具体改进建议。用户研究采用系统可用性量表（SUS）进行评估，平均得分75.63（标准差9.43），达到"良好"水平，其中智能问答功能获得最高评分。
主要研究结果
- 1.
系统架构设计：成功构建包含数据处理、数据分析和可视化三大模块的集成系统，支持从多源教育数据到智能评估报告的完整流程（图1）
- 2.
用户界面优化：实现从粗到细的导航方式，通过诊断报告概览、基础数据深入分析、知识图谱探索和自然语言问答的有机组合，满足不同用户的评估需求（图2）
- 3.
技术实现创新：采用Qwen-2.5模型生成评估内容，结合RAG技术提升问答准确性，实现动态知识图谱构建，确保评估结果的可解释性（图5、图7）
- 4.
评估效能验证：通过实际案例证明系统能快速识别高校存在的问题（如师资配置不足、教授教学时长偏低等），并给出针对性改进建议
研究结论表明，Iva系统为高等教育质量评估提供了创新解决方案，通过LLM与可视化技术的有效融合，实现了评估过程的智能化、可视化和人机协同。系统不仅能显著减轻评估专家的负担，提高评估效率，还能通过多尺度探索和自然语言交互满足不同用户的个性化需求。尽管在知识图谱自动构建等方面仍存在改进空间，但该研究为人工智能在教育评估领域的应用提供了重要实践范例，对未来教育质量管理系统的开发具有重要参考价值。
