具有语义空间对齐的层次化多模态大语言模型，用于提升时间序列分类性能

《ACM Transactions on Intelligent Systems and Technology》：Hierarchical Multimodal LLMs with Semantic Space Alignment for Enhanced Time Series Classification

时间序列分类中，大语言模型（LLM）面临数值序列与语言语义的表征鸿沟。本文提出HiTime框架，通过分层序列特征编码模块（数据特定编码器+任务特定编码器）提取互补时序特征，并引入语义空间对齐模块实现全局语义匹配与局部跨模态对应。结合LoRA参数高效微调技术，利用混合提示引导LLM生成分类文本输出。实验表明HiTime在多个基准数据集上显著优于传统方法、深度学习模型及现有LLM方法，尤其在少样本场景保持优势，验证了分层编码与语义对齐的有效性。

　　

摘要AI摘要

摘要

摘要

时间序列分类在各种实际应用中扮演着基础性角色。最近，大型语言模型（LLMs）展现了强大的泛化能力和推理能力，但由于数值序列与语言语义之间的表示差异，直接将它们应用于时间序列分类仍然具有挑战性。在本文中，我们提出了HiTime，这是一个基于层次化LLM的多模态时间序列分类框架，它通过生成式范式将结构化的时间表示与语义推理联系起来。具体来说，我们设计了一个层次化的序列特征编码模块，该模块由数据特定编码器和任务特定编码器组成，以提取互补的时间特征。为了缩小时间序列表示与文本语义之间的嵌入差距，我们进一步引入了一个语义空间对齐模块，该模块同时执行粗粒度的全局建模和细粒度的跨模态对应。在上述表示的基础上，我们采用了一种参数高效的监督微调策略来激活集成LLMs的生成式分类能力，从而将传统的判别式时间序列分类转变为生成式任务。在多个基准测试上的广泛实验表明，所提出的框架始终优于现有的最佳实践¹。

AI摘要

AI生成的摘要（实验性）

此摘要是使用自动化工具生成的，并非由文章作者编写或审核。它旨在帮助读者发现研究内容的相关性，并协助来自相关研究领域的读者理解本文的工作。它旨在补充作者提供的摘要，后者仍然是文章的官方总结。完整文章是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

AI生成的摘要

该摘要由基于已发表文章文本的自动化系统生成。

版本创建于2025年12月30日。

本文探讨了将大型语言模型（LLMs）应用于时间序列分类的挑战，这一任务由于连续数值序列与离散语言语义之间的根本差异而变得复杂。为了弥合这一差距，作者提出了一个名为HiTime的新框架，该框架将层次化特征编码与语义空间对齐相结合，使LLMs能够在生成式建模范式内有效地处理和分类时间序列数据。

HiTime引入了一个层次化的序列特征编码模块，该模块包括一个通过自我监督学习训练的数据特定编码器和一个通过监督方式训练的任务特定编码器，以提取与分类目标相关的判别性特征。这种双编码器设计保留了一般性和任务相关的时间信息，提高了表示质量。为进一步解决时间和文本数据之间的模态不匹配问题，开发了一个语义空间对齐模块。该模块使用共享的可学习查询令牌和双级对齐策略，结合了粗粒度的全局语义匹配和时间序列嵌入与文本语义特征之间的细粒度局部对应关系。对齐后的嵌入使LLM能够有效地整合结构化的时间模式和语义推理。

HiTime还采用了一种参数高效的微调方法，即低秩适应技术（LoRA），通过精心设计的混合提示引导微调来激活LLMs的生成式分类能力。这些提示包括领域描述、先验知识、任务指令和对齐后的嵌入，提高了LLMs的理解和任务遵循性。分类推理以生成式方式进行，其中LLM生成文本输出，然后将其转换为离散标签，利用模型丰富的语义能力进行更精确和上下文感知的预测。

在多种公共时间序列数据集上的广泛实验表明，HiTime始终优于现有的最佳实践，包括传统的基于距离的方法、基于深度学习的方法、基于Transformer的方法以及现有的以LLM为导向的方法。消融研究强调了层次化时间编码和双级语义对齐在提升性能方面的作用。此外，研究发现，提示组件（如先验知识和任务描述）对准确性有显著影响，突显了提示设计的重要性。HiTime在少样本条件下也保持了稳健的性能，显示出在数据稀缺场景中的适应性。

特征表示的可视化确认了层次化编码有效地捕获了互补的时间特征，注意力分析强调了提示定位在推理过程中平衡时间和文本信息的重要性。尽管取得了有希望的结果，该框架仍面临一些挑战，如LLMs带来的计算开销、作为非基础模型的有限可扩展性、对高质量提示和配对多模态数据的依赖性，以及有限的推理深度。

总体而言，HiTime通过将结构化时间特征与LLMs的语义推理相结合，在生成式分类框架内通过层次化编码和语义对齐，提出了一种增强多模态时间序列分类的引人注目的方法。

此内容由AI生成。了解更多