编辑推荐：
量子神经网络与自注意力机制的融合模型QNN-SAM通过参数化量子电路实现无需量子随机存取内存和辅助量子位的全量子化自注意力计算，在气象指标预测、股票价格预测和文本分类任务中展现出参数效率高（气象任务参数减少75%）、精度优异（气象任务99.87%准确率）和强抗噪声鲁棒性（适用于NISQ设备）。
尚尚·史|王志敏|李佳欣|李亚楠|尚瑞敏|郑海勇|钟国强|顾永健|黄欣
中国山东警察学院刑事侦查研究所，济南
摘要
量子自注意力机制（QSAM）是经典自注意力机制（SAM）的量子版本。当前的实现通常依赖于量子随机存取存储器（QRAM）和辅助量子比特，这导致了计算成本的增加和效率的降低。我们提出了一种QNN-SAM模型，该模型将SAM的功能集成到了量子神经网络（QNN）算法中。该模型仅使用参数化量子电路（PQCs），无需QRAM或辅助量子比特。它专为噪声中等规模量子（NISQ）设备设计。具体来说，QNN-SAM模型定义了三种量子状态——查询、键和值量子状态。利用量子干涉原理，构建了具有量子聚焦功能的PQC。QNN-SAM模型仅使用PQCs计算查询和键量子状态之间的注意力分数和权重。该模型在预测气象指标、股票价格以及文本分类方面展示了优越的复杂性、收敛性和准确性。在气象指标任务中，QNN-SAM模型所需的参数仅为SAM的四分之一，同时实现了99.87%、93.51%和92.54%的高准确率。在股票价格预测中，该模型获得了更高的R2值以及更低的MAPE和RMSE指标。文本分类任务也受益于该模型，它使用了基线参数的三分之一，并在RP任务上实现了高达74.19%的准确率。此外，还证明了QNN-SAM对各种典型类型量子噪声的鲁棒性，进一步表明了该模型适用于NISQ设备。
引言
近年来，量子计算领域取得了显著的突破[1]、[2]、[3]。量子计算的基本特性，包括量子叠加和纠缠，为处理复杂数据集提供了创新方法，能够在希尔伯特空间内高效编码大量信息。此外，量子算法在某些特定任务中有可能超越经典算法，特别是在训练和推理相关的任务中提高效率。人们现在正进入量子计算的NISQ时代[4]。越来越多的人认为，近期的NISQ设备将通过利用NISQ算法发挥优势[5]。最有前景的方法之一是QNN的发展[6]、[7]。作为基于量子计算的神经网络模型，QNN利用参数化量子电路（PQCs）作为学习框架[8]，并可以扩展到深度神经网络架构，如量子卷积神经网络（QCNNs）[9]、[10]和量子循环神经网络（QRNNs）[11]。然而，当前的QNN模型往往忽略了量子数据点之间的内在关系，将每个数据点视为等同的。这种疏忽导致了对大量量子存储容量的需求，这不仅成本高昂，还阻碍了量子数据处理的可扩展性。在经典计算中，这些挑战通过SAM得到了有效解决。SAM是先进深度学习架构的核心，擅长自然语言处理[12]、[13]和计算机视觉[14]、[15]等领域。与仅处理局部邻域的卷积和循环模型不同，SAM利用非局部操作[15]，使其能够捕捉内在特征联系并全局理解数据。这种能力支撑了基于SAM的架构的卓越性能[16]、[17]。
QSAM是SAM的量子版本，融合了量子计算和SAM的优点。表1显示了在多个地方出现的QSAM模型，它指的是不同的框架。过去提出了几种通过在量子电路上模仿SAM的基本算术来复现SAM的提案[18]、[19]、[20]。尽管这些算法在渐近极限下有可能实现比经典对应算法指数级的加速，但它们需要一种高效的手段来实现QRAM。高斯投影量子自注意力机制（GPQSAM）被用于量子-经典混合自注意力神经网络（QCSANN）[21]中，在其中PQC仅用于为查询、键和值元素准备高维量子特征空间，而注意力分数则通过经典后处理进行评估。QCSANN框架是基于QSAM开发的。QCSANN的主要目标是构建遵循QSAM原则的量子电路，并可以在量子硬件上执行。
上述陈述引发了一个自然的问题：是否可以将QNN和SAM的优点结合起来，生成一个完全量子化的新模型，该模型不依赖于QRAM。这里，“完全量子化”表示所有可训练参数都与可调量子门相关联。为此，我们工作的贡献在于解决这些相关问题，并提出了一个符合NISQ标准的模型，即QNN-SAM。主要思想基于两个关键观察：（1）QNN使用带有可调量子门的PQCs，能够近似任何目标函数；（2）类似于QCNN，经典神经网络中的操作（如点积）可以通过使用PQCs来近似。
本工作的主要贡献如下：（1）基于QNN算法构建的QNN-SAM模型包含了PQCs，消除了对QRAM和辅助量子比特的需求。这些PQCs中的可训练参数通过损失函数优化了相似性关系和注意力焦点。（2）基于量子干涉原理，构建了一种专门的用于注意力焦点的PQC，包括受控相位门和旋转门。（3）数值实验表明，QNN-SAM模型在数值预测、股票价格预测和文本分类等任务中优于SAM模型和其他量子学习方法。此外，QNN-SAM模型对各种典型量子噪声表现出鲁棒性，进一步表明其适用于近期的NISQ设备。
本文的其余部分组织如下。第2节回顾了本文中将使用的QNN和SAM的初步概念。第3节讨论了我们的QNN-SAM架构的细节。第4节展示了QNN-SAM在气象指标、股票价格预测和文本分类任务上的性能以及其对量子噪声的鲁棒性。最后，我们在第5节讨论了QNN-SAM模型的资源需求并总结了我们的工作。
小节片段
量子神经网络
QNN是经典神经网络的量子类比，它们使用PQCs作为量子机器学习模型[22]。通常，QNN由四个部分组成：数据编码器、假设、量子测量和参数优化程序，如图1所示。前三部分在量子计算机上实现，而最后的优化程序在经典计算机上执行。
编码器电路用于将经典数据表示为量子状态，这涉及执行
查询、键和值量子状态
经典自注意力机制利用线性变换（公式4）将输入数据映射到查询（q）、键（k）和值（v）表示，有效地将输入空间桥接到更抽象的特征空间。这一过程使我们能够通过WQ、WK和WV捕捉输入数据的各种维度特征的相关性。相比之下，量子计算中的数据编码涉及通过PQCs将经典数据嵌入到量子状态中。这些嵌入变换
数值实验
在三个不同的任务上评估了QNN-SAM的准确性和有效性：气象指标、文本分类和股票价格预测。
QNN-SAM的资源需求
序列长度显著影响量子比特数量、门深度、电路复杂性和可训练参数。我们在气象指标数据集的四个预测任务中使用了QNN-SAMo（如第4.1节所述）：（1）使用前三天的数据预测第四天；（2）根据前四天的数据预测第五天；（3）根据前五天的数据估计第六天；（4）根据前六天的数据预测第七天。该数据集是
结论
本研究介绍了QNN-SAM模型，该模型将SAM集成到为NISQ设备量身定制的QNN算法中。QNN-SAM定义了三种量子状态：查询量子状态、键量子状态和值量子状态。通过仅使用PQCs，QNN-SAM计算注意力分数和权重，而不依赖于QRAM或辅助量子比特。开发了两种架构，QNN-SAMb和QNN-SAMo。QNN-SAMo旨在计算查询和键量子状态之间的相似性
资助
本工作得到了中国山东省自然科学基金[授权号ZR2021ZD19]、中国国家自然科学基金[授权号12005212]、中国山东省自然科学基金[授权号ZR2021MF131]以及公安部警务装备研发计划项目[授权号2024ZB21]的支持。
CRediT作者贡献声明
李佳欣：软件、调查。李亚楠：验证、概念化。尚瑞敏：可视化。郑海勇：数据管理。钟国强：监督、项目管理。顾永健：监督。黄欣：监督。尚尚·史：写作——原始草稿、资源、方法论、形式分析、数据管理、概念化。王志敏：写作——审稿与编辑、资金获取、概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
我们感谢中国海洋大学海洋高等研究院海洋大数据中心提供的计算资源支持。
尚尚·史是山东警察学院侦查学院的讲师。她于2024年获得中国海洋大学博士学位。她的研究集中在量子计算、量子算法和新兴犯罪模式的研究上。
