编辑推荐：
光学相关器与卷积神经网络结合的多类分类方法，通过VanderLugt相关器生成二维相关图，利用神经网络直接学习相关图中的判别性特征，解决了传统方法依赖人工阈值和难以扩展的问题，在MNIST数字和时尚MNIST数据集上达到高精度分类。
Jyoti Bikash Mohapatra | Naveen K. Nishchal
印度理工学院物理系，比哈尔邦帕特纳，801106，印度
摘要
光学相关性是一种强大的对象识别范式，因为它具有内在的并行性和高速处理能力。然而，基于相关平面的决策过程仍然有限，因为大多数光学相关器主要适用于二分类，它们仅通过观察相关峰值来确认目标的存在与否。当查询信号包含多个目标时，这一限制变得尤为关键，因为传统方法需要使用多个参考进行广泛的相关性分析，使得过程变得复杂且不易扩展。为了解决这一挑战，我们提出了一个数据驱动的框架，该框架直接在相关平面上操作，并利用光学相关器的物理优势和神经网络的判别能力有效地对查询信号进行分类。据我们所知，这种独特的基于学习的相关方法扩展了光学相关器的应用范围，超出了二分类的范畴。重要的是，直接在相关图上训练网络可以降低相对于输入图像的维度，同时保留判别特征。在这种方法中，使用VanderLugt相关器生成相关图，然后使用两种提出的神经网络模型进行分析，从而实现稳健的分类。所提出的方法已经使用digit-MNIST、fashion-MNIST和实验室准备的车辆数据集进行了测试，并使用标准评估指标进行了评估，确认了高准确性和精确度。这种光-神经方法将光学相关器的应用范围扩展到了各种实际应用中。
引言
衍射傅里叶处理器利用光学系统的固有并行性，以远超传统电子处理器的速度执行二维信号的卷积和相关操作[[1], [2], [3]]。在这些系统中，傅里叶变换是通过透镜实现的，卷积在傅里叶域中简化为简单的点乘操作，从而实现超快和节能的处理[4]。VanderLugt相关器（VLC）[[5], [6], [7], [8], [9]]和联合变换相关器（JTC）[[10], [11], [12], [13], [14]]是最常用的两种衍射相关器系统，它们在模式识别领域因其固有的并行性而受到重视[15,16]。在基于相关的模式识别中，相关峰值强度至关重要，因为它反映了参考模式和查询模式之间的匹配程度[4]。最近的进展，如超并行全息光学相关器和超快实时相关器，在实际应用中显示出了巨大的潜力[17,18]。最近，混合光-数字相关器架构引起了极大的兴趣，它提供了高速处理和紧凑的设计[[19], [20], [21], [22]]。
尽管具有这些优点，传统光学相关器的应用范围仍然主要局限于简单的识别场景。虽然二分类相对直接，但将光学相关器扩展到多类识别则是一个根本性的挑战[23,24]。随着类别数量的增加，系统需要使用不同的参考滤波器进行多次相关操作，分类决策严重依赖于相关峰值强度的类别特定阈值处理[25]。然而，在实际条件下，相关峰值在尺度变化、旋转、照明、噪声和背景杂乱的情况下表现出明显的非均匀性，使得手动阈值选择对于大型数据集来说越来越不可靠和不切实际。更严重的是，衍射处理器的固定滤波器特性阻止了它们学习判别性表示，导致峰值模糊、在大数据集上的泛化能力差，以及完全缺乏数据驱动的优化。这些内在限制表明，基于光学相关器的识别的瓶颈不在于相关性的生成，而在于决策的可扩展性，因此激发了整合基于学习的框架的必要性，这些框架能够有效地利用相关输出中编码的丰富信息。
除了基于峰值强度的决策规则外，还探索了其他模式识别分类策略，包括基于距离的分类器、支持向量机、k最近邻和在不同复杂数据集上运行的浅层神经网络[[26], [27], [28]]。虽然这些方法在特征表示紧凑且分离良好时可以提供更好的判别能力，但将它们应用于光学相关器输出通常需要从相关平面中显式提取特征，例如峰值、能量比或统计描述符，然后进行仔细的参数调整。此外，随着类别数量的增加或由于噪声、失真或非均匀峰值结构导致的相关响应的强烈变化，这些分类器的鲁棒性和可扩展性受到限制。这些约束进一步强调了需要能够直接从相关输出中学习判别性表示的数据驱动模型，而无需依赖于手动设计的特征或固定的决策阈值。
与此同时，机器智能已成为光学信息处理领域的潜在驱动力[[29], [30], [31], [32], [33]]。机器学习的最新进展重新激发了对混合光-数字方法进行模式识别的兴趣[34]。用光学卷积替换数字卷积极大地提高了处理速度[35,36]。Chang等人引入了一种混合光-电子卷积神经网络（CNN）用于图像分类[37]。使用神经网络合成相关滤波器大大提高了精度和准确性[38,39]。Sorger及其团队引入了一种光子JTC来加速卷积处理，有望推进下一代人工智能（AI）能力在边缘计算、高性能计算和云服务中的应用[[40], [41], [42]]。在这些研究中，相关原理被用来通过光学卷积加速神经网络计算。尽管它们在神经网络中很有用，但经典相关器在有效分类方面的局限性仍未得到充分探索。Goncharov和Starikov的先前工作展示了将卷积神经网络与光学相关器结合的可行性，包括一个使用预训练网络处理JTC相关输出的框架[43,44]。然而，JTC本质上是一个两步过程，并且存在不希望的强零阶直流分量，这使得决策变得复杂。
为了解决经典光学相关器的局限性，本研究提出了一种VanderLugt相关器辅助的CNN框架，将光学相关性的速度和并行性与深度学习相结合。在提出的方法中，从训练数据中合成特定类别的相关滤波器，并使用VLC生成相关图。与依赖峰值强度和基于阈值的决策不同，得到的相关输出被视为信息丰富的特征表示，并用于以完全数据驱动的方式训练CNN。这种范式消除了手动阈值调整的需要，减轻了非均匀相关峰值的影响，并实现了可扩展的多类分类。在这项研究中，提出了两种神经网络架构用于分类。一种轻量级网络用于区分真实的相关图，而深度网络用于存在错误相关图（包括跨类别响应）的复杂场景。选择特定的神经网络是因为光学驱动的相关滤波器响应已经提供了类别特定的特征增强和背景抑制。这允许中等深度的架构高效捕获残差判别模式，而不会过拟合或计算冗余。所提出的框架提供了由傅里叶光学实现的相似性计算的固有并行性，这使用纯数字方法难以高效复制。与原始图像相比，相关域表示可能提供降低的维度，同时仍然保留了CNN训练所需的判别特征。本研究独特地在MATLAB深度学习工具箱中提供的MNIST数字数据集上测试了光学相关器-CNN架构，其中的手写数字在书写风格和笔画模式上表现出强烈的自然变化，提供了比合成相关数据集更真实和具有挑战性的评估[45,46]。为了检验所提出模型的适应性，使用了包含10个类别的时尚产品的复杂数据集fashion-MNIST，这些产品具有显著的变异性[47,48]。该模型还使用具有旋转失真的实验室准备的车辆数据集进行了测试。通过直接从相关域表示中学习，所提出的架构展示了如何将光学相关器从传统的识别任务有效扩展到实际的多类分类任务。与现有方法不同，现有方法主要使用光学相关性进行过滤、识别或计算加速，所提出的框架明确利用VanderLugt相关输出作为神经网络学习的结构化特征表示，从而重新定义了光学相关器在混合数字-光学分类系统中的作用。
光学相关性
VanderLugt相关器或匹配滤波器基于卷积定理的原理。首先，使用透镜对输入场景进行傅里叶变换，然后在傅里叶域应用一个复杂的滤波函数，从而得到一个乘积函数。该滤波器是通过计算几个训练图像的傅里叶变换的总平均值来准备的。
F(u,v) 和 H(u,v) 是输入图像 f(x,y) 和参考滤波函数 h(x,y) 的傅里叶变换。
结果与讨论
为了进行这项研究，使用了三种类型的数据集：digit-MNIST、fashion-MNIST和实验室准备的玩具车辆数据集。图4显示了MNIST中的一些数字样本，每个样本的大小为28 × 28像素。车辆数据集是使用分辨率为1200 × 1024像素、像素间距为4.8 μm的互补金属氧化物半导体（CMOS）传感器，在浅色背景下捕获的六类玩具车辆。为了确保图像的质量更高，
结论
总之，本研究提出了一个相关域学习框架，用于分析相关峰值和分类多个对象。VanderLugt相关器生成的相关图使用两种不同的神经网络架构进行分析：一种轻量级网络用于类别特定的相关，另一种深度网络用于多通道响应。所提出的混合光-数字框架为克服经典相关器的长期局限性提供了一种有前景的方法
数据可用性
用于本研究的digit-MNIST数据集可在MATLAB深度学习工具箱[45,46]中找到。Fashion-MNIST数据集在Kaggle上公开可用[47,48]。实验室准备的车辆数据集不是公开可用的，但可以根据合理请求从相应作者处获得。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。
