《Food Control》：Non-destructive Determination of Freeze-Thaw Cycles in Larimichthys crocea Using Hyperspectral Imaging of Fish Eye and a Cross-Modal Deep Learning Approach
编辑推荐：
基于鱼眼高光谱信息的冻融循环非破坏性检测方法研究。通过构建LSTM-Transformer光谱分类模型和融合视觉-光谱的交叉注意力机制模型，有效区分不同冻融次数的鲈鱼样品，验证了鱼眼透光率与形态变化对光谱特征的显著影响，为海鲜品质追溯提供新方案。
Kai Yan|Wude Yang|Tianzhe Wen|Wenkai Wang|Siyuan He|Mingqian Tan|Xiaoyang He|Yang Liu|Huihui Wang
大连理工大学信息科学与工程学院，中国辽宁省大连市116034
摘要
在冷链储存和运输过程中，大黄鱼（Larimichthys crocea）由于温度波动容易受到冻融循环的影响，这会显著降低其品质和风味。鱼眼作为可见的外部器官，在冻融过程中会表现出诸如晶状体浑浊和形态变化等特征，且可以在不损坏鱼体的情况下提供相关信息，因此具有反映冻融循环的潜力。本研究提出了一种基于鱼眼高光谱信息的无损检测方法，通过分析瞳孔区域反射光谱的变化和眼睛形态的退化来准确区分冻融循环。首先，利用瞳孔区域反射光谱构建了一个具有局部特征提取和全局模式识别能力的LSTM-Transformer光谱分类模型（LTscModel），从而实现对不同冻融循环样本的分类。为了充分利用晶状体浑浊和眼睛结构变化的信息，进一步引入了一种结合鱼眼图像和光谱数据的跨模态注意力机制，建立了跨模态冻融预测模型（CmFTpModel）。实验结果表明，由冻融引起的晶状体浑浊变化可能是通过瞳孔反射光谱区分新鲜鱼和冻融鱼的关键因素。LTscModel在冻融预测方面的表现优于传统模型，准确率达到87.5%。CmFTpModel通过多模态融合进一步提高了预测精度，达到了92.5%，超越了单模态模型。本研究为海鲜中冻融循环的快速检测和质量追溯提供了一种新的方法和技术支持。
引言
大黄鱼（Larimichthys crocea）是中国重要的海洋经济鱼类之一，具有生长速度快、产量稳定的特点，年产量可达28万吨（中国，2024年）。它富含蛋白质，肉质细腻，味道鲜美，在东亚烹饪文化中占有重要地位。新鲜捕获的大黄鱼保质期较短，冷藏储存已成为其主要分销方式（J. Zhang等人，2023年）。如图1(a)所示，在储存和分销过程中，温度波动可能导致大黄鱼被冻结或经历反复的冻融循环。冻结会导致冰晶形成并穿透肌肉细胞膜，随后的解冻会破坏细胞的水分保持结构，导致水分和风味化合物大量流失。因此，鱼肉质地变得干燥，风味也会减弱。冷藏后的大黄鱼因其更佳的口感和风味而被广泛用作加工食品的原料，这对产品质量有严格要求；因此，准确区分新鲜鱼和冻融鱼对于水产品的质量控制至关重要（Li等人，2023年）。
传统的区分新鲜海鲜和冻融海鲜的方法（Hassoun等人，2020年）包括感官评估、组织学、酶学和生化分析。然而，这些方法具有破坏性，需要样品制备和专门的操作（L. Zhang等人，2023年），因此不适合无损检测。这促使人们探索基于外部形态特征的新型无损检测方法。先前的研究表明，鱼眼晶状体核的浑浊程度可以指示鱼是否被冻结；在低至-4.8°C的温度下冻结会导致晶状体不可逆的浑浊（Love，1956年）。Alberio等人的研究进一步证实，鱼眼晶状体的变化与冻融过程高度相关（Alberio等人，2014年）。同样，在Kagan及其同事对黑岩鱼和虹鳟鱼的研究中，也观察到了冻融鱼眼晶状体核的浑浊现象（Kagan & Viner，2022年）。与肌肉组织分析相比，鱼眼对冻融过程更为敏感，并且位于外部，无需解剖样本即可进行检查。因此，如果能够明确鱼眼外部形态特征与冻融循环次数之间的关系，它将成为表征鱼类冻融历史的更合适的目标区域。
基于这种方法，Wu等人建立了一个模型，将恒温储存条件下鱼眼的RGB图像与鱼的新鲜度联系起来，实现了大黄鱼新鲜度的阶段性预测（Wu, Wang等人，2024年）。然而，由于冻融仅导致晶状体核的浑浊发生微妙变化，仅依赖三个RGB通道的亮度信息容易丢失光谱细节，难以捕捉到冻融引起的光谱差异。相比之下，高光谱成像（HSI）可以捕获Vis-NIR光谱范围内数百个连续波段的反射数据（Sun等人，2024年），其高光谱分辨率使其在检测冻融引起的晶状体内部微妙反射变化方面具有更大潜力。迄今为止，HSI已被用于通过检查鱼体切片来评估冻融状态（Chen等人，2021年），但这些方法大多需要切割鱼体，从而破坏其整体完整性。如果能够通过大黄鱼的瞳孔反射光谱来评估冻融状态，将提供一种新的无损检测方法和途径。此外，高光谱数据中的特征表现出复杂非线性关系，给传统分析方法带来了挑战。随着深度学习的发展，这种方法在自动提取深度非线性特征方面显示出巨大潜力，为高光谱数据分析提供了强大的工具。特别是Transformer架构的兴起将自注意力机制引入了光谱分析（Singh等人，2024年），在捕捉全局依赖性方面显示出显著优势，为光谱序列建模提供了新策略。值得注意的是，除了反映晶状体透明度的光谱信息外，高光谱图像还捕捉到了冻融过程引起的角膜表面形态变化。这两种模式从不同角度为模型提供了互补的线索。因此，实现有效的跨模态特征整合至关重要。由于Transformer架构能够动态计算模间相关性，其衍生的跨注意力机制为融合光谱和图像特征提供了有希望的解决方案（Farmani等人，2025年）。这种机制有望将鱼眼的内光学特性与其外部形态特征联系起来，实现深度特征互补。
总之，本研究旨在探讨大黄鱼眼睛变化与冻融过程中反射光谱变化之间的关系，并评估使用深度学习模型通过眼睛高光谱信息预测冻融状态的可行性。为此，首先对鱼眼晶状体进行了解剖观察，以研究冻融循环期间晶状体浑浊和组织形态的演变，从而阐明这些变化如何影响反射光谱的机制。随后，基于混合LSTM-Transformer架构开发了一维光谱分类模型LTscModel，利用瞳孔反射光谱预测冻融循环。此外，通过将鱼眼图像数据与光谱信息结合，使用跨模态注意力机制构建了跨模态冻融预测模型CmFTpModel，并研究了融合图像特征对提升区分性能的贡献。模型的示意图见图1(c)。本研究为实现大黄鱼冻融循环的无损检测提供了理论基础和技术支持。
样本制备和冻融处理
培养的大黄鱼被收获并装在装有冰水混合物（0-4°C）的保温箱中运输到实验室。在冰层储存条件下，运输时间约为48小时。实验用鱼在六个月内分六批收集，每批之间间隔约一个月。分多批收集鱼样是为了避免样本同质性造成的潜在偏差，并更好地代表
晶状体和眼睛结构变化的分析
图3(a)展示了鱼眼的解剖结构。解剖术语和位置注释遵循了Liao Q（Liao QiuHong等人，2018年）和EB Peebles（Peebles & Hollander，2020年）的研究。图中清晰地显示了关键组织（包括晶状体、晶状体核和晶状体囊）的空间排列和结构关系。该示意图旨在阐明本研究中的关注区域，如晶状体、虹膜和反光层
结论
基于冻融过程引起的晶状体核浑浊现象，本研究探讨了冻融循环如何影响大黄鱼的瞳孔反射光谱，并利用眼睛的高光谱信息建立了一种无损方法来识别冻融循环。研究首先分析了不同冻融阶段晶状体透明度和眼睛结构的演变，生物学上证实了瞳孔反射光谱特征之间的关联
CRediT作者贡献声明
Yang Liu：撰写 – 审稿与编辑、验证、软件、方法论、调查、形式分析、数据管理、概念化。Xiaoyang He：数据管理。Huihui Wang：撰写 – 审稿与编辑、验证、软件、方法论、调查、形式分析、数据管理、概念化。Kai Yan：撰写 – 原稿撰写、可视化、方法论、调查、形式分析、数据管理、概念化。Wude Yang：撰写 – 审稿与编辑、验证、软件
未引用参考文献
Wu等人，2024年；Zhang等人，2023年。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
资金来源
本研究由中国国家重点研发计划（2024YFD2101201）资助。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
作者衷心感谢国家海洋食品加工与安全控制重点实验室提供的支持和技术帮助。同时，也非常感谢大连理工大学食品交叉科学学院的同事们的有益讨论和建设性反馈。
