高质量的大规模彩色织物图案解码

《Engineering Applications of Artificial Intelligence》：High-quality pattern decoding of large-scale color fabric

织物二进制模式生成方法，提出基于特征点匹配的图像拼接技术、主成分分析（PCA）的灰度转换方法及感受野权重累积策略，解决大规模彩色织物二值化建模难题，实验显示方法在266万交叉点样本上平均准确率达0.952。

　　

丰田雅弘（Masahiro Toyoura）| 黄青琦（Qingqi Huang）| 顾仁书（Renshu Gu）| 徐刚（Gang Xu）

日本山梨县甲府市山梨大学计算机科学与工程系，邮编400-8511

摘要

本研究提出了一种利用深度神经网络生成大规模织物二值图案的新方法，为纺织工程领域做出了贡献，使得古代和现代纺织产品的分析成为可能。在经线和纬线的每个交叉点上，只有两种可能的上下关系，这些关系可以通过二值矩阵来模拟。从观察到的织物图案生成二值图案可以帮助设计师节省时间和精力来复现织物。虽然深度神经网络已在该领域得到应用，并能生成与织物相匹配的准确二值图案，但这些方法仍有改进空间。本文介绍了一种基于特征点匹配的图像拼接方法，以解决大规模织物图像分辨率与网络输入要求之间的不匹配问题。接着，我们使用主成分分析对彩色织物图案进行灰度转换，以保留其对比度。最后，我们提出了一种基于感受野大小计算标签图像像素级置信度值的方法，并通过累积权重来拼接标签图像。我们在平均有26.6万个交叉点的提花织物样本上展示了实验结果。消融研究显示，结合这两种新提出的方法能够获得最高的纺织二值图案准确率，样本平均准确率为0.952。

引言

随着智能制造的发展，计算机技术逐渐被整合到制造过程中，以节省人力和时间。提花机（TSUDACOMA公司，2023年）通过加载二值图案来编织编码图案。这些图案仅以黑白形式存在，对应于织物的纬线和经线。二值图案中的每个单元格代表一个交叉点，不仅表示纬线和经线在交叉点的上下关系，还记录了织物图案中纬线和经线的数量。

过去，获取织物的二值图案需要大量专业人员的时间和精力进行标注，而且标注过程可能会损坏具有历史和货币价值的织物。因此，研究如何训练深度神经网络并自动标注交叉点至关重要。最近，Chen等人（2021年）和Meng等人（2022年）在这一方面取得了显著进展。典型的处理流程如图1所示：织物图案被转换为灰度图像，然后使用UNet模型生成相应的中间表示，再对中间表示进行后处理，得到近似的三值图像；黑白颜色表示纬线和经线的交叉点，并代表两种上下关系。以往的方法能够根据输入的织物图案准确生成相应的中间表示，并生成二值图案。

然而，由于现有训练数据集的限制，以往的方法无法处理大规模彩色织物图案。大规模织物指的是覆盖较大物理面积的编织纺织品样本，例如用于生产的整块织物或历史纺织品文物，这些样本无法在单个图像帧中完全捕捉，且通常超出标准深度学习模型的输入尺寸限制。众所周知，更大的数据集对模型训练有益。

在本研究中，标注大规模织物的经线和纬线交叉点是一项繁琐且具有挑战性的任务，因为无法明确表示经线和纬线的上下关系。因此，Chen等人（2021年）提供的训练数据集非常有价值；然而，它只能处理小尺寸的灰度织物图像，并且使用512 × 320 × 1的灰度图像作为输入。尽管他们报告称，即使观察图像中纱线的厚度发生变化，准确率也不会显著下降，但只允许一定程度的尺寸变化。虽然可以通过数据增强构建尺度不变的模型，但由于数据集稀疏和深度神经网络模型训练的限制，通过端到端网络获取大规模织物的二值图案仍然困难。鉴于此，本工作的目的是在以下假设的基础上实现大规模彩色织物的分析：(a) 只能分析具有一定厚度范围的纱线图像；(b) DNN的输入尺寸无法改变，因此无法分析大型样本；(c) 无法分析使用非黑白纱线编织的织物。

基于以往的方法，我们提出将其应用扩展到高质量的大规模彩色织物图案处理。所提出方法的概述如图2所示，具体流程如图3所示。首先，我们引入了一种基于特征点匹配的图像拼接算法。我们分块收集织物图案，使用特征点匹配进行图像拼接，然后裁剪目标织物图案。由于神经网络的训练数据集由灰度图像组成，因此需要将彩色织物图案转换为灰度图像。本文介绍了基于主成分分析（PCA）的灰度转换方法，该方法可以有效保留原始彩色图像中纬线和经线之间的亮度差异。为了与深度神经网络模型的输入尺寸保持一致，我们采用重叠平铺策略划分灰度大规模织物图案，并使用网络模型预测每个补丁对应的中间表示。由于卷积操作中存在填充，每个中间表示之间的重叠区域的像素是不同的。因此，我们提出了一种加权融合方法来拼接中间表示。中间表示中每个像素的置信度由网络编码器阶段的卷积和池化操作引起的感受野变化来确定。标签图像中每个像素的权重基于网络编码器阶段卷积和池化操作带来的感受野变化来推导。结果如图2中的置信度值图所示。我们拼接了大规模织物图案的标签图像，最终二值图案使用与以往方法相同的后处理方法获得。

从图2的概述中可以看出，本工作的三个主要贡献如下：

• 1.
  我们引入了一种基于特征点匹配的图像拼接方法，以拼接获取的织物图案并减少采集过程中产生的错误。
• 2.
  我们采用基于PCA的方法将彩色织物图案转换为灰度图像，以保留原始彩色图像中纬线和经线之间的亮度差异。
• 3.
  我们使用权重累积方法根据感受野的大小来推导网络模型输出的标签图像中每个像素的置信度水平。

在接下来的部分，我们将讨论该领域的相关工作，然后详细描述所提出的方法，最后展示实验结果。

相关工作

纺织行业是一个典型的劳动密集型行业，基于计算机视觉的自动化方法可以节省大量劳动力和时间。近年来，计算机视觉方法在该研究领域得到了广泛应用，用于解决织物结构参数识别、外观分析、缺陷检测和仿真等问题（Meng等人，2022年）。

图案解码

在本节中，我们描述了将大规模彩色织物图案转换为二值图案的方法。图案解码是指将织物图像转换为其对应的二值图案的过程，该二值图案编码了每个交叉点上经线和纬线的上下关系。

图2显示，该方法包括三个部分：基于特征点匹配的彩色织物图案拼接、基于PCA的灰度转换以保留亮度

实现细节

彩色织物图像。在上一节中，我们详细说明了该方法对织物图像的输入要求，但在实验过程中发现了一个显著影响实验结果的细节。如图4所示，我们使用（Chen等人，2021年）的数据集来训练深度神经网络模型。经线为黑色，纬线为白色，网络模型固定不变。然而，基于PCA的灰度转换方法只能投影两种颜色的经线

结论

在本文中，我们提出了一种能够生成高质量大规模彩色织物二值图案的算法。我们在平均有26.6万个交叉点的提花织物样本上展示了实验结果。消融研究显示，结合这两种新提出的方法能够获得最高的纺织二值图案准确率，样本平均准确率为0.952。

该算法有三个主要贡献。首先，我们引入了一种图像拼接方法来获取

CRediT作者贡献声明

丰田雅弘（Masahiro Toyoura）：撰写 – 审稿与编辑、撰写 – 原稿、监督、资源管理、项目管理、方法论、研究调查、资金获取、正式分析、数据管理、概念化。黄青琦（Qingqi Huang）：撰写 – 原稿、验证、软件开发、方法论、正式分析。顾仁书（Renshu Gu）：撰写 – 原稿、监督、资源管理、项目管理、方法论、正式分析。徐刚（Gang Xu）：撰写 – 原稿、监督、资源管理、项目管理

写作过程中生成式AI和AI辅助技术的声明

在准备本工作期间，作者使用了DeepL和DeepLW工具来改进语言表达。使用这些工具/服务后，作者根据需要审阅和编辑了内容，并对出版物的内容负全责。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：丰田雅弘报告获得了日本学术振兴会的财务支持。徐刚报告获得了中国国家自然科学基金的财务支持。徐刚还获得了浙江省科技计划的财务支持。

致谢

本工作得到了JSPS KAKENHI（项目编号：JP20H04472）、中国国家自然科学基金（项目编号：U22A2033）、浙江省科技计划（项目编号：2021C01108）以及NSFC-浙江工业化与信息化融合基金（项目编号：U1909210）的资助。