UniSymNet：基于稀疏编码与双级优化的统一符号网络及其在符号回归中的创新应用

《Neural Networks》：UniSymNet: A Unified Symbolic Network with Sparse Encoding and Bi-level Optimization

本文提出了一种名为UniSymNet的统一符号网络，通过将二元非线性算子（×、÷）转化为嵌套一元算子（ln、exp），实现了符号网络结构的统一化。该研究结合理论证明和双级优化框架（外层采用稀疏标签编码的Transformer预训练指导结构选择，内层使用目标优化策略训练参数），在低维标准基准和高维SRBench上展现出优异的符号求解率、拟合精度和表达式简洁性，为数学表达式自动发现提供了新范式。

　　

亮点

• 提出具有Ψ表示的统一符号网络UniSymNet，将二元算子{×、÷、pow}统一为嵌套一元算子{ln、exp}

• 设计结合稀疏标签编码的Transformer引导结构搜索策略，实现经验学习机制

• 开发针对特定目标的优化策略用于符号网络参数学习

方法

给定数据集{(x_i, y_i)∈R^d×R}_i=1^N，符号回归（SR）通过双级优化框架求解：s,c=argmin_s∈S(min_c∈Cs∑_i=1^N(y_i-f_s(x_i;c))²)

评价指标

科学发现中需兼顾拟合精度与表达式简洁性：

• 拟合性能采用R²衡量

• 符号求解率反映模型还原真实表达式能力

• 复杂度通过表达式长度评估

消融实验

在200个未训练随机方程上验证三个关键组件：编码方法、剪枝策略和参数优化的独立贡献

Ψ变换探讨

详细分析Ψ变换的优势领域与局限性，阐明其如何通过对数-指数同构实现算子统一

结论

UniSymNet通过Transformer引导的结构发现与目标优化策略，在高低维数据集均展现卓越性能，为可解释科学模型发现提供新路径