论文提出人工神经网络内部涌现出符号结构

这篇论文提出了一种观点，即尽管现代人工智能系统基于连续向量来表示信息，但它们的内部表示可能隐含地实现了符号结构。研究发现，不同类型的人工神经网络，包括小型神经网络和大型语言模型，其向量表示可以与符号结构紧密近似。通过将神经网络的整体表示生成过程替换为一个实例化符号结构的封闭形式方程，网络的行为基本保持不变。这一发现表明，神经网络在语言、逻辑和其他认知领域的出色表现可能得益于其内部隐含的符号结构。此外，研究还发现，通过精确干预神经网络内部表示，可以以针对性的方式修改大型语言模型的行为，这表明大型语言模型的行为依赖于所识别的符号结构。这项工作为将长期以来的符号智能概念与现代基于向量的AI特性相协调提供了一种潜在途径。