词性类别在稀疏自编码器潜在空间中涌现
一项研究考察了稀疏自编码器（SAE）能从语言模型表示中揭示哪些语言结构。研究发现，词性区别可以从SAE激活中可靠地恢复，但并不与单一潜在特征一一对应。这一结果不能仅由词汇记忆解释，开放类和封闭类词性之间也存在显著差异。不同类别由紧凑的稀疏潜在特征组共同支持，各词性标签的特征组有所不同；这些特征组在留出数据上保持稳定，相关类别之间还存在重叠。研究表明，形态句法信息以分布式且依赖类别的方式被定位和编码，而不是表现为原子化的语法特征。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。