稀疏自编码器表征的行为组合性
研究提出 SAE 加性残差（SAR），用于衡量高于指定阶数的交互作用仍未解释的行为变化。在 18 种模型与行为设置中，学习得到的 SAE 坐标的一阶残差均低于对同一子空间进行保和随机旋转的结果。不过，这些表征并非完全可加：所有设置中，特征间的成对交互作用都改善了留出数据上的组合排序。在一项联合 steering 实验中，成对建模将排序保真度从 0.5874 提高到 0.7790，并将排序误差从 0.1444 降至 0.0606。结果表明，SAE 坐标有助于形成相对具有组合性的行为描述，但要获得忠实的解释与干预，仍需考虑特征之间的交互作用。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。