乘着激活波：分析用于推测解码的 LLM 隐藏状态信息与几何结构
这项研究探讨如何为推测解码选择解码器不同层的隐藏状态。研究通过矩阵熵衡量信息量，并用中心化核对齐（CKA）量化冗余程度。提出的方法同时考虑这两项指标，并引入 token 熵过滤，剔除与低不确定性预测相关的状态。在 EAGLE3 式推测解码测试中，所选层组合优于固定基线，包括默认的 [2, N//2, N-3] 规则。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。