Berkeley AI Research·· 2026-03-13AI 评分55
Berkeley AI Research 提出 SPEX 与 ProxySPEX 扩展大规模关键交互识别
Identifying Interactions at Scale for LLMs
AI 导读
Berkeley AI Research 提出 SPEX 与 ProxySPEX,用于在大量特征、训练样本和模型组件中识别影响输出的关键交互。方法利用稀疏性、低度性和层级结构减少所需消融次数,其中 ProxySPEX 以约少 10x 的消融次数达到 SPEX 的表现。实验覆盖特征归因、数据归因和注意力头归因,相关代码已集成至 SHAP-IQ 仓库。
来源:Berkeley AI Research · bair.berkeley.edu