Identifying Interactions at Scale for LLMs

SPEX 和 ProxySPEX 算法能够在大规模上识别 LLMs 的关键交互，克服了复杂性带来的计算不可行性。SPEX 利用稀疏性和低度特性，通过信号处理和编码理论将交互发现转化为可解的稀疏恢复问题。ProxySPEX 进一步利用模型中的层次结构，以约 10x 更少的 ablations 达到与 SPEX 相当的性能。