研究定位语言模型识别网络信息的注意力头

一项新研究对语言模型识别网络基础设施信息（主机名与IP地址配对）的注意力头做了因果验证。Abdul Kadir等作者称，在三个架构家族的五个模型中，每个模型只需1至9个注意力头（候选128至1152个）就能让检测器达到99.5–100%的留出准确率。 该研究关注的是特定注意力头、以及头内更细粒度的神经元是否负责识别上下文中的这类网络信息，并试图用因果方法而非仅凭相关性来验证这一责任归属。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。