研究：提示适配位置决定LLM内部计算路径

一项新研究对比了离散提示词优化、prompt tuning 与 prefix tuning 对稠密和 MoE 语言模型内部计算的影响，结论是适配位置决定任务信息如何传递到输出：优化文本主要改变响应构建，输入级提示词将影响写入内容表征，逐层 prefix 则通过注意力维持直接控制，在 MoE 模型中还引发不同的专家路由模式。 研究同时指出，常见的表征层面度量对通用上下文变化反应强烈，无法可靠区分有用适配与匹配的安慰剂。该研究由 Mikhail Aleksandrov 等作者发表。 上述结论来自作者的研究报告，尚未经独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。