arXiv cs.LG· Casper L. Christensen, Kyle J. Ray, Dmitry Manning-Coe, Adam Shai, Paul Riechers·· 7 小时前AI 评分27
LLM 如何用可复用、可组合的抽象表示编写代码
LLMs program using Reusable and Composable Abstract Representations
AI 导读
LLM 生成代码时，其中间层激活会形成可复用、可组合的抽象表示，这些表示跨编程语言通用，并赋予模型较强的泛化能力。通过激活引导（activation steering），函数、编程语言和实现策略可被独立操控，且语言与函数的干预能灵活组合，即使提示词中不含语言和函数信息也能控制代码生成。此外，在一种语言上对任意定义函数进行微调可迁移到其他语言，与模型复用跨语言共享的抽象特征一致。
来源：arXiv cs.LG · arxiv.org