arXiv cs.LG· Michael C. Abbott, Benjamin B. Machta·· 7 小时前AI 评分21
全晶体管物理学习 Transformer 可被训练执行上下文学习
An all-transistor physical-learning transformer can be trained to perform in-context learning
AI 导读
研究者构建了一种全晶体管物理学习 Transformer，通过引入额外电路元件恢复双向信息流，并利用亚阈值 MOSFET 的指数电流特性实现注意力机制。仿真显示该电路可被训练完成简单的上下文学习任务，但需使用交叉熵损失而非均方误差，并借助基于同一 MOSFET 子电路的新型浮动元件生成扰动。电路中的电阻采用 Lion 优化器训练，每个参数仅需一个电容存储梯度估计的局部记忆。
来源：arXiv cs.LG · arxiv.org