全晶体管物理学习Transformer实现上下文学习

研究者 Michael C. Abbott 和 Benjamin B. Machta 发表论文称，他们构建了一种全晶体管物理学习 Transformer，通过引入额外电路元件恢复双向信息流，并利用亚阈值 MOSFET 的指数电流特性实现注意力机制。 仿真显示，该电路可被训练完成简单的上下文学习任务，但需使用交叉熵损失而非均方误差，并借助基于同一 MOSFET 子电路的新型浮动元件生成扰动；电路中的电阻采用 Lion 优化器训练，每个参数仅需一个电容存储梯度估计的局部记忆。论文称，尽管使用的反向元件只能传递近似梯度，该电路在仿真中仍可完成训练。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。