arXiv cs.LG· Yuheng Song·· 6 小时前AI 评分22
序列模型的长记忆代价:状态、上下文与稳定性复杂度
The Cost of Long Memory: State, Context, and Stability Complexity in Sequence Models
AI 导读
研究长程时间依赖下序列模型预测记忆所需的状态、上下文与动力学临界性资源。针对代数衰减预测记忆,证明指数与有限状态模式的匹配上下界:最优 r 模式预测误差以 e^{-\Theta(\sqrt r)} 衰减,达到误差 τ 需 r=\Theta(\log^2(1/\tau)) 个状态或模式。
来源:arXiv cs.LG · arxiv.org