神经网络比单个神经元所显示的更具模块化

研究提出单元级、正交、线性三层嵌套的模块化框架，并通过选择性消融进行因果评估。在视觉模型、语言模型和多任务 RNN 中，缺乏单元级模块化的网络常在子空间层面表现出清晰的功能模块化，内容与风格、句法与语义可在共享神经元的情况下分离。这些子空间还与脑数据存在差异化对齐，为机制可解释性提供支持。