梯度反转攻击在联邦学习中真的可行吗?arXiv 新研究给出实测结论
一项 arXiv 研究系统评估了图像类联邦学习场景下梯度反转攻击的实际可行性,覆盖图像分类与目标检测任务及当代分辨率的经典视觉架构。结果显示,现代性能优化模型在视觉上始终能抵抗有意义的图像重建,此前的成功案例多依赖推理模式运行或架构简化等上界设定。在诚实但好奇的服务器假设下,高保真图像重建不构成生产级联邦学习系统的关键隐私风险。
一项 arXiv 研究系统评估了图像类联邦学习场景下梯度反转攻击的实际可行性,覆盖图像分类与目标检测任务及当代分辨率的经典视觉架构。结果显示,现代性能优化模型在视觉上始终能抵抗有意义的图像重建,此前的成功案例多依赖推理模式运行或架构简化等上界设定。在诚实但好奇的服务器假设下,高保真图像重建不构成生产级联邦学习系统的关键隐私风险。
研究者提出 CMCM-DLM,一个模块化框架,可将预训练扩散模型扩展至支持异构分子约束而无需重训主干。该框架用结构控制模块(SCM)在扩散早期引导分子骨架生成,再由性质控制模块(PCM)将生成导向目标化学性质。多数据集实验显示其具备有效的跨模态可控性与较强适应性。
FedCoT 是一个联邦推理框架,通过轻量级 CoT 重采样配合紧凑判别器筛选,并用客户端感知的 LoRA 堆叠与加权分类器聚合来应对数据异构、降低聚合噪声和通信开销。客户端本地生成候选推理链与监督信号,服务器仅聚合轻量模块,数据始终保留在本地。在医疗推理基准上,该方法在紧张资源预算下取得稳定提升,代码已公开,论文被 EMNLP 2026 收录。
研究用认知评价理论构建了覆盖 15 种情绪类别的基准数据集,通过行为表征对比 LLM 与人类的情感概念结构。结果显示 LLM 的情感表征比人类更分类化、同质化和确定化,单一情绪概念内部多样性更低、不同情绪间距更大,且该分类结构对任务框架和人口学角色等上下文变化保持稳健。
针对时间序列预测中时序均方误差忽略标签自相关、任务数量过多的问题,研究者提出变换增强损失函数 Time-o1,将标签序列变换为去相关且显著性可区分的分量,让模型对齐最显著分量。实验显示 Time-o1 达到 SOTA 性能,并兼容多种预测模型,代码已开源,该工作被 NeurIPS 2025 接收为 poster。
研究者提出 KO(Kinetics-inspired Optimizer),一种基于动力学理论与偏微分方程的可插拔优化模块,通过离散化 Boltzmann 输运方程引入随机交互来增强参数多样性、缓解权重凝聚。理论分析表明 KO 可证明地提升参数多样性并保持收敛保证。在 CIFAR-10/100、ImageNet 图像分类和大规模语言模型预训练中,KO 以可忽略的额外计算成本持续提升准确率。
研究者提出 Mask Fine-Tuning(MFT),一种在不更新模型权重的前提下,对已充分微调的 LLM 学习并施加二值掩码的微调范式,用标准微调目标做监督。在 LLaMA2-7B 与 LLaMA3.1-8B 上,MFT 使用相同微调数据集在 IFEval 上平均提升 2.70/4.15。该方法可与现有 LLM 优化流程兼容,并将掩码操作从网络剪枝压缩拓展到更广泛的模型能力提升。
研究提出 Robustness Inheritance Benchmark(ImageNet-RIB),用于评估预训练模型微调后的鲁棒性保持情况。结果显示,在 LAION-2B 等最大最多样数据集上预训练的模型,在小数据集上微调后鲁棒性损失更大、绝对鲁棒性更低,这种崩溃出现在 CLIP 等对比预训练模型及其微调变体中,并随预训练规模增大而加剧,而所测试的监督模型未出现该现象。
针对直接预测(DF)范式忽略未来标签间自相关导致学习目标有偏的问题,研究者提出频域增强直接预测方法 FreDF,通过在频域中学习预测来缓解标签自相关、降低估计偏差。实验显示 FreDF 显著优于现有 SOTA 方法,并兼容多种预测模型,代码已开源,该工作被 ICLR 2025 接收。
研究者提出 Bag-Of-Receptive-Field(BORF),一种快速、可解释且确定性的时间序列变换方法,通过在 SAX 中引入膨胀和步幅,将 Bag-Of-Patterns 扩展为稀疏多元张量表示。
研究者提出 TasteVal 基准,用于评估前沿模型的实验研究品味,即给定固定研究问题后迭代设计实验并从结果中得出结论的能力。该基准将实验研究品味操作化为算力效率,包含 8 个开放式任务,模型作为 Researcher 设计实验、由固定 Coder agent 实现并反馈结果,预算为 40 H100 小时或 120 小时挂钟时间。
研究提出用匿名公共行为数据诱导人口群体级人格画像来驱动 LLM 智能体模拟调查回答,并考察数据领域、规模与粒度对对模拟对齐的影响。结果显示,域外来源诱导的人格画像很少优于仅基于基本人口信息的模拟,主要原因是人群不匹配;但当画像被准确分配到目标人口群体时,对齐效果显著提升。来自目标域调查数据的画像随问题历史增多而泛化更好,表明更丰富的行为证据能带来更稳定的人格特质推断。
TeleTune 是一个从无目标标注、不可回放且任务交错的离线日志中学习文本技能库的框架,通过动作预测误差提出技能库编辑并保留能提升留出集动作预测准确率的修改。
针对 Agent 上下文窗口中工具观测数据过期后仍被复用的问题,研究者提出上下文一致性框架 Concord,可将每条观测关联到来源、检测源变更,并按可配置策略在复用前更新、标注或抑制过期上下文。
研究通过微调 Google DeepMind 的 Gemma-4 MoE 模型提升视觉语言模型的空间推理能力,在 2D 和 3D 旋转检测上均取得明显改进。微调后的 Gemma-4 MoE 模型在预测由轴和角度定义的旋转时显著优于微调后的 Gemma-4 通用模型,且无需显式坐标系即可改善 2D 表示的角度估计。研究还发现,可识别物体并未提升角度检测准确率,具有显著线性特征的物体反而表现更好。
研究者提出 TradeGrad,一个经验引导的文本梯度框架,用于稳健的量化交易策略优化,通过积累的优化经验估计文本梯度,并对策略探索与精炼进行多尺度修正。该框架还引入 Cross-Period Robust Objective(CPRO),强调在不利历史时期的表现以提升时间稳健性。
研究者发布 CreativePreferences 数据集,包含 2.8M 文本、317M 人类偏好判断,覆盖 7 个创意领域和 42 个基准任务,并用可执行程序、评分标准库和密集训练模型(V、A、VAT)建模这些标签。
研究者提出诊断框架 LUMOS,基于训练语料完全透明的 OLMo 2,追踪 LLM 参数化知识从训练数据曝光到行为输出的因果链。结果显示模型内部对罕见事实的编码可分性达 84%,但行为表达仅 54%,该检索差距随规模扩大而收窄。模型对已训练内容自我反思准确率为 83%,对未见内容降至随机基线 49%,且链式推理提示只会抬高置信度而非改善校准。
PAPER2LLM++ 是一个让 LLM 从研究论文中持续自我进化的框架,它把论文当作模型改进的证据与监督信号,而非仅用于检索的知识。对每篇新论文,它提取有证据支撑的发现,检验所报告的局限是否仍存在于当前模型,必要时转化为候选学习信号,并通过 try-evaluate-commit 流程仅在提升目标行为且不显著遗忘或损害通用能力时才提交更新。
研究者提出 GraphMemory,一种轻量级图结构记忆系统,可累积、精炼、组织并连接可复用策略,每次查询只检索相关子图,使模型无需接触全部记忆即可完成在线上下文适配。在有界检索下,检索记忆量随处理样本数增长保持恒定,下游性能与基线相当,同时记忆构建 token 消耗减少约 81-85%。
SpikeMoE 将神经元尺度的脉冲动力学与模型尺度的专家选择相结合,提出受海马 CA1 区竞争抑制机制启发的脉冲 k-WTA Router,通过侧向抑制和不应期按离散脉冲计数选择 Top-K 专家。该框架还配备两阶段缺失模态建模模块,在视觉、语言和多模态基准上达到 SNN 基线中的 SOTA,性能匹配或超越 ANN 对应方案,并在多种缺失模态条件下保持稳健。
一项研究提出 LLM 叙事框架,将时序 SHAP 证据与历史市场状态类比结合,用于横截面股票收益预测的可解释叙述。在 Qwen3 上的对照实验显示,逐步外化数值与关系推理后,Qwen3-32B-Instruct 的证据忠实度从 0.696 提升至 0.996,时序与关系准确率同步改善。历史类比虽未提升结构化自动忠实度,但获得了更高的人工评分有用性。
研究者提出 JudgeProfile 框架,将 LLM 评判拆解为感知(对清晰度、正确性、细节等属性的比较)与优先级(各属性对最终选择的影响权重)两部分,并构建了含 50,013 对回答、覆盖 17 个公开数据源、21 个 LLM 评判者和 87 个属性的 SubjectiveSet 数据集。
研究者提出 ToolMLBench 工具套件与 SFT+RL 训练流程,让智能体学会在机器学习实验中诊断性地调用工具,并用 SPICE 方法以特权上下文对工具动作概率的改变作为轮级奖励。在 80 个合成任务上训练后,Qwen3-8B 域内成功率从 24.8% 升至 52.4%,Qwen3.5-35B-A3B 从 35.6% 升至 69.2%,后者域外也从 31% 提升到 48%。
FrogNano 是一个 4B 编程智能体,仅通过 RL 在约 1,500 个 SWE 环境上后训练,无需从更大模型蒸馏。其核心是在线任务合成管线,按当前 checkpoint 的可学习前沿生成任务,论文称这对提升性能至关重要。
Muon 训练的模运算 Transformer 会在保留线性可解码任务信息的同时丢失准确率,相邻交换将五例未归一化失败定位到 AdamW 读出更新。仅用训练数据训练的 decoder 可恢复 98.20-100% 的留出准确率,修正交叉熵导数错误后五条匹配分支稳定训练至 100,000 步。
FHRFormer 是一个基于掩码 Transformer 自编码器的自监督框架,用于重建胎心率(FHR)监测中因传感器位移等原因丢失的信号,并可同时用于信号补全与预测。该方法能捕捉数据的局部时间与频率成分,在不同缺失时长下均表现稳健,克服了传统插值方法难以保留信号频谱特征的局限。该框架可回溯应用于研究数据集以支持 AI 风险算法开发,未来有望集成到可穿戴 FHR 监测设备中。
Ego2World 是一个可执行基准,将第一视角烹饪视频转化为由图转移规则驱动的符号世界,基于 HD-EPIC 从视频标注中提取可复用转移规则。评估时模拟器维护隐藏世界图,智能体仅凭局部观察和执行反馈在自身部分信念图上规划,无法观测真实世界状态。实验显示动作重叠分数会高估物理状态成功率,而持久信念记忆能提升任务完成率并减少重复视觉探索。
针对知识图谱问答(KGQA)中答案标签监督噪声大、LLM 精炼监督成本高的问题,研究者提出 Reward on Path(RoP)框架,用非对称目标从答案标签中学习轻量的、以问题为条件的路径奖励。
研究者提出 PAGE(Projected Adapter Gradient Energy)梯度敏感度探测方法,发现 LoRA 适配器的可训练梯度能量高度集中在单个浅层 FFN 下投影模块上,并将其称为"主导适配模块"。
XDecomposer 是一个无需候选相列表、结构模板或相数量先验的多相 XRD 分解与识别框架,将多相衍射分析建模为集合预测问题,在统一架构中推断无序的相分辨组分、混合比例及结构表示。该框架结合相查询驱动的分解机制与衍射一致性物理重建,在模拟和实验数据集上显著提升重建精度与相识别能力,并对未见混合物保持较强泛化性。代码已开源,论文被 NeurIPS 2026 接收。
研究者提出 Von Neumann 神经元与 Von Neumann Networks(VNN),在细胞阵列上让神经元角色可被学习,网络架构仅取决于输入输出在阵列上的结构与位置。
SDFlow 是一个非自回归时间序列生成框架,完全在冻结的 VQ 潜空间中运行,通过流匹配实现并行序列生成,以全局传输映射替代逐步 token 预测来消除暴露偏差。
ZeroFolio 提出一种无需手工特征和领域知识的算法选择方法,直接将实例文件作为纯文本,用预训练嵌入模型编码后通过加权 k 近邻选择算法。
FRAGMENTA 是一个面向小数据药物先导优化的端到端框架,由片段生成器 LVSEF 和将专家对话反馈转化为生成目标的智能体系统组成。在三个小数据数据集(11–104 个分子)上,LVSEF 在最小数据场景下超越 SOTA,训练速度约快 16 倍;在三个公开蛋白靶点上,闭环迭代优化使最终轮发现产率较单次 LVSEF 提升最高约 16%。
PuzzleJAX 是一个 GPU 加速的益智游戏引擎与描述语言,支持对树搜索、强化学习和 LLM 推理能力进行快速基准测试。它基于 PuzzleScript 风格的 DSL 动态编译任意游戏,已在其上验证了数百款 PuzzleScript 游戏,并分析了搜索、学习与语言模型在这些游戏上的表现。该工作发表于 IEEE Conference on Games 2026。
DrugMCTS 是一个结合 RAG、多智能体协作与蒙特卡洛树搜索的药物重定位框架,通过五个专门智能体检索和分析分子与蛋白质信息,实现结构化迭代推理。在 DrugBank 和 KIBA 数据集上,其召回率与鲁棒性显著优于通用 LLM 和深度学习基线。
IdeaAnchor 提出一种用结构化规格作为特权信号训练 LLM 进行科研选题的范式,每个实例编码输入论文的功能角色、关系与目标综合标准。研究者从已发表论文中挖掘实例,通过示范、自蒸馏和强化学习训练模型,并在推理时用检索增强生成。实验显示选题质量持续提升,其中 anchor 训练强化创造性综合,检索改善细节展开,两者结合效果最佳。
DepthWorld 是首个基于 Stable Video Diffusion 的 3D 世界模型,通过空间 latent tiling 联合预测多视角 RGB 与深度,同时保持预训练 VAE 不变。
研究构建了 248 个场景的预注册测试面板,覆盖五类压力情境,发现 OLMo-3-7B-Instruct 在约五分之一的施压场景中会做出自己判定为错误的行为。这一"言行差距"取决于后训练配方:OLMo-3 和 Meta 的 Llama-3.1-8B-Instruct 存在该差距,而基于同一 Llama-3.1 权重训练的 Ai2 Tulu 3 在整个面板上未显现。