在 Jetson Nano 上实现质量感知的自校正语音翻译
一套完全离线的语音到语音翻译流水线可在 4 GB 显存的 Jetson Nano 上运行,无需重训练即可自我修正弱翻译。系统由 Whisper-tiny ASR 与 Opus-MT 翻译器组成,多语言 BERT 余弦相似度作为质量估计(QE)门控,在置信度低于阈值 τ 时触发二次修正。
一套完全离线的语音到语音翻译流水线可在 4 GB 显存的 Jetson Nano 上运行,无需重训练即可自我修正弱翻译。系统由 Whisper-tiny ASR 与 Opus-MT 翻译器组成,多语言 BERT 余弦相似度作为质量估计(QE)门控,在置信度低于阈值 τ 时触发二次修正。
研究提出双 IDS 框架,由量化 LSTM 的 QLSTM-IDS 与 8-bit 量化卷积自编码器的 QCAE-IDS 组成,分别检测已知与未知 CAN 总线攻击。
研究者提出 CARAT,将模型依赖度估计与运行时损坏检测解耦,通过源训练阶段的不对称模态 dropout 课程学习缺失鲁棒的主干网络,并基于窗口输入投影梯度范数导出冻结的依赖度代理。
研究者提出知识蒸馏框架 MemKD,通过专门的损失函数捕捉教师与学生模型在时间序列子序列上的记忆保留差异,让紧凑循环神经网络更有效地模仿教师行为。实验显示 MemKD 显著优于现有 SOTA 知识蒸馏方法,并能在多种压缩比例下匹配教师模型性能,大幅减少参数量和内存占用而精度损失不显著。
针对移动边缘设备上 MoE 大语言模型联邦微调中的数据异构问题,研究者提出联邦聚合对齐框架 FedAlign-MoE,通过一致性加权对齐路由分布、分布正则优化本地门控网络,并量化同索引专家的语义一致性以选择性聚合。实验显示,该框架在非 IID 联邦环境下收敛更快、精度更高,且计算轻量、通信高效。
MemFLoRA 是一种面向 CNN 边缘适配的低秩适配器,采用内存优先设计而非直接套用面向 Transformer 的 LoRA。它冻结下投影、训练尺度匹配的上投影,并将保存状态压缩到低秩分支,在三个 HAR 数据集和两个 CNN 骨干上,相比全量微调减少 98.5-98.7% 的激活内存和 94.9-97.3% 的峰值训练状态内存,同时匹配或超过 CNN PEFT 基线。
研究提出 Micro Neural Policies(MNP),将 Evolution Strategy 与基于 Statistical Model Checking 的验证结合用于策略搜索,大幅压缩神经网络规模。
研究者提出 Quantizer-Aligned Recalibration(QuAR),一种面向量化 ViT 的单次前向 TTA 方法,不反向传播也不更新任何模型参数,而是在冻结量化器输入端重校准激活值。
Apple 提出 Stepped MoE 框架,将弹性结构与稀疏门控架构结合,让单一模型可在 1、2、3、4 billion 参数间灵活切换,并保持输入自适应路由。该模型在知识密集型基准上比同规模稠密模型准确率高 2-5%,延迟与稠密模型相当,同时通过共享参数节省设备磁盘空间,适配端侧推理的 DRAM 与算力限制。
LiLib 是一种面向 UAV 的轻量级持续学习方案,通过维护一个小型递归最小二乘专家库,用窗口残差检验检测漂移,再经短探测阶段复用或新建专家。
arXiv 论文提出开源个人智能体 nanoMuse,采用 GPL-3.0 许可,让用户拥有的每台设备共享同一段对话,并通过任何人都能运行的 relay 连接。
STEPGATE 是一种不确定性感知的步骤级交接框架,对本地小语言模型的每个动作打分,将困难步骤选择性升级到更强模型。在 52 项 BFCL 单步测试中,Qwen2.5-1.5B/7B 组合以 30.8% 升级率取得 82.7% 任务成功率,高于纯本地的 67.3% 和随机升级的 75.4%。
Cascadia 在十一台 Intel Core Ultra X7 358H AI PC 上常驻运行 975B 总参数、41B 激活参数的 MoE 模型 Inkling,每台配 64 GB 内存、Arc B390 核显与千兆以太网。
研究评估轻量级开源语言模型在资源受限的边缘环境下,将输入数据实体匹配到最合适的智能数据模型(SDM)的表现,系统基准测试了通用、推理专用和代码专用三类架构在多个领域数据集上的效果。实验还将所调研的大语言模型与 TF-IDF 和轻量级句子编码器两种近零成本相似度基线在同一任务上对比,为判断 LLM 分类在边缘平台的实际价值提供参考。
离线 AI 模块工作流发布语音优先的完全离线部署方案,包含模块化架构、低成本硬件 BOM 和面向 2-5B 参数指令微调模型的可复现量化与基准测试流程。
一项基准测试用 5,070 个禁用推理的案例检验本地 Qwen3.8-27B-Q4_K_M.gguf 能否仅用英文单词完成正整数加法,禁用推理时数值准确率为 23.57%,格式合规率 96.17%。准确率随位数增加从一至三位数的 97.04% 降至十至十三位数的 6.44%。启用推理后,169 次配对测试中答对 167 次。