跳到正文
arXiv cs.AI· Yichi Zhang, Zhenxiang Huang, Yuyang Zhang, Yuchen Yang·· 8 小时前AI 评分24

SCRouter:面向安全的大语言模型路由如何按查询分配模型与预算

Rethinking Quality in Large Language Model Routing: Security-Conditioned Model-and-Budget Selection

AI 导读

针对混合负载下单一质量指标失效的问题,研究者提出 LLM 路由器 SCRouter,分别预测每个模型-预算组合的效用与安全性,并用小型探针为每条查询确定两者权重,再结合成本选择模型与 token 预算。

来源:arXiv cs.AI · arxiv.org