跳到正文
arXiv cs.AI· Tate Berenbaum (Not Community Labs Inc.), Matias Parij (Not Community Labs Inc.), Muthaiah Venkatachalam (Intel Corporation)·· 9 小时前AI 评分34

Cascadia 在十一台 AI PC 上实现 975B MoE 模型常驻推理

Cascadia: Resident 975B MoE Inference on Eleven AI PCs

AI 导读

Cascadia 在十一台 Intel Core Ultra X7 358H AI PC 上常驻运行 975B 总参数、41B 激活参数的 MoE 模型 Inkling,每台配 64 GB 内存、Arc B390 核显与千兆以太网。

来源:arXiv cs.AI · arxiv.org