研究：按主机质量分配抓取预算可提升预训练数据质量

一项 arXiv 论文研究网络爬虫应如何在主机之间和主机内部分配抓取预算，以收集更多高质量的大语言模型预训练数据。研究发现，文档质量分类器得分约一半的差异来自不同主机之间，且同一主机只需少量页面即可预估其余页面的质量。 模拟结果显示，仅用 Common Crawl 的调和中心性选择抓取哪些主机，相比随机排序收益有限；而先采样少量页面、再对高分主机加深抓取，每次抓取获得的高质量页面是均匀深度或中心性分配的数倍。该结论来自模拟，尚未见实际部署验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。