arXiv cs.CL· Malte Ostendorff·· 2 小时前AI 评分24
面向 LLM 预训练数据的 Host-Aware 网页抓取
Host-Aware Web Crawling for LLM Pretraining Data
AI 导读
研究发现，文档质量分类器得分约一半的差异来自不同 host 之间，且同一 host 少量页面即可预估其余页面质量。模拟显示，用 Common Crawl 的调和中心性选择抓取哪些 host 相比随机排序收益有限，而先采样少量页面再对高分 host 加深抓取，每次抓取获得的高质量页面是均匀深度或中心性分配的数倍。
来源：arXiv cs.CL · arxiv.org