arXiv cs.CL· Yiping Bai·· 4 小时前AI 评分22
小规模中文 BERT 预训练对比：MLM、WWM 与 MacBERT 策略
Tiny-Scale Chinese BERT Pretraining: A Controlled Comparison of MLM, WWM, and MacBERT Strategies
AI 导读
一项受控实验在 8.7M 参数、4 层 256 维的小规模中文 BERT 上对比了 MLM、WWM 与 MacBERT 三种预训练策略，使用 1.29M 句中文维基语料从零训练。
来源：arXiv cs.CL · arxiv.org