跳到正文
arXiv cs.LG· Alberto Mart\'inez, Natalia Flechas Manrique, Lloren\c{c} Espinosa-Portal\'es, Luc Andrea·· 7 小时前AI 评分22

ProtModernBERT:面向低算力场景的高效蛋白质语言建模

ProtModernBERT: Compute-Efficient Protein Language Modeling

AI 导读

ProtModernBERT 是一个在氨基酸序列上预训练的现代化 BERT 式蛋白质语言模型,在二级结构预测、无序预测、亚细胞定位及 ProteinGym 零样本功能基准上,性能匹配或接近 Amplify-120M 与 ProtBert,同时预训练 FLOPs 最多减少 80-90%。

来源:arXiv cs.LG · arxiv.org