RIBOSPAN：用于多用途 RNA 建模的长上下文 RNA 基础模型
RIBOSPAN 是一个拥有 16.1 亿参数的双向 RNA 基础模型，原生以最长 10,240 个核苷酸的上下文进行预训练。该模型结合单核苷酸标记化、密集双向注意力和注意力隔离的序列打包机制，用于以高分辨率建模完整长链 RNA。评估显示，RIBOSPAN 在核苷酸重建和上下文表征方面表现出色，在多种 RNA 类型上取得整体领先结果，并在长 RNA 上保持明显优势。基于同一模型骨干，研究人员还开发了用于完整 mRNA 生成和重新设计的离散扩散框架，包括在保持蛋白质序列不变的情况下，通过同义密码子扩散优化 CDS。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。