FLAMIA：面向 Blackwell 的快速、因果安全训练 Flash Microscaling Attention
FLAMIA 是一组面向 NVIDIA Blackwell GPU 的注意力内核，支持 MXFP8 和 NVFP4/FP8 混合精度训练。其设计结合了 token 分块缩放、防止共享尺度导致信息泄漏的措施，以及前向与反向计算的一致性。在打包文档工作负载中，MXFP8 路径的前向与反向注意力组合调用（包括量化）相比各项工作负载中评测的最快基线，在 B200 上提速 1.10 至 1.40 倍，在 B300 上提速 1.06 至 1.42 倍。基于 Llama 类模型的验证显示，训练过程稳定，模型质量得到保持。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。