Policy-Mask：按预算将扩散特征适配到判别任务
Policy-Mask从冻结的扩散模型中联合选择用于判别任务的时间步、网络模块和通道。该策略以指定的通道预算为条件，并根据下游任务目标进行训练。对通道贡献进行归一化有助于稳定联合训练。在相同预算下，该方法在分割、分类和语义对应任务中优于固定特征提取及特征筛选基线。其在ADE20K上达到38.9 mIoU，在128维设置下于CIFAR-100上取得75.4%的top-1准确率。研究还将该方法扩展到PixArt-Σ和SD3.5 MMDiT等扩散Transformer。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。