HyperQ 将令牌条件量子电路引入扩散语言模型
HyperQ在冻结的掩码扩散语言模型中加入令牌条件量子残差分支。轻量级电路超网络针对每个令牌，为共享的稀疏量子电路生成专属参数，训练时只更新新增分支。由于所需期望值可以通过精确的经典表达式计算，该方法能够在11亿参数的骨干模型上训练16至64量子比特的电路。在下游基准测试中，随着电路宽度增加，平均分数从47.65提升至54.30。在64量子比特配置下，HyperQ比骨干模型高4.71分，比低秩适配版本高3.67分。微调使用了2万组提示-回答数据，而经典基线使用了20万组。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。