真实数据输入,真实结果输出:场景文字编辑能否只用真实数据?
这项研究探索如何在不使用合成图像对的情况下训练场景文字编辑(STE)模型。研究人员通过裁剪图像、打乱字符列等方式扰动真实图像中的文字,为每张图像构造自配对训练数据。基于条件扩散架构的 TextRIRO 在真实场景基准测试中展现出较有潜力的准确率和视觉真实感,并尝试缩小合成数据与自然场景之间的差距。研究团队还推出 TextRIRO-3M,将编辑后的图像与原图组合成数据集。实验显示,使用该数据集训练文字识别模型能够提升识别准确率。项目代码已在 GitHub 上提供。
本文来源:Hugging Face,仅供学习参考,版权归原作者所有。