标题：多引导条件扩散模型动漫线稿上色算法
作者：叶文强1，2 丁友东1，2
作者单位：1 上海大学上海电影学院，上海 200072；2 上海电影特效工程技术研究中心，上海 200072
关键字：动漫线稿上色；条件扩散模型；图像重建
摘要：针对目前存在的基于参考图像的动漫线稿上色算法在颜色匹配和颜色可控性方面存在的不足，提出了一种基于集成Criss-Cross Attention模块的条件扩散模型多引导线稿图上色方法。该方法利用两种引导条件，即参考图像和随机涂鸦，来辅助动漫线稿自动上色。参考图像为生成结果赋予全局颜色信息，随机涂鸦在局部细节上对生成结果进行修改，为用户添加颜色可控性。该方法采用两阶段训练策略：首先，使用线稿图预训练条件去噪过程；然后，通过图像重建对其进行微调。得益于为条件扩散模型注入了多引导条件，该方法使用户能够通过随机涂鸦控制生成图像的局部细节。大量的实验和多个定量评估指标表面模型，在动漫脸部线稿上色效果表现出优于最新的基于参考图像的方法。