标题：基于跨模态图网络引导的时尚兼容性建模
作者：彭蔚1 丁辉明1；谢志峰1，2
作者单位：1 上海大学影视工程系，上海 200072；2 上海电影特效工程技术研究中心，上海 200072
关键字：时尚兼容性建模；图网络；跨模态
摘要：时尚兼容性建模任务旨在输入一组时尚套装图片，判断该套装是否具有时尚意义的兼容性。现有方法未考虑跨模态域中的兼容性信息，并且兼容性结果可解释性不足。因此提出了一个基于跨模态图网络引导的时尚兼容性建模方法（CMGN-OCM）。首先进行多层级的特征提取，得到语义、视觉、属性三个层级的兼容性特征；然后构建分层图网络，利用不同层级间特征的传播得到各层级图网络的初始表示，再进行图网络的更新得到不同层级下的兼容性分数；最后，聚合各层级的兼容性分数并进行规则化处理，利用视觉语言模型生成最终的时尚兼容性描述。实验结果表明，CMGN-OCM优于目前最先进的方法，在公共数据集上的量化实验取得了最好的结果，并提高了任务结果的可解释性。