2024年度  第11期


标题:基于SAM掩膜增强的服装解析方法
作者:樊璐1 丁辉明1;谢志峰1,2
作者单位:1 上海大学影视工程系,上海 200072;2 上海电影特效工程技术研究中心,上海 200072
关键字:服装解析;实例分割;SAM
摘要:服装解析任务旨在分割图像中服装实例的同时识别实例属性,是服装智能化研究中的主要任务之一。现有方法存在实例边界精度低,训练收敛速度慢的问题。得益于SAM大模型优秀的图像分割性能,设计了一种基于SAM掩膜增强的服装解析方法。首先提取输入服装图像的特征图、初始掩膜和边界框;然后,将边界框和特征图输入SAM解码出SAM掩膜,并与初始掩膜融合获得增强掩膜;最后,增强掩膜与特征图聚合得到实例查询的特征,并动态更新预测分支的权重,提高预测性能。与现有方法相比,该方法分割服装边界更加精确,模型训练收敛速度更快,在APmaskIoU评估指标上取得了最好的结果。