华南理工大学学报(自然科学版) ›› 2022, Vol. 50 ›› Issue (6): 1-9.doi: 10.12141/j.issn.1000-565X.210709
所属专题: 2022年计算机科学与技术
沃焱 梁籍云 韩国强
WO Yan LIANG Jiyun HAN Guoqiang
摘要: 度量学习是一种减少模态差异的重要技术,已有的基于度量学习的跨模态检索方法用于跨模态人脸检索任务时缺乏对视角差异和域差异的关注,并且在度量学习的过程中存在两个问题:缺乏对全局信息的学习和存在大量冗余三元组。文中提出了一种基于度量学习的跨模态共同表达生成算法,采用偏航角等变模块补偿偏航角差异获取具有鲁棒性的图像特征,使用多层注意力机制获取具有可分性的视频特征;结合全局三元组和局部三元组共同训练跨模态共同表达生成网络提升度量学习的一致性和准确性,同时通过半困难三元组筛选加速了损失函数的收敛;提出结合域校准和迁移学习作为域适应方法提升共同表达的泛化性。最终,在PB、YTC和UMD Faces三个人脸视频数据集中的实验结果证明了本文算法有效提升了跨模态人脸检索的准确性,通过少数样本微调跨模态共同表达生成网络有效提升了目标域图像跨模态检索的准确性。