重庆邮电大学通信与信息工程学院,重庆 400065
跨模态行人重识别是一项具有挑战性的行人检索任务。现有研究侧重于通过提取模态共享特征来减小模态间差异,忽视了对模态内差异和背景干扰的处理。为此,提出了一种掩模重构与动态注意力(MRDA)网络,该网络通过重构人体区域特征来消除背景杂波的影响,从而增强网络对背景变化的鲁棒性。此外,该网络结合了动态注意力机制,以过滤无关信息,动态挖掘并增强具有辨别力的特征表示,消除模态内差异的影响。实验结果显示:该网络在SYSU-MM01数据集的all-search模式下的第一个检索结果匹配成功的概率(Rank-1)和均值平均精度(mAP)分别达到70.55%和63.89%;在RegDB数据集的visible-to-infrared检索模式下的Rank-1和mAP分别达到91.80%和82.08%。在公共数据集上验证了所提方法的有效性。
行人重识别 跨模态 掩模重构 双流网络 动态注意力 激光与光电子学进展
2024, 61(10): 1015001