特征金字塔网络(FPN)在融合不同尺度特征图时采用上采样和相加的方法,然而经过上采样的特征图的空间层级化信息丢失严重,简单地进行相加必然引入一定的误差。同时,FPN结构的深层特征信息前向传递性较差,其对更浅层的辅助效果基本消失。对此,结合长短时记忆(LSTM)网络在处理上下文信息上的优势对FPN结构进行改进,在不同深度的特征层之间建立一条自上而下的记忆链接,建立多门控结构对记忆链上的信息进行过滤和融合以产生表征能力更强的高级语义特征图。最后,将改进的FPN结构加入到SSD(Single Shot MultiBox Detector)算法框架中,提出新的特征融合网络——MSSD(Memory SSD),并在Pascal VOC 2007数据集上进行验证。实验表明,该改进取得了较好的测试结果,相比于目前较先进的检测算法也有一定的优势。