针对目标跟踪中的遮挡、旋转、快速运动、形变等问题，本文提出基于卷积神经网络的响应自适应跟踪算法。首先，通过卷积神经网络提取目标的多层卷积特征，利用粒子滤波算法获取目标的多模板响应图，自适应学习目标的期望响应; 然后通过构造目标函数的对偶形式解决多模板联合优化问题，计算多模板情况下每层卷积特征的最优滤波参数; 最后通过相关滤波算法计算多层滤波响应，通过响应加权融合的方式计算最终响应图，以此估计目标位置。本文利用OTB-2013数据集中的方法测试我们提出的算法，实验表明该算法的整体成功率和精确度为0.884和0.915。本文算法在距离准确度、成功率和平均跟踪误差方面均优于传统的相关滤波跟踪算法，有一定研究价值。