针对视频数据利用低效和光测设备目标识别能力较弱的问题，提出一种使用海量视频数据建立数据库进而构建红外目标识别系统的方法。首先设计快速红外目标检测算法，提取目标并分类建立数据库；然后结合特定任务建立一组较匹配且结构不同的卷积神经网络，并提出基于测试准确度均值统计分析和参数规模的选型策略，选出泛化能力较好且结构简单的卷积神经网络以及适当的训练轮数；最后加载优选模型及其参数作为分类器，与检测器结合实现红外目标特征事件实时检测分类。仿真结果表明，目标分类准确率均值可达95%以上，速率约为50 pixel/s。卷积神经网络结构的设计和选型策略有效，构建的系统可以满足红外目标识别的精度和实时性要求。