图像跟踪是图像处理领域研究较多也比较关键的技术之一。随着微电子技术不断发展，在光电经纬仪、机载光电平台等图像跟踪应用领域对视频跟踪器系统的要求越来越高，当前视频图像帧频偏低已对伺服系统传输带宽形成不小制约，而高帧频图像又有视频传输的瓶颈。为了解决这一问题，本文设计了一款基于TMS320C6455+FPGA+SDRAM的图像跟踪系统。本系统通过FPGA控制SDRAM对视频图像进行缓存后输出，达到视频降频输出的要求，以解决高帧频图像数据量大难以实时传输显示的问题，同时通过对相关跟踪算法做进一步优化使其满足100 frame/s视频的实时跟踪要求。实验证明该系统工作有效稳定，能满足工程实际需求。