表型分析对于理解植物基因型与环境之间的关系非常重要, 开发高效且成本低的相关技术是精准农业等领域的一项典型需求。 其中, 代表性的RGB-D设备Kinect已用于植物表型分析, 但其应用潜力尚未被充分挖掘。 本文首先梳理比较了Kinect表征三维结构的三种原理方式, 即点云基于深度图像（DI）生成, 通过运动恢复结构（SfM）从彩色图像获得, 以及合并DI和SfM点云生成融合数据（MD）, 并以FARO X330激光扫描仪获取的基准数据评估三种方式的性能。 以植物玉簪为例的分析结果表明, 对叶面积的估算DI点云的准确度最高, 对叶片圆形度和偏心率的反演MD点云表现最佳, 对叶倾角的反演SfM点云的性能最好。 三种方式的结果差异源于它们表征不同结构的表现不同, 对于叶面积的反演, SfM表征叶片相对不完整, 而MD重建叶片的边缘存在不平滑的现象, 导致两者精度不足; 对于表征叶片的几何特征, 通过合并DI和SfM数据生成的MD点云实现了信息增强的效果, 使得其表现优于DI和SfM点云; 叶倾角对深度测量的准确性更敏感, 由于Kinect测量深度过程中通常存在误差, 导致DI和MD点云反演精度偏低, 而SfM点云仅通过彩色图像生成, 因此其表现出反演叶倾角的最佳性能。 性能比较与原因分析表明, 三种方式对不同的结构特征有不同的适用空间, 它们的集成有助于提升Kinect用于植物表型分析的整体性能, 由此形成一种基于Kinect的移动表型高效分析技术; 此外, 提出的叶片几何描绘（LGD）模型可较好拟合叶片轮廓, 有助于恢复部分被遮挡叶片的几何形态。 提出了一种基于Kinect的低成本但高效的移动型三维植物结构表型分析技术, 这对于促进作物监控、农业增产等有基础技术意义。

高危作业现场环境复杂,危险系数高,容易发生跌倒事故,造成人员伤亡。为了检测工人跌倒行为,提出了一种基于Kinect传感器的人体跌倒检测方法。利用Kinect获取深度图像,提取关节点信息,通过计算关节点相对位置熵和速度的变化,判断人体是否发生跌倒。通过对比实验,确定了一组跌倒识别率最高的骨架关节点:头、双肩、双膝、中心点。实验数据表明该方法可以更快速准确地检测出跌倒行为。

TOF(Time-Of-Flight)相机获取的深度值存在着边角畸变和精度偏移, 目前主要是通过误差查找表或曲线拟合等技术进行误差补偿, 计算量大且补偿速度慢。通过对TOF相机在不同距离的深度误差分布规律的分析, 提出了一种实时、高精度的误差补偿方法。该方法利用TOF深度图像的旋转对称性以及误差分布的特性, 简化了误差补偿模型、降低参数数量级, 有效提升了补偿的精度和速度。将算法应用于基于TOF原理的Kinect v2深度传感器进行深度补偿, 使得有效距离内平面度误差下降到0.63 mm内, 平均误差下降到0.704 0 mm内, 单帧数据补偿时间在90 ms内。由于该算法仅基于光径差进行补偿, 因此适用于所有TOF原理的相机。实验结果表明, 该算法能够快速有效减少TOF相机的深度误差, 适用于实时、高精度的大视场三维重建。

针对联合双边滤波修复深度图像时无法准确估计滤波邻域范围和权重参数、深度图像的空洞填充效果不佳等问题,提出一种自适应深度图像空洞填充与优化算法。该算法减少了输入参数,实现了对每个深度缺失值的修复,根据有效像素占比确定每个空洞像素点的滤波邻域范围,通过邻域大小计算空间距离权重项参数,引入结构相似度(SSIM)作为颜色相似权重项参数的计算指标。在Middlebury立体匹配数据集和经过配准的Kinect RGB-D数据集上检测所提算法的性能,并与其他方法进行定性比较和定量分析。实验结果表明,所提算法能够有效填充深度缺失空洞,抑制深度图像噪声,更加精细、准确地改善深度图像的质量。

为高通量地计算农作物株高,克服传统测量方法低效、耗时耗力等不足, 以抗线9号、13号和富豆6号寒地大豆为研究对象,构建了基于Kinect 2.0的大豆冠层图像同步采集平台,并在三维重建大豆冠层结构形态的基础上,提出了基于深度信息的个体和群体大豆株高计算方法。实验结果表明,与实测值相比,计算得到的个体和群体大豆株高的平均误差分别为0.14 cm和0.54 cm,抗线9号、13号和富豆6号株高计算值与实测值之间的决定系数依次为0.9717,0.9730,0.9697。所提方法能够较为精确地计算大豆植株的株高特征。

为实现基于Kinect传感器的实时手势识别,并在保证识别精度的情况下缩短识别时间,提出一种基于卡尔曼滤波的手势图像提取方法,并研究基于该分割方法的三种特征的手势识别模型。通过Kinect获取图像和骨骼信息,基于卡尔曼滤波提取手势区域。为验证分割的高效性,采集10类手势的28000张样本,提取两种局部二值模式特征和一种方向梯度直方图(HOG)特征,用支持向量机(SVM)机器学习方法进行分类识别。实验表明,HOG+SVM的手势识别模型的识别精度可达97.09%,识别帧率为31 frame/s。在基于Kinect的应用中,基于该分割方法和HOG特征提取的SVM识别模型能够满足实时性的要求。

针对人体尺寸自动提取的问题, 提出一种基于PCL点云库的交互式算法。通过单台Microsoft Kinect 采集人体点云数据, 使用邻域平均法进行去噪预处理; 通过人机交互的方式选取特征点得到所对应的点云轮廓; 采用改进的凸包算法估算人体胸围、腰围、脖围尺寸。实现了全面的非接触式人机交互, 具有操作便捷、速度快的特点。实验结果表明交互式人体尺寸提取方法能够适用于不同人群, 改进的凸包算法能够有效地提高尺寸精度; 提取的人体尺寸满足GB/T 23698-2009的精度要求。

针对三维图像特征点的匹配问题, 研究了在Kinect三维图像中, 分别基于SIFT、SURF和ORB算法建立的三维特征描述子经RANSAC算法优化后匹配精度和匹配速度的差异。首先, 使用一组Kinect拍摄的测试集进行测试, 三种特征匹配算法经过RANSAC算法优化之后, 都表现出良好的匹配精度,ORB算法在匹配速度上稍有优势。其次, 使用Kinect实际拍摄的室内样张进行重复性测试, 实验结果表明, ORB算法在匹配精度和匹配速度上较SIFT和SURF算法更优秀。因此, 将ORB特征匹配算法用做Kinect图像的特征检测器效果最佳。

针对制造车间光滑地面在阳光或灯光照射下的扫描图像往往存在反射光斑, 且随相机位置变化而变化, 会严重干扰图像处理和利用的问题, 提出了一种识别和去除高光的方法, 用于改善图像处理效果和三维重建精度。基于扫描序列图像的三维场景重建流程和SURF特征原理, 分析移动的高亮反光斑对图像特征点提取和匹配的影响; 对于缺乏表面纹理的灰度图像, 提出一种基于逐行多级阈值和动态模板高光识别与去除方法, 保留非高光点的特征信息, 识别与修复同步完成。实验结果表明, 无高反光的前后两帧图像的匹配特征点对比有高光情况下至少高出8%, 优化后的余留匹配特征点更多; 扫描一段30 m长的车间场景序列图像, 用提出的方法修复高光后进行三维重建, 点云拼接误差减小了10 cm。表明移动高光对图像序列三维重建有不可忽视的影响, 本文提出的方法能有效地去除高光。

针对移动机器人在三维点云地图创建过程中存在鲁棒性和实时性不佳的问题, 提出一种基于图像特征点的三维地图创建方法。首先, 对Kinect采集得到的RGB数据进行特征点提取与匹配, 并采用RANSAC算法对误匹配点进行剔除, 在保证精度的同时, 有效减少了配准算法的迭代次数, 通过结合Kinect深度数据得到对应特征点对在三维空间中的位姿, 最后采用ICP算法迭代求解刚体变换矩阵完成精确配准, 得到室内真实场景下的三维点云地图。为抑制由三维点云配准过程中累积误差造成的位姿漂移, 引入了基于TORO图优化算法的闭环检测机制, 实验验证了所提方法的有效性。