为了实现跨摄像机区域的多人脸图像跟踪，提出了一种基于双三分支孪生网络（DTN）的跨摄像机跟踪网络。具体方法是应用Chinese Whisper（CW）人脸聚类算法对同一行人的人脸图像进行聚类，并根据聚类结果通过智能监控确定捕获的目标人脸。通过改进FaceNet的网络结构和训练函数，实现了行人面部的精确跟踪。在LFW数据集上训练DTN后，通过边缘样本挖掘损失（MSML）和焦点损失难样本平衡训练，人脸识别率可以提高到99.51%。实验结果表明：通过比较同一视频监控场内人脸特征的相似性，所提网络可以通过该区域跟踪行人的人脸目标；通过摄像机间人脸特征的实时传输，实现了跨摄像机的人脸跟踪。

目前, 公安机关刑侦部门大量的离线视频存储在监控网络的服务器中, 为了在这些海量视频帧中提取嫌疑人目标人脸, 设计了人脸检索系统。通过改变CNN网络的RELU结构, 训练新的四分支孪生网络来获取深度特征, 构造了一个新的四分支孪生网络。结合网上发布的逃犯人脸图片发起通缉, 借助深度特征对比展开基于内容的图像检索(CBIR)。新的四分支孪生网络比熟悉的网络, 如Alexnet、Googlenet、VGGNet和ResNet等收敛得更快, 系统鲁棒性好。网络的共享权重设计使得检索具有较高的模型训练精度和检索精度。图像深度特征可以在摄像机之间快速在线共享。实验结果表明, 该方法的平均检索精度(ARP)为98.74%, 模型训练精度为99.51%, 帧率为28 FPS。

提出了一种基于二维(2D)转三维(3D)骨架的实时检测双分支子网络,可实现2D骨架关键点的3D估计和2D、3D骨架特征融合的人体3D动作识别。在检测过程采用OpenPose框架实时获取视频中人体骨架的2D关键点坐标。在2D转3D骨架估计过程中,设计了一种输入为难样本且具有反馈功能的孪生网络。在3D动作识别过程中设计了一种2D、3D骨架特征双分支孪生网络,以完成3D姿态识别任务。在Human3.6M数据集上训练3D骨架估计网络,在基于欧拉变换的NTU RGB+D 60多视角增强数据集上训练骨架动作识别网络,最终得到的3D骨架动作识别交叉受试者准确率为88.2%,交叉视野准确率为95.6%。实验结果表明,该方法对3D骨架的预测精度较高,且具有实时反馈能力,可适用于实时监控中的动作识别。

为实现对乳腺癌组织病理图像的准确自动分级,提出了一种改进的卷积神经网络,依次引入两种不同的卷积结构,以提高网络对病理图像的识别准确率。以深度残差网络(ResNeXt)为基础网络,用八度卷积(OctConv)替代传统卷积层,在特征提取阶段降低特征图中的冗余特征,提高了细节特征的提取效果;用异构卷积(HetConv)代替网络中的部分传统卷积层,以降低模型的训练参数。为了克服因数据样本较少出现的过拟合问题,采用一种基于图像分块思想的数据增强方法。实验结果表明,该网络在图像级别的四分类任务中准确率达到91.25%,表明所设计的网络模型具有较高的识别率和较好的实时性。

针对传统机器学习中人工提取特征复杂度高,以及单卷积网络提取特征不充分导致识别率不高的问题,提出了一种基于集成卷积神经网络的面部表情识别新方法。该方法是将VGGNet-19改进后的VGGNet-19GP模型和ResNet-18模型进行集成,构建了集成网络(EnsembleNet)模型。该模型首先在训练集上对单模型进行训练,使单模型达到实验最优,然后在测试集上进行集成测试。在FER2013和CK+数据集上分别获得了73.854%和97.611%的平均准确率。与VGGNet-19GP和ResNet-18模型以及现有方法进行对比,结果表明,基于集成的面部表情分类方法具有分类更加准确和泛化能力更强的优点。

为了对传统体素生长算法加以改进,提取心脏局部血管,在三维心脏组织的感兴趣局部血管上勾画初始体素种子点,将初始体素的相邻体素中灰度直方图相似的体素添加到生长体素集合中,作为新的种子点按照生长规则继续寻找相似体素。为了防止体素生长过程中出现泄漏,设置终止规则限制体素生长的边界,进而找到感兴趣血管包括的全部体素。通过对体素生长算法的生长规则和终止条件的进一步改进,在一定程度上解决了传统体素生长算法交互性差、运行不实时等问题,测试结果表明该算法的准确度高、稳健性好,是心血管疾病临床治疗过程中有效的影像辅助工具。

为了在影像学检查中实时交互地提取病灶血管的四维计算机断层扫描(CT)影像,提出了一种思维进化算法(MEA)优化的并行区域生长算法;MEA优化的基于三级线程处理队列的并行区域生长算法能够通过自我进化避免局部最优,提高了收敛速度和血管分割精度,借助可视化工具包(VTK)和计算机图形图像类库,实现交互式心脏CT局部任意血管病灶的提取和四维可视化。结果表明:局部感兴趣血管10个时相的提取时间大大缩短,体绘制速度大幅提升,局部血管提取数据的每秒帧数(FPS)可达到30左右,如果在显示过程中有旋转、缩小、放大等交互操作,会使数据的FPS减至21左右,但仍能满足心血管的实时显示;借助优化算法实现心肌局部血管区域的提取,能辅助医生观察病人心血管疾病的病灶区域,可为诊断心血管疾病提供直观、有效的可视化依据。

通过应用线性八叉树将心脏三维模型离散成体素以快速提取并显示局部任意感兴趣血管，把三维模型离散成体素后，利用多边形交互区域选择感兴趣体积内部体素。根据26-邻接体素的拓扑关系和体素互信息相似度比较结果，最终确定最佳深度和最佳互信息阈值分别为14和-1.375，以此来寻找感兴趣体积中同一组织的体素集合。最终实现了三维医学影像中任意感兴趣血管的精确显示，该技术可被视为用一个提取工具将任意局部三维模型进行提取并进行四维动态显示的过程。实验结果表明：与C-V三维分割算法精度90.1%相比，本分割算法平均精确度达到96.02%；运行时间从13.8 s缩短为10.7 s；四维播放帧数最大40 FPS,基本满足了血管三维分割的临床需求。该算法不仅可以快速地分析局部病灶的生理学特点和病理特征，而且让医生更加直观、便利地观察病人心脏任意局部血管的实际运动状况，以便做出临床决策。

针对微钙化点容易漏检的问题, 提出一种非下采样轮廓波变换结合对比度受限自适应直方图均衡的乳腺图像微钙化点增强新算法。对乳腺图像预处理, 提取乳房区域并将胸肌区域去除; 再对图像进行非下采样轮廓波变换提取多尺度、多方向的子带, 对其中的多个高频子带采用高斯拉普拉斯算子检测边缘并增强; 进一步采用对比度受限自适应直方图均衡算法, 提高图像局部小区域的对比度, 实现乳腺图像微钙化点增强算法。结果表明该方法是一种有效的乳腺钼靶图像微钙化点增强方法, 为微钙化点检测和乳腺癌诊断提供支持。