基于超像素分割和图像配准的深度图像修复方法

杨飞 ，王俊元，段能全

(中北大学机械工程学院，山西 太原030051)

基金项目：山西省自然科学基金面上项目（201801D121187）

作者简介：杨飞（1993—），男，硕士研究生，主要研究方向为机器视觉、基于深度图像的三维点云重建，709586585@qq.com.

摘要：针对Kinect V2深度相机采集的深度图像存在深度信息丢失（孔洞）问题，提出了一种融合超像素分割RGB图像和深度图像配准的深度图像修复方法。首先对RGB图像进行超像素分割；然后将分割后的RGB图像与原始深度图像配准；接着将孔洞像素按照所在区域划分为超像素区域内的孔洞像素和超像素边界上的孔洞像素两大类，并对不同类型的孔洞像素采用不同的方法完成深度图像的修复。最后进行了实验验证，结果表明，该方法与双边滤波算法、联合双边滤波算法相比，能够有效地修复深度图像中的孔洞，获得较高质量的深度图像。

关键词：Kinect V2；深度图像；孔洞修复；配准；超像素分割

中图分类号：TP391   文献标识码：A   文章编号：2095-509X(2020)01-0020-05

深度图像大多由深度传感器获取，深度图像中的像素值为距离值，即场景中的客观对象到传感器所在平面的距离。近年来，深度图像被广泛应用于诸多领域，如人机交互［1］、三维点云［2］、机器人控制［3］、自动驾驶等，因此获得高精度的实时深度图像是非常必要的。微软公司推出的Kinect V2深度相机可实时获取深度图像，而且成本低廉。然而，由于技术原理限制以及外界环境影响，Kinect V2所获取的原始深度图像在目标物体被遮挡或者目标物体表面高反光区域存在深度信息丢失问题，深度信息丢失在深度图像中表现为像素值为零，即没有捕获到对应的距离值。通常称深度信息丢失区域为孔洞区域，对应的像素称为孔洞像素。若未经处理，在后续的应用过程中，会引起严重的后果，如在自动驾驶中，造成主机对周围交通状况的误判，导致交通事故；在机器人控制中，导致对障碍物的误判致使避障和控制失败；在三维重建中，使重建点云数据特征信息丢失，导致重建误差增加。因此，深度图像的修复是其成功应用的必要前提，也是至关重要的一个环节。

针对深度图像的修复，传统的滤波算法，如高斯滤波［4］等能够实现基本的孔洞去除，但在深度图像边缘处易发生信息丢失，存在边缘模糊问题。Tomasi等［5］结合空间相似性和灰度相似性，提出了双边滤波（BF）算法，该算法具有保边去噪的效果,但基于深度图像自身的双边滤波方法对于深度图像的修复效果并不好。Petschnigg［6］等利用RGB图像作为引导图来指导深度图像的修复，提出了联合双边滤波（JBF）算法，该方法修复效果较好，边缘保持也比较理想，但是修复精确度欠佳。Hu等［7］提出一种基于彩色图像引导的局部正则化表示方法(CGLRR)，通过从彩色图像对应配块综合确定可用深度像素的最优权值来重建缺失的深度像素，该算法在局部区域中能够有较好的效果，缺点是正则化参数无法自适应选定，计算复杂度高。Song等［8］利用Kinect V2获取的RGB图像的边缘位置信息指导深度图像边界处数据的修复，该算法能够实现深度图像中边缘信息丢失后的图像修复，但在边缘信息复杂的情况下，实现难度较大。Wang等［9］提出一种基于红外深度图一致性和联合自适应回归核的深度图像修复，该算法利用Kinect V2所获取的红外图像来指导深度图像的修复，能够较好地解决因遮挡带来的深度误差问题。但由于采用了红外图像，红外图像中的噪声同样会带来错误引导的问题。Wang等［10］提出一种基于超像素的颜色深度恢复方法，首先应用联合颜色深度超像素分割来处理输入数据，然后利用迭代概率LPR估计超像素块的缺失深度像素，该方法的计算复杂度较高。