《武汉工程大学学报》 2015年04期
45-50
出版日期：2015-04-30
ISSN:1674-2869
CN:42-1779/TQ
双目视图运动图像去模糊方法
０ 引 言随着当代工业制造加工工艺的不断提升，产品加工过程也越来越强调技术的智能化，自动化［１］． 生产上需要精确，自动以及高效的测量被测零件的外观轮廓，几何尺寸. 而现代工业生产上零件外型复杂，测量又需要现场实时进行，传统的检测方法已经无法达到现代工业生产的需求［２］. 双目测量技术是计算机视觉的关键技术之一，通过从图像中提取有用的信息，处理被测图像以获得所需要的参数数据，然后通过双目相机之间的几何限定条件来求得物体运动轨迹在双目相机上的投影关系，进而建立双目视点图像模糊核路径关系并对其进行整体一致性的精确优化［３］. 这种非接触测量具有效率高，系统结构简单，精确度高，自动化程度高，成本低廉等优点［４］，非常适合于制造现场的在线，非接触产品测量检测和质量控制［５］. 由于双目测量系统能够很大程度的满足现代先进制造业的要求，所以其在医学、交通、工业、航空航天领域都有广阔的发展前景. １ 相机模型与图像标定１．１ 摄像机模型参数相机标定主要包含以下参数.相机内部参数： Ａ＝fx s u0０ fx v0０ ０ 1（１）其中，ｕ０、ｖ０为光学中心的坐标，ｆｘ、ｆｙ分别是ｕ轴和ｖ轴上的有效焦距，ｓ是ｕ轴和ｖ轴上的不垂直因子［６－７］，在理想情况下令ｓ＝０. 相机外部参数： R＝r1 r2 r3r4 r5 r6r7 r8 r9T＝txtytz（2）式（２）中，R为相机旋转矩阵而T为相机平移向量，通常将R和T称为外部参数［８］. 而对于非线性模型的内部参数还包括两个径向畸变参数ｋ１，ｋ１以及两个切向畸变参数ｐ１，ｐ２［９-１０］. １．２ 坐标系转换与相机模型对于双目相机的标定系统总共包含四个不同的转换坐标系，它们分别是：摄像机坐标系：ｏｃｘｃｙｃｚｃ；世界坐标系：ｏｗｘｗｙｗｘｗ；图像（ＣＣＤ）坐标系：ｏｘｙ和计算机图像坐标系：ｕｖ［１１］；各个坐标系之间存在相互转换关系如下.根据小孔成像模型，可以得到从摄像机坐标系到图像坐标系有如下变换关系： x=f ■y=f ■?圯zcxy1=f 0 0 00 f ０ 00 0 1 0xcyczc1（3）从图像坐标系到计算机坐标系得变换： u=■+cxv=■+cy?圯uv1=1/dx 0 cx 0 1/dy cy 0 0 1xy1（4）式（４）中ｄｘ是每个像素在ｘ方向上的物理长度，ｄｙ是每个像素在ｙ方向上的物理长度，（ｃｘ，ｃｙ）为图像中心坐标.从而可以知道世界坐标系到摄像机坐标系之间的变换如下： xcyczc=Rxwywzw+t?圯xcyczc1=R t0T 1xwywzw1（５）可以得到世界坐标系表示的Ｐ点坐标与其投影点ｐ的计算机图像坐标（ｕ，ｖ）的变换关系： zcuv1= fx 0 cx 00 fy cy 00 0 1 0=R t0T 1xwywzw1（6）根据针孔相机成像原理，由世界坐标点到理想像素点变换如下： ?籽uv1= fx s cx 0 fy cy0 0 1=（R t）xwywzw1=A（R t）xwywzw1（7）２ 双目相机ＰＳＦ之间的几何关系推导２．１ 双目相机极线约束方程对极几何是指双目视图两视点之间的内在影射几何，它与外部的景物结构无关，只决定于双目摄像机的相对距离和内部参数［１２－１４］. 立体匹配中双目相机之间存在如下几何关系（见图１）．其中，Ｐ点为空间任一点Ｐ在图像Ｉ１上的投影，Ｐ２点为空间任一点Ｐ在图像Ｉ２上的投影，直线ｌ１为成像面Ｉ１上对应于Ｐ２点的极线，同样直线ｌ２为成像面Ｉ２上对应于Ｐ１点的极线. 如果已知Ｐ１点在图像Ｉ１上的位置，则在图像Ｉ２内Ｐ１点所对应的点必然位于它在图像Ｉ２的极线上，即Ｐ２点一定在直线ｌ２上. 这就称为极线约束［１５］. 由于双目相机分别为小孔成像模型，可以将两个相机的投影方程联立： sl pl =MlXw=(Ml1 ml)Xwsr pr=MrXw=(Mr1 mr)Xw （８）此方程称为极线约束方程，其中，Xw为空间某点Ｐ处于世界坐标系之下的齐次坐标；pl和ｐｒ是Ｐ点分别投影在左右视点图像的齐次坐标. 将标定矩阵拆分，将Ml与Mr矩阵中左边的３×３部分别写成Ml1和Mr1，右边的３×１部分则分别写作ml和mr. 如果将Xw记作Xw＝（Ｘ １）Ｔ，其中X＝（Xw，Ｙｗ，Ｚｗ）Ｔ. 于是可将式（８）写作： sl pl =Ml1X+mlsr pr=Mr1X+mr （９）联立此方程，消去Ｘ可得 sr pr-sl Mr1M■■pl=mr-M■M■■ （１０）由于等式两边都是三维向量，式（１０）中其实为三维方程，将此等式两边消去ｓｌ与ｓｒ可以得到一个关于ｐｌ和ｐｒ的关系式. 通过一系列变换，可以得到ｐｌ和ｐｒ之间的关系为 ｐ■■［ｍ］ｘMr1M■■pl＝０（１１）其中ｍ为三维向量ｍ＝mr－Mr1M■■ｍｌ，［ｍ］×为ｍ的反对称矩阵. sr pr-sl Mr1M■■pl=mr-M■M■■ （１２）图 １ 双目相机对极几何关系Ｆｉｇ．１ Ｔｈｅ ｅｐｉｐｏｌａｒ ｇｅｏｍｅｔｒｙ ｒｅｌａｔｉｏｎｓｈｉｐ ｂｅｔｗｅｅｎ ｂｉｎｏｃｕｌａｒ ｃａｍｅｒａｓ２．２ 双目动目标模糊路径分析因为对于运动模糊，模糊路径即为物点在三维空间运动轨迹在成像面上的投影. 因此，只需分别计算出物体上一点Ｐ在左视点上模糊路径的起止点坐标ｐｌ１，ｐｌ２，便可以通过式（１１）计算出其在右视点上对应的模糊路径起止点坐标ｐr１，ｐr２，如图２所示，线段ｐｌ１ ｐｌ２，ｐr１ ｐr２分别为左右视点平面上的理想点扩散函数路径. 图 ２ 双目视图运动轨迹投影Ｆｉｇ．２ Ｔｈｅ ｍｏｔｉｏｎ ｔｒａｊｅｃｔｏｒｙ ｐｒｏｊｅｃｔｉｏｎ ｏｆ ｂｉｎｏｃｕｌａｒ ｃａｍｅｒａｓ对于单视点模糊图像，各视点图像可由式（１３）描述： ｇｉ（ｘ，ｙ）＝ｈｉ（ｘ，ｙ）?茚ｆｉ（ｘ，ｙ）＋ｎｉ（ｘ，ｙ）（１３）其中ｇｉ（ｘ，ｙ）为实际观测图像即模糊图像，ｈｉ（ｘ，ｙ）为图像点扩散函数ＰＳＦ，ｆｉ（ｘ，ｙ）为原清晰图像，ｎｉ（ｘ，ｙ）为图像中包含的噪声，?茚表示二维离散去卷积［１６］. 对于理想运动模糊而言，模糊核为具有一定方向的单像素直线段或光滑曲线段. ２．３ 基于边缘检测的单视点图像运动模糊核估计图像复原的质量体现在对模糊核的精确估计之上，模糊图像的模糊边缘可以看做是一个理想的逐像素阶梯状边缘被一个模糊算子卷积而成［１７］. 对于模糊图像，图像清晰边缘的位置可以看做是未改变的，只有清晰边缘两侧区域的像素灰度值发生了改变. 可以利用高斯差分算子（ＤｏＧ算子）分别与清晰边缘与模糊边缘做卷积，通过估计模糊边缘并以此为基础预测边缘两边的清晰区域［１８］.３ 实验设计与结果分析３．１ 实验设计（１）图像采集. 实验平台由实验台，光源及幕布，小车，棋盘格标定板，双目相机及工控机组成. 采集图像步骤如下：首先固定双目相机，设置相机参数及焦距，对双目相机进行标定，然后让被测物体匀速直线运动通过视平面，采集运动模糊图像. 模糊长度由相机曝光时间控制. 本实验双目相机采用微视ＭＶ－３０００ＵＣ相机. （２）图像的预处理. 因为采集到的图像中包含了噪音以及许多与目标无关的图像信号，因而需要对原始图像采取一定的预处理. 图像的预处理是为了将图像无关的背景进行抑制，从而提高信噪比. （３）相机标定. 因为双目图像点扩散函数路径之间存在关系仅仅由相机的几何位置关系及相机成像模型决定，因此在求取点扩散函数路径关系式时所包含的未知参数即为相机的内参和外参. 相机的内外参数由相机标定矩阵给定，而相机的标定矩阵可以用张正友棋盘格标定法求取，具体步骤如下：张正友标定算法基本原理式： suv1=K（r1 r2 r3 t）XY01=K（r1 r2 t）XY1（１４）其中（X Y １）Ｔ为模板上点的齐次坐标，（ｕ ｖ １）Ｔ为模板上对应点投影到图像平面上的坐标. 首先准备一幅棋盘标定板，在固定双目相机并设定参数之后，分别用双目相机拍摄标定板，通过Ｈａｒｒｉｓ算子提取角点，计算出相机的内外参数.（４）模糊图像点扩散函数路径的计算. 将标定矩阵进行拆分，带入式（１０）求取左右视点图像上对应点之间的数量关系，通过一个视点的点扩散函数路径求取另一个视点的扩散函数. （５）通过计算所得的点扩散函数路径对实验图像进行去模糊. ３．２ 实验结果与分析本文所采用算法通过计算机编程实现.图3为用单帧去模糊方法分别对左右相机视点进行单帧去模糊的结果. 由图3可见，单帧去模糊方法所估算的点扩展函数路径（PSF）为一团离散的点阵. 去模糊效果也不太理想，尤其是图像边缘，存在较为明显的重影，这是由于粗略估算的PSF路径上存在许多不真实的点，与原始模糊图像进行迭代去卷积的过程中，使图像边缘产生了振铃效应. 图4为精确优化后的PSF复原结果. 因为优化过程中考虑到了双目视点之间的几何对应关系，因此更接近于实际PSF值，使得图像边缘更为清晰，辨识度更高. 表1为两种方法复原图像的归一化的均方差值对比，表2为两种复原方法的峰值信噪比对比. 两种评价指标都反映出，用精确优化的PSF进行图像复原效果更好. 图3 用单帧去模糊方法估计PSF去模糊结果Fig.3 The deblurring result with the PSF based on traditional deblurring method图4 用约束条件求取的PSF去模糊Fig.4 The deblurring result with our method由实验可见，通过双目相机间的几何约束关系求取的模糊核去模糊效果较好. 因为此方法中某一视点的模糊核由另一视点上起止点的坐标以及相机参数通过矩阵运算求得，而实际检测中，相机参数是连续的，通常精确到小数点后三位，而ＰＳＦ是以像素为单位离散的. 若模糊长度较小，在后续近似计算中会产生很大误差，这部分误差可以通过增大采集图像分辨率来减小. 而图像ＰＳＦ计算的精确性由相机矩阵的标定来决定. 表1 去模糊质量 NMSE 值对比Table 1 Comparison of NMSE values表2 去模糊质量 PSNR 值对比Table 2 Comparison of PSNR values４ 结 语由于实际生产线上的工件往往处于运动状态，取得的图像会产生运动模糊. 而以往的图像复原算法又通常只着眼于对单视点图像进行单独的模糊核估计及图像复原，不能很好的保持各个视点之间点扩展函数路径的几何对应关系. 以上叙述的方法正是针对此类问题提出. 该方法推导了双目相机之间的对极几何关系并结合现有的非盲目去卷积算法，对双目运动模糊图像进行整体一致的去模糊处理，并进行了一系列复原实验. 实验结果表明本文提出的复原方法是有效的. 致 谢衷心感谢国家自然科学基金委员会的资助！