国内外不锈钢焊管焊缝识别与定位系统的研究现状及存在的问题

近年来，工业处于高速发展状态中，冶金、机械、航天、石化等对焊接生产技术要求越来越高，尤其在装配和机械加工的行业中对焊接的质量和焊接自动化程度要求更高。早期随着计算机的发展，利用计算机高速处理优势，给计算机加上摄像头，构成了计算机视觉技术，这种技术在早期得到广泛的应用，利用机器视觉直接观察不锈钢焊管焊接处的关键信息，并实施传回到计算机进行图像处理，完成焊缝的识别，然后控制焊机在固定轨道上运行。随着电子行业的迅猛发展，基本的小型MCU、微处理器等的处理速度都得到了大力发展，对于大量的数据处理能力的提升，使得从大型机柜式的计算机模块，缩小到机器人式的微小型控制单元，将体积庞大的计算机系统替下来，利用占据面积小的FPGA、ARM、低功耗的单片机，直接作为处理控件。由于处理单元有大型复杂的PC机转化为小型的核心处理CPU，从繁重复杂的焊接工序中解放出来。这些核心单元加上前端的传感器和后端的控制机构就形成了现在智能化机器人，自从机器人出现对于不锈钢焊管焊接的处理要求不断提高，尤其在焊缝信息的识别与跟踪方面的研究。

机器人视觉自从八十年代以来经历了从实验室到现实社会生活中应用的发展，从简单的图像二值化到高分辨率的灰度图像处理，尤其在现代化工业中应用极为广泛。尤其在汽车工业中，为了降低成本，争取最大利润，流水线加工已成为必不可少的生产手段。如何提高流水线的生产速度，同时又保证产品的质量，是建立生产线的重要标准。而焊接作为生产线的一个重要环节焊缝，特别是重要部件的焊缝的合格与否对于整个产品的质量起到至关重要的作用。

国内外的研究现状及存在的问题

焊缝的识别也就是图形的识别，在图像信息中找到关于焊缝的有用信息。在图像处理技术的发展下，图像识别技术从模式识别学科中衍生出来。图像是一种模式，对输入的模式进行分类是模式识别的主要内容，而模式的定义是源于对具体的个别事物进行观测而得到的关于时间和空间上的有效信息。模式识别是在二十世纪诞生的，随着计算机的出现，模式识别迅速发展而后成为一门重要的学科，在图像技术的不断提升下，图像识别技术成为了模式识别的关键技术。

现代的识别技术包括图像信息的采集和图像信息的基本处理，根据模式识别理论的解释，图形识别不要求输出结果是一幅完整的图片原始信息，而是需要对原始图像经过处理，包括对图像的预处理、滤波、分割与描述提取有效的特征信息，给出特定的算法进行判决分类。从其处理过程来看图像识别技术综合多种学科的知识，包括就计算机视觉技术，模式识别技术以及图像理解分析等，它的发展也随着这些学科的进步而崛起[7,8,9]。模式识别技术广泛应用于太空领域，对大量的星际照片进行分析和理解，遥感技术中对卫星图片中的资源进行分析涉及到地质、矿产、水利、海洋、农业等，此外也广泛应用于医学、军事、交通等领域。在工业中的应用是在智能机器人的出现后，有图像识别技术的支撑就有了机器人的“眼睛”，给机器人赋予了视觉。

国内的图像识别技术研究比较晚，基于焊缝CCD图像模式特征的焊缝轨迹识别算法是由清华大学等教授提出的，他主要研究了传感器在弧焊跟踪系统的优势和引导控制系统算法，在此技术上将纯粹的示教焊接器，引向了自由度高的CCD焊缝识别模式，同时华南理工大学、哈尔滨工业大学、天津大学等分别对图像处理算法的相关研究为焊缝跟踪轨迹提供了更强大的的技术支持，这些大学相继提出了中值滤波除噪声，sobel算子提取焊缝边缘信息，以及bubble函数过零点检测。这些理论的提出给予了焊缝识别与定位系统理论铺垫。

随着智能机器人的发展，图像识别技术应用更具体，在焊缝跟踪技术中成为核心技术。焊缝跟踪技术从20世纪80年代左右得到了迅速提升，那时出现的主要是示教再现焊接机器人，这类机器人主要是在固定的机械结构上实现的，对焊接夹具的精度要求极高，而且工件的尺寸必须相同，因此在实际的应用中必须以昂贵的代价来换取，同时该示教式机器焊缝追踪技术自适应力差，随着发展由瑞典ASEA公司首次推出视觉跟踪系统，这台视觉传感控制器无需对焊缝路径进行事先的示教，由于当时第一台设计时考虑比较复杂焊接速度比较慢。与此同时视觉传感设备的迅速发展，给焊缝追踪赋予了更多的灵活性。

焊缝采集技术

不锈钢焊管焊缝识别与定位系统的主要组成部分包括视觉传感系统、核心处理器、定位引导系统。其中视觉传感系统主要应用于对图像数据的采集，采用视觉传感器感知不锈钢焊管上面焊缝信息，并传送到中央核心处理器系统中进行处理，在得到焊缝信息后经过处理器分析，利用图像识别技术提取出轨迹信息，并结合现有的几何理论和定位技术得出控制方案。

目前国内焊缝图像信息采集方法主要包括两种：一种是线阵型感光主要是利用一排感光传感部件感知图像信息，类似于以线型扫描物体表面图像信息，另外一种即面阵式感光它主要是由光敏区对光学图像产生光电荷子，光积分结束后将整帧电荷转移给存储区，再有水平移位寄存器逐一读出。这种传感器结构简单传输单帧速度较快，采集图形区域面积大，提高了采集的效率，线型传感器虽然结构简单成本比较低，但只能近距离的感知物体表面信息，对特等的场景有要求。而面阵型感光器有效区域大，对焊缝采集的信息比较全面，其传输速度远远大于线型感光器，有利于高速处图像理数据，并且能有效的反馈图像中的噪声。因此，面阵感光器在工业上得到了广泛的应用。

对于焊缝图像信息的采集过程，面阵感光摄像头有无光源补充可分为被动光式视觉和主动式光视觉，从定义的角度可以看出，被动光式是不采用任何辅助光源，直接用面阵感光器摄像头来拍摄，利用焊接过程中焊机发光来补充面阵感光器所需的曝光强度，虽然这个方法能大量获得焊接头和熔池的信息，设备简单且成本低，但是利用焊机发光来补给曝光，这时就产生了强光干扰的问题，面阵感光器感光结果无法满足图像信息的提取，焊接光的强度超过了面阵感光器的上限值，容易使熔池内部图像信息淹没，因此一般采用主动式补光视觉传感器，即在现有的摄像头后面加上所需的补给光源，包括激光束和普通的光源，并且在感光器上加上滤波片用以去除不必要的噪声。由于红外面阵感光器摄像头的成本相对比较高，而现在的工业自动化生产线上采用成本是其1/3左右的普通面阵感光器，加上补充光系统基本就能满足，因此本系统主要采用普通的面阵感光器。

焊缝识别技术基本理论

焊缝识别技术也就是数字图像处理中的图像识别。图像识别系统对图像内容的解释可分为三个层次，从基本的图像视觉感知，如颜色、纹理以及形状的外在感官视觉。从具体实物来看这些是来自于大自然的直观识别，如天空、树林、以及房屋等。从抽象角度来识别，如“蓝蓝的海”、“粉红色的桃花”，不仅分析颜色、形状，还要分析其属性。而焊缝识别是依据基本视觉感觉原理，运用图形识别算法来区分焊缝信息。首先对采集的图像进行二值化、滤波等一系列处理，再对图像进行分类、识别，提取出有用的特征信息。

在图像分析过程中，通过对某些特征参数分析，获得特定的判断指标，利用该指标与已知的焊缝的形状、纹理等信息库进行识别分析，识别出有用的目标信息，从而达到识别的目的。识别系统的组成主要包括焊缝图像采集、图像处理与焊缝识别，如图1-2焊缝识别过程图。

焊缝定位技术

目前对于定位技术有二维定位与三维定位，基于视觉理论对图像信息的处理，是由Marr提出的二维图像输入，由二维图像重建出三维物体输出，采用双目立体视觉来确定三维模型。

建立模型如图1-3，S1，S2为已知摄像头坐标双轴X方向平行确保在同一平面，通过几何知识可以得出P点的精准坐标，这是经典的三点定位理论。虽然可以从立体角度来确定焊缝轨迹坐标，但在不锈钢焊管焊接中，从三维角度定位坐标算法复杂，图像系统恢复难于在小型嵌入式机器人中实现，一般应用于计算机系统建模与仿真。在工业流水线上的焊缝识别与定位这个过程不能过于复杂。因此普遍采用二维图加上一维测量。包括摄像头的标定与水平位置的坐标测量形成三维立体定位。

本文的主要研究内容

本文研究源于为国内某汽车企业为了降低人工费与生产成本，需要提供一套尾气排气管自动焊接系统。在图像识别理论的支撑下，本文提出了简化焊接识别系统，避免了将PC机上复杂的算法引入嵌入式焊接识别系统中的弊端。

该系统主要以高速处理器Cyclone II FPGA为核心来替代复杂的PC机，采用型号EP2C35F672C6完成图像采集、数据处理及存储、VGA输出以及系统控制等工作，完成一套不锈钢焊管自动识别与定位的系统。充分利用图像识别技术，将图像识别算子嵌入FPGA中的Nios软核中，得到焊缝信息后经过图像裁减拼接、二值化、滤波等预处理，再通过边缘算子提取有用的裂纹轨迹，完成焊机循迹的引导。对于定位技术采用二维加一维构成三维图的方法，利用面阵型CMOS感光器采集的平面图，找到焊缝轨迹垂直面位置，给摄像头左右两边加上一个超声波测距，定位两个焊接不锈钢焊管在结合处是否在一个平面类内。

主要研究内容：图像采集、焊缝识别、定位与焊机导引控制。本文主要讲述了通过COMS传感器感知钢管焊接处的图像，利用FPGA编写高速采集转存的接口采集CMOS传来的图像数据，不锈钢焊管在电机的每步角度转动下采集的图像信息，通过几何知识进行裁剪、拼接，组成一幅完整焊缝轮廓图。将该图通过二值化、提取最大连通域、识别轮廓、提取焊缝中心线、通过Hough优化等处理，最后得到焊缝的轨迹信息。依据超声波测距模块测得双管在焊接处的距离摄像头距离S 1、S 2，在焊缝的识别处理中可以获得焊缝在平面中的相对坐标，通过二维坐标和一维距离实现焊缝的定位。