管道焊缝数字图像缺陷自动识别技术
董绍华1,2, 孙玄1, 谢书懿1, 王明锋3
1. 中国石油大学(北京)机械与储运工程学院
2. 中国石油大学(北京)克拉玛依校区
3. 中国石油新疆油田公司呼图壁储气库作业区

作者简介:董绍华,1972年生,教授,博士生导师;主要从事管道完整性管理领域的研究工作。地址:(102249)北京市昌平区府学路18号。ORCID: 0000-0003-0201-4185。E-mail: shdong@cup.edu.cn

摘要

管道焊缝数字图像是管道焊缝可靠性管理的重要依据,但对其进行人工判别的误判率较高。为了提高对管道焊缝数字图像缺陷的识别准确度,采用多项边缘检测、检测通道与阈值分割等方法,对管道焊缝图像中存在的缺陷进行图像处理,构造了焊缝数字图像缺陷特征库,包含灰度差、等效面积、圆形度、熵、相关度等参数,建立了多分类器构造(SVM)模型,实现了对管道焊缝数字图像缺陷的分类评价,最终开发出管道焊缝数字图像缺陷自动识别软件,并进行了现场验证分析。研究结果表明:①图像处理后在没有噪声的情况下,Canny等算法都可以得到很好的边缘检测结果,在有噪声的情况下,检测结果出现伪边缘,选用自动选取阈值方法进行图像边缘检测,能够取得合理的阈值;②所建立的焊缝数字图像缺陷特征数据库包含形状特征和纹理特征、图像长度像素等14项参数;③通过所建立的SVM分类模型,可以分类获取缺陷形状特征,找出裂纹、夹渣、气孔、未焊透、未熔合和条形等缺陷特征。现场应用结果表明:①该缺陷自动识别技术适用于对各类管道焊缝缺陷质量的识别判定;②其识别准确率超过90%;③该技术实现了对管道焊缝数字图像缺陷的自动识别和自动化评价。结论认为,该研究成果有助于确保管道的安全运行。

关键词: 管道焊缝; 射线底片; 数字图像; 缺陷库; SVM分类模型; 缺陷识别; 自动识别; 软件开发
Automatic defect identification technology of digital image of pipeline weld
Dong Shaohua1,2, Sun Xuan1, Xie Shuyi1, Wang Mingfeng3
1. College of Mechanical and Transportation Engineering, China University of Petroleum <Beijing>, Beijing 102249, China
2. China University of Petroleum - Beijing at Karamay, Karamay, Xingjiang 834000, China
3. Operation District of Hutubi Gas Storage, PetroChina Xinjiang Oilfield Company, Hutubi, Xingjiang 831200, China
Abstract

Digital image of pipeline weld is an important basis for the reliability management of pipeline welds. However, the error rate of artificial discrimination is high. In order to increase the defect identification accuracy ofdigital image of pipeline weld, we adopted several methods (e.g. multiple edge detection, detection channel and threshold segmentation) to carry out image processing on the image defects of pipeline welds. Then, a defect characteristic database on the digital images of pipeline welds was constructed, including grayscale difference, equivalent area (S/C), circularity, entropy, correlation and other parameters. Furthermore, a multi-classifier construction (SVM) model was established. Thus, the classification and evaluation on the defects in the digital images of pipeline welds were realized. Finally, an automatic defect identification software fordigital image of pipeline weld was developed and verified on site. And the following research results were obtained. First, after image processing, the edge detection results obtained by Canny and other algorithms are satisfactory when there is no noise. In the case of noise, however, pseudo-edge emerges in the detection results. In this case, the automatic threshold selection method shall be adopted to detect the image edge to obtain the rational threshold. Second, there are 14 parameters in the defect characteristic database, including shape characteristic, lamination characteristic and image length pixel. Third, by virtue of the SVM classification model, the shape characteristics of each type of defect can be clarified, and the defect characteristics can be identified, such as crack, slag inclusion, air hole, incomplete penetration, non-fusion and strip. Based on field application, the following results were obtained. First, this automatic defect identification technology is applicable to quality identification and evaluation of various defects in pipeline welds. Second, its identification accuracy is higher than 90%. Third, by virtue of this technology, automatic defect identification and evaluation of digital image of pipeline weld is realized. In conclusion, these research results help to ensure the safe operation of pipelines.

Keyword: Pipeline weld; Ray film; Digital image; Defect database; SVM classification model; Defect identification; Automatic identification; Software development
0 引言

目前, 射线成像技术已成为管道焊接检测普遍使用的技术[1]。随着计算机智能辅助评片的迅速发展, 底片分析处理系统也开始投入使用[2, 3, 4, 5]。但这些系统在应用时往往需要人机交互进行, 因此其智能化水平还需进一步提高。而射线数字图像缺陷识别技术借助计算机的高速处理能力, 通过对底片的数字化处理, 将人工评片的过程转化为图像智能处理, 实现了对焊缝数字图像缺陷的智能识别[6, 7, 8], 其具体步骤包括图像预处理、图像焊缝区域分割、缺陷特征提取和缺陷分类识别等。笔者采用多项边缘检测、检测通道与阈值分割等方法, 对管道焊缝图像中存在的缺陷进行了图像处理, 构造了焊缝数字图像缺陷特征库, 包含灰度差、等效面积、圆形度、熵、相关度等参数, 建立了多分类器构造(SVM)模型, 实现了对管道焊缝数字图像缺陷的分类评价, 最终开发出管道焊缝数字图像缺陷自动识别软件, 并进行了现场验证分析。

1 焊缝图像识别技术
1.1 图像预处理

图像预处理主要包括图像增强和图像去噪[4, 9]。图像增强通过使用空间域法处理图像的灰度系数并修正图像的变换系数, 最后进行逆变换, 从而更好地将图像中的缺陷部分区分开来。图像去噪可以抑制脉冲干扰及椒盐噪声, 同时能够减少图像模糊, 保留图像中重要的结构特征。

1.2 边缘检测

边缘即图像中灰度发生急剧变化的区域。边缘检测即提取焊缝的边界区域, 从而便于统计焊缝边缘的几何特征[10, 11, 12]。常用的边缘检测算法有Robert算法、Sobel算法、Prewitt算法、Laplacian— Gauss算法、Canny算法和Krisch算法等。但在利用这些算法进行检测时, 图像往往呈区域的黑度分布, 从而出现边界不清晰的情况。因此, 通过对不同边缘检测算法进行对比分析, 考虑结构元素的大小和方向对形态学边缘检测计算结果的影响, 提出了一种多算法融合处理技术, 将Sobel算法、Prewitt算法和Robert算法融合处理, 检测出管道焊缝缺陷的边缘, 并最大限度地优化边缘噪声影响, 为图像边缘检测分析提供了一种行之有效的方法。

1.3 CLTP纹理特征识别

焊缝纹理特征提取涉及边界清晰度和局部信息细化程度, 传统方法是使用局部二值模式的纹理特征描述方法, 但纹理描述的精度易受到影响[13, 14]。因此, 需要不断改进算法, 提出了完全局部三值CLTP(Completed Local Ternary Patterns, CLTP)模式, 包含3种核心算法— — 中心描述子、符号描述子和大小描述子, 分别用CLTP_C, CLTP_SCLTP_M表示, 将算法转化后, 最终得到修正的CLTP_C* CLTP_S* CLTP_M* 表示, 它们的计算过程如下:

CLTP_S* $=\sum_{p=0}^{p-1} s_{1}(g_{p}-g_{c})3^{p}$(1)

CLTP_M* $=\sum_{p=0}^{p-1} s_{2}(x)3^{p}$(3)

式中p表示像素的个数, 个; gp表示邻域像素灰度值; gc表示中心像素点的灰度值; TH表示阈值; ab 分别表示自定义常量, 可取a = 0.3, b = 0.7; TH1表示图像像素均值。

然后, 用$LTP_{P, R}^{Riu2}$模式分别转化编码值, CLTP_S* CLTP_M* CLTP_C* 分别对应情况如图1所示。

图1 CLTP计算法图

在图1-a中, 表示的是中心像素为38 的3× 3样本块, 邻域的8个像素为[27, 72, 69, 32, 25, 43, 26, 88]; 在图1-b中 ⊙表示中心像素点的灰度值, TH= 24 为求得的阈值, 计算局部差值, 得到的算法结果为[– 11, 34, 31, – 6, – 13, 5, – 12, 50]; 图1-c中, CLTP_S* 局部差值符号的三值编码向量为[0, 2, 2, 0, 0, 1, 0, 2]; 图1-d中, CLTP_M* 算法值为[1, 2, 2, 0, 1, 0, 1, 2]; 图1-e中TH1=47.75, 由[27, 72, 69, 32, 25, 43, 26, 88]计的平均值, 表示CLTPCLTP_C* 值为[0, 0, 0, 0, 0, 0, 0, 1]。

2 多类支持向量机SVM模型

使用直接全局优化方法M -SVM, 构造多批分类器, 一次性完成对 M 个分类器的求解。设:$M(x, y)=(x_{i}, y_{i})_{i-1}^{N}(i=1, 2, \cdots , l)$为样本训练集, l表示样本个数, N表示样本维数, M表示样本的类别, 引入非负松弛变量ξ i, 则该方法的优化问题为[15, 16]

$min\frac{1}{2} \sum_{p-1}^{M}\mid\mid w \mid\mid^{2}+C\sum_{i=1}^{N} \sum_{m-yi}^{N}\xi_{i}^{m}$ (6)

式中w=ω Tω , ω 表示最优分类超平面法线。

判别函数为:

$ST.y_{I}[W^{T}\varphi(xi)+b]\geq 1-\xi_{i}$(7)

式中ξ i≥ 0, i=1, 2, …, l, φ (xi)表示输入空间到高维特征空间的非线性映射函数。

通过求解最优化问题, 可得到相应的最优决策函数f(x), 即

$f(x)=sgn[\sum_{i=1}^{l}y_{i}a_{i}M(x, x_{i})+b]$ (8)

SVM多分类器构造优先采用类别差异性排除法, 即在整体结构中, 先将相似量作为一类, 然后根据相似量之间的细微变化, 再通过模型算法进行区分。这种分类在分类准确率和平衡准确率上都有极高的效率。笔者构造了缺陷、裂纹、圆形夹渣、条形夹渣、气孔、未焊透和未熔合6种典型缺陷SVM多类分类器(图2)。

图2 焊缝缺陷SVM分类识别图

3 软件模块开发
3.1 焊缝图像处理与变换识别功能

该软件包含如下功能:输入焊缝图像信息; 焊缝底片数据库建设; 图像亮度对比处理; 图像的保存; 识别图像像素尺寸; 边缘检测; 阈值分析; 色阶处理; 图像执行变换; 统计黑白像素; 反相处理; 焊缝底片图像处理。

3.2 数据分析系统

管道焊缝数字图像识别系统针对图像处理的底片进行焊缝缺陷数据分析, 对图像执行边界角系数和边界区域的选择, 针对已经处理的图像进行焊缝缺陷的统计分析, 采用SVM模拟算法, 经有效的数据计算出焊缝的缺陷类型和类别, 如图3所示。

图3 焊缝缺陷分析系统图

4 案例分析

采用上述模型开发的软件系统, 可实现对焊缝底片进行完全局部三值模式CLTP纹理识别, 采用缺陷边缘检测和跟踪处理技术计算各参数, 上述纹理识别和特征识别计算参数包括:图像长度像素、图像宽度像素、缺陷与背景的灰度差(Δ h)、缺陷的相对位置(d)、缺陷自身灰度偏差(δ )、缺陷长宽比、等效面积(S/C)、圆形度(e)、熵(ENT)、相关度(COR)、惯性矩(CON)和能量参数等, 所有特征参数输入到SVM模型, 进行SVM 焊接底片的缺陷识别, 最终得到缺陷的类别, 如图4所示。

图 4 焊缝数字图像缺陷CTLP识别和SVM缺陷判断图

焊接底片经过完全局部三值模式CLTP纹理识别后, 应用基于缺陷数据库的SVM数据分类技术, CTLP模式使焊接底片图像边缘检测和缺陷跟踪识别精度大大提高, SVM缺陷分类模型使图像缺陷的自动识别判断上准确度大大提高, 基本达到了工业应用级的水平。其中图4-e是中国石油西气东输管道“ 7· 28” 事故管段焊口X 射线底片, 在位置点38位置左下方体现未熔合特征, 其计算机系统判别与人工评片结果完全一致。实验结果表明:该方法具有较好的精度。

5 结论

1)图像处理后没有噪声的情况下, Canny算法、Log算法、Robert算法、Sobel算法和Prewitt算法可以得到很好的边缘检测结果。当图像处理后仍然存在噪声时, 检测结果出现了较多的伪边缘, 选用自动选取阈值方法进行图像边缘检测, 能够取得比较合理的阈值。

2)建立的焊缝数字图像缺陷特征数据库, 包含形状特征和纹理特征、图像长度像素、图像宽度像素、缺陷与背景的灰度差(Δ h)、缺陷的相对位置(d)、缺陷自身灰度偏差(δ )、缺陷长宽比、等效面积(S/C)、圆形度(e)、熵(ENT)、相关度(COR)、惯性矩(CON)和能量等参数。

3)建立了SVM分类模型, 基于缺陷特征数据库, 分类获取了缺陷形状特征, 找出了裂纹、夹渣、气孔、未焊透、未熔合和条形等缺陷特征, 通过试验表明, 识别准确率和精度均处于较高水平。

4)管道焊缝缺陷识别评价软件实现了对管道焊缝数字图像缺陷的自动识别和自动化评价, 对于管道安全运行具有重要意义。

The authors have declared that no competing interests exist.

参考文献
[1] 吴宏, 周剑琴. 国内大口径、高钢级管道焊接及焊缝检测技术现状[J]. 油气储运, 2017, 36(1): 21-27.
Wu Hong & Zhou Jianqin. Current status of welding and weld testing technologies for large-diameter high-grade pipelines in China[J]. Oil & Gas Storage and Transportation, 2017, 36(1): 21-27. [本文引用:1]
[2] 董绍华. 管道完整性评估理论与应用[M]. 北京: 石油工业出版社, 2014.
Dong Shaohua. Pipeline integrity assessment theory and application[M]. Beijing: Petroleum Industry Press, 2014. [本文引用:1]
[3] Kushwaha AKS, Srivastava S & Srivastava R. Multi-view human activity recognition based on silhouette and uniform rotation invariant local binary patterns[J]. Multimedia Systems, 2016, 23(4): 1-17. [本文引用:1]
[4] Ojala T, Pietikaainen M & Harwood D. Acomparative study of texture measures with classification based on featured distributions[J]. Pattern Recognition, 1996, 29(1): 51-59. [本文引用:2]
[5] 周道川, 王艳婷. 基于BS 7910的焊缝缺陷剩余寿命分析方法[J]. 油气储运, 2016, 35(1): 78-85.
Zhou Daochuan & Wang Yanting. Residual life analysis method of weld seam with defects based on BS 7910[J]. Oil & Gas Storage and Transportation, 2016, 35(1): 78-85. [本文引用:1]
[6] Kasban H, Zahran O, Arafa H, El-Kordy M, Elaraby SMS & Abd El-Samie FE. Welding defect detection from radiography images with a cepstral approach[J]. NDT&E International, 2011, 44(2): 226-231. [本文引用:1]
[7] Halim SA, Hadi NA, Ibrahim A & Manurung YH. The geometrical feature of weld defect in assessing digital radiographic image[C]//2011 IEEE International Conference on Imaging Systems and Techniques, 17-18 May 2011, Penang, Malaysia. [本文引用:1]
[8] Ojala T, Pietikäinen M & Mäenpää TT. Multiresolution gray-scale and rotation invarianttextureclassification with local binary pattern[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(9): 971-987. [本文引用:1]
[9] Guo Zhenhua & Zhang Lei. A completed modeling of local binary pattern operator for texture classification[J]. IEEE Transactions on Image Processing, 2010, 19(6): 1657-1663. [本文引用:1]
[10] Tian Yuan, Du Dong, Hou Runshi, Gao Zhiling & Shen Liqun. Automatic defect detection in X-ray images using image data fusion[J]. Tsinghua Science & Technology, 2006, 11(6): 720-724. [本文引用:1]
[11] Felisberto MK, Lopes HS & Centeno TM. An object detection and recognition system for weld bead extraction from digital radiographs[J]. Computer Vision and Image Understand ing, 2006, 102(3): 238-249. [本文引用:1]
[12] Lecomte G & Kaftand jian V. A robust segmentation approach based on features analysis for defect detection in aluminium castings X-ray images[J]. Non Destructive Testing and Condition Monitoring, 2007, 49(10): 572-577. [本文引用:1]
[13] Lim TY, Ratnam MM & Khalid MA. Automatic classification of weld defects using simulated data and an MLP neural network[J]. Non Destructive Testing and Condition Monitoring, 2007, 49(3): 154-159. [本文引用:1]
[14] Juan Zapata, Rafael Vilar & Ramón Ruiz. Performance evaluation of an automatic inspection system of weld defects in radiographic images based on neuro-classifiers[J]. Expert Systems with Applications, 2011, 38(7): 8812-8824. [本文引用:1]
[15] Zhang Xiaoguang, Ren Shijin, Xu Jihua & Zhu Zhencai. The classification algorithm of defects in weld image based on asymmetrical SVMs[C]//Proceedings of International Conference on Control and Automation, 26-29 June 2005, Budapest, Hungary. [本文引用:1]
[16] Alaknand a, Anand RS & Kumar P. Flaw detection in radiographic weld images using morphological approach[J]. NDT&E International, 2006, 39(1): 29-33. [本文引用:1]