基于机器视觉的焊缝识别研究现状与发展趋势

张帆; 泮佳俊; 刘腾; 张浩; 李佩齐

doi:10.7512/j.issn.1001-2303.2022.07.04

重点关注 | 浏览量 : 0 下载量: 2755 CSCD: 0

PDF
导出
分享
收藏
专辑

基于机器视觉的焊缝识别研究现状与发展趋势
Research Status and Development Trend of Welding Seam Recognition Based on Machine Vision
2022年52卷第7期页码：24-33
收稿：2022-02-24，

纸质出版：2022-07-25
DOI： 10.7512/j.issn.1001-2303.2022.07.04
稿件说明：

移动端阅览

张帆，泮佳俊，刘腾，等.基于机器视觉的焊缝识别研究现状与发展趋势［J］.电焊机，2022，52（7）：24-33. DOI： 10.7512/j.issn.1001-2303.2022.07.04.

ZHANG Fan, PAN Jiajun, LIU Teng, et al.Research Status and Development Trend of Welding Seam Recognition Based on Machine Vision[J].Electric Welding Machine, 2022, 52(7): 24-33. DOI： 10.7512/j.issn.1001-2303.2022.07.04.

摘要

机器视觉技术以其高精度、高自动化等特点被广泛用于工业测量、工业检测和识别等领域。概括了几种焊缝识别传感技术，并对传感方式的基本原理和特点进行了分析。详细阐述了基于机器视觉的焊缝识别的具体实现步骤，重点归纳总结了针对不同的噪声和干扰采用相应的滤波和消除方法、焊缝的特征提取与中心线拟合方法等。在国内外焊缝识别研究的基础上，提出了几个有价值的研究方向，包括基于新型测距法及其传感器的焊缝定位、基于卷积神经网络的焊缝类型识别、针对焊后质量检测的三维信息重构和多种干扰因素并存情况下的焊缝识别等。

Abstract

Machine vision technology has been widely used in industrial measurement

industrial detection and identification because of its high precision and high automation. Several welding seam identification sensing technologies are summarized

and the basic principles and characteristics of the sensing methods are analyzed in detail. The realization steps of weld seam recognition based on machine vision are described in detail

and the corresponding filtering and elimination methods

weld feature extraction and centerline fitting methods for different noises and interferences are summarized emphatically. Based on the research of weld identification at home and abroad

several valuable research directions are put forward

including weld location based on new ranging method and its sensors

weld type identification based on convolutional neural network

3D information reconstruction for post-welding quality inspection and weld identification under the coexistence of various interference factors.

关键词

Keywords

references

白戎 . 基于机器视觉的自动激光焊接系统研究与设计［D］. 吉林：长春工业大学， 2021 .

BAI Rong . Research and design of automatic laser welding system based on machine vision ［D］. Jilin ： Changchun University of Technology ， 2021 .

王昕 . 基于CNN和熔池图像的GMAW焊接质量在线监测研究［D］. 黑龙江：哈尔滨工业大学， 2019 .

WANG Xin . GMAW weldinng quality monitoring based on CNN and molten pool image ［D］. Heilongjiang ： Harbin Institute of Technology ， 2019 .

田书亮 . 基于视觉的机器人焊缝自动跟踪系统设计与开发［D］. 北京：北京化工大学， 2020 .

TIAN Shuliang . Design and development of robot weld automatic tracking system based on vision ［D］. Beijing ： Beijing University of Chemical Technology ， 2020 .

Shao W J ， Huang Y ， Zhang Y . A novel weld seam detection method for space weld seam of narrow butt joint in laser welding ［J］. OPTICS AND LASER TECHNO-LOGY ， 2018 ， 99 ： 39 - 51 . DOI： 10.1016/j.optlastec. 2017 http://dx.doi.org/10.1016/j.optlastec.2017 .

037 .

杨玥旻，闫维新 . 基于图像处理的爬壁机器人焊缝识别与跟踪［J］. 机械与电子， 2021 ， 39 （ 03 ）： 65 - 68 .

YANG Yuemin ， YAN Weixin . Weld seam recognition and tracking based on image processing for Wall-climbing robot ［J］. Machinery & Electronics ， 2021 ， 39 （ 03 ）： 65 - 68 .

王文超，高向东，丁晓东 . 焊缝视觉传感识别方法研究［J］. 热加工工艺， 2018 ， 47 （ 01 ）： 195 - 198 .

WANG Wenchao ， GAO Xiangdong ， DING Xiaodong . Study on welding seam reognition methods based on visual sensing ［J］. Hot Working Technology ， 2018 ， 47 （ 01 ）： 195 - 198 .

陈东旭，赵铁军，乔赫廷 . 基于线结构光的焊缝位姿识别研究［J］. 机械工程与自动化， 2021 （ 04 ）： 38 - 40 .

CHEN Dongxu ， ZHAO Tiejun ， QIAO Heting . Research on weld Position-Posture recognition based on line structured light ［J］. Mechanical Engineering & Automation ， 2021 （ 04 ）： 38 - 40 .

范明洋，嵇保健，洪磊 . 基于线结构光的曲线焊缝焊接技术［J］. 组合机床与自动化加工技术， 2017 （ 09 ）： 142 - 145 .

FAN Mingyang ， JI Baojian ， HONG Lei . Curve welding technology based on line structured light ［J］. Combined machine tool and automatic machining technology ， 2017 （ 09 ）： 142 - 145 .

胡韵松，王军民，付嘉玮，等 . 基于线结构光的亚像素精度焊缝提取方法研究［J］. 计算机测量与控制， 2020 ， 28 （ 07 ）： 162 - 166 .

HU Yunsong ， WANG Junmin ， FU Jiawei ， et al . Sub-pixel Precision Seam Extraction Method Based on Line Structured Light ［J］. Computer Measurement & Control ， 2020 ， 28 （ 07 ）： 162 - 166 .

冀卫波 . 钛合金管路焊缝位置识别系统设计［D］. 黑龙江：哈尔滨工业大学， 2019 .

JI Weibo . Design of titanium alloy pipeline weld position recognition system ［D］. Heilongjiang ： Harbin Institute of Technology ， 2019 .

修延飞，李海超，胡广泽，等 . 一种用于穿孔塞焊焊缝特征提取的视觉识别算法［J］. 焊接学报， 2020 ， 41 （ 02 ）： 75 - 79 .

XIU Yanfei ， LI Haichao ， HU Guangze ， et al . A visual recognition algorithms for seam feature extraction of perforated plug welding ［J］. Transactions of the China Welding Institution ， 2020 ， 41 （ 02 ）： 75 - 79 .

宋贺 . 基于激光双目视觉的焊缝自动检测系统研究［D］. 黑龙江：哈尔滨理工大学， 2019 .

SONG He . Research on automatic welding detection system based on laser binocular vision ［D］. Heilongjiang ： Harbin University of Science and Technology ， 2019 .

崔雪峰，姜影 . 焊缝图像特征信息识别过程中扫描激光视觉传感技术的应用［J］. 电焊机， 2014 ， 44 （ 12 ）： 125 - 129 .

CUI Xuefeng ， JIANG Ying . Application of laser vision sensing technology for seam image scanning feature information identification process ［J］. Electric Welding Machine ， 2014 ， 44 （ 12 ）： 125 - 129 .

张志伟 . 水下焊缝图像识别技术研究［D］. 江西：南昌工程学院， 2020 .

ZHANG Zhiwei . Research on underwater weld image recognition technology ［D］. Jiangxi ： Nanchang Institute of Technology ， 2020 .

孙增光，王士军，周永鑫，等 . 基于图像处理的焊缝实时跟踪技术研究［J］. 制造技术与机床， 2019 （ 05 ）： 144 - 148 .

SUN Zengguang ， WANG Shijun ， ZHOU Yongxin ， et al . Research on real time seam tracking technology based on image processing ［J］. Manufacturing Technology & Machine Tool ， 2019 （ 05 ）： 144 - 148 .

Xie D ， Ziran W U ， Chen C ， et al . Design and application of automatic welding machine in machine vision system ［J］. Journal of Computer Applications ， 2017 .

Fan J ， Jing F ， Fang Z ， et al . Automatic recognition system of welding seam type based on SVM method ［J］. International Journal of Advanced Manufacturing Technology ， 2017 ， 92 （ 1-4 ）： 989 - 999 . DOI： 10.1007/s00170-017-0202-8 http://dx.doi.org/10.1007/s00170-017-0202-8 .

李松阳 . 基于图像传感技术的焊缝定位检测系统的研究［D］. 浙江：浙江大学， 2018 .

LI Songyang . Research of weld location detection system based on image sensing technology ［D］. Zhejiang ： Zhejiang University ， 2018 .

凤迎迎 . 基于双目视觉的机器人焊缝轨迹检测的研究［D］. 浙江：浙江大学， 2017 .

FENG Yingying . Research on the weld seam detection of a robot based on binocular vision ［D］. Zhejiang ： Zhejiang University ， 2017 .

彭刚，刘博，熊超 . 机器人焊缝识别技术研究［J］. 智能机器人， 2017 （ 01 ）： 34 - 37 .

PENG Gang ， LIU Bo ， XIONG Chao . Research on Robot Welding Seam Recognition Technology ［J］. Intelligent robot ， 2017 （ 01 ）： 34 - 37 .

Wu Q Q ， Lee J P ， Park M H ， et al . A Study on Development of Optimal Noise Filter Algorithm for Laser Vision System in GMA Welding ［J］. Procedia Engineering ， 2014 ， 97 ： 819 - 827 .

王慧玲 . 基于机器视觉的焊缝缺陷检测技术的研究［D］. 黑龙江：哈尔滨理工大学， 2008 .

WANG Huiling . Research on defect detection technology for welding seam based on machine vision technology ［D］. Heilongjiang ： Harbin University of Science and Technology ， 2008 .

樊勇 . 基于高斯噪声的图像去噪算法研究［D］. 四川：西南石油大学， 2014 .

FAN Yong . Research on Image Denoising Algorithm Based on Gaussian Noise ［D］. Sichuan ： Southwest Petroleum University ， 2014 .

刘博 . 机器人焊缝识别与跟踪技术研究［D］. 湖北：华中科技大学， 2017 .

LIU Bo . Study on seam recognition and tracking with robot ［D］. Hubei ： Huazhong University of Science and Technology ， 2017 .

Scholz-Reiter B ， Zussmann E . Robotics and Computer Integrated Manufacturing ［M］. Oxford ： Pergamon Press， Inc. ， 2015 .

Manoharan N　Ｍ， Rani B S ， Venkataraman B ， et al . Automatic Detection and Quantification of Incomplete Penetration in TIG Welding Through Segmentation and Morphological Image Processing of　Thermographs ［Ｃ］. Hyderabad：Proc. National Seminar on Non-Destruc-tive Evaluation 2006 .

Na L ， Wang Z ， Hui X ， et al . Weld seam detection based on visual saliency for autonomous welding robots ［C］. 2016 IEEE Workshop on Advanced Robotics and its Social Impacts （ARSO）， 2016 .

Gao X ， Zhong X ， You D ， et al . Kalman Filtering Compensated by Radial Basis Function Neural Network for Seam Tracking of Laser Welding ［J］. IEEE Transactions on Control Systems Technology ， 2013 ， 21 （ 5 ）： 1916 - 1923 .

常瑞娜，穆晓敏，杨守义，等 . 基于中值的自适应均值滤波算法［J］. 计算机工程与设计， 2008 （ 16 ）： 4257 - 4259 .

CHANG Ruina ， MU Xiaomin ， YANG Shouyi ， et al . Adaptive weighted average filtering algorithm based on medium value ［J］. Computer Engineering and Design ， 2008 （ 16 ）： 4257 - 4259 .

刘国权 . 机器人视觉焊缝轨迹跟踪及深度信息提取［D］. 江西：南昌大学， 2008 .

LIU Guoquan . Seam Tracking and Depth Information Extraction Based on Robot Vision ［D］. Jiangxi ： Nanchang University ， 2008 .

李浩 . 基于视觉的核电站水下焊接机器人焊缝识别与路径跟踪［D］. 黑龙江：哈尔滨工业大学， 2018 .

LI Hao . Vision- based weld recognition and path tracking for underwater welding robot in nuclear power plant ［D］. Heilongjiang ： Harbin Institute of Technology ， 2018 .

田达奇 . 工业机器人视觉焊缝识别系统设计［D］. 河南：河南科技大学， 2020 .

TIAN Daqi . Design of visual weld recognition system for industrial robot ［D］. Henan ： Henan University of Science and Technology ， 2020 .

Burgeret al . Digital image processing ［M］. Springer ， 2008 .

鄢治国，徐德，李原 . 一种基于自适应二值化阈值的焊缝边缘特征提取方法［J］. 焊接学报， 2008 （ 07 ）： 34 - 38 .

YAN Zhiguo ， Xu De ， LI Yuan . A method for extracting edge features of welding seam based on an adaptive binary threshold ［J］. Transactions of the China Welding Institution ， 2008 （ 07 ）： 34 - 38 .

William I A A . Abstracts of papers accepted for publication ［J］. Computer Vision Graphics & Image Processing ， 1986 ， 34 （ 2 ）： 254 - 255 .

Duan F ， Yin S ， Song P ， et al . Automatic Welding Defect Detection of X-ray Images by Using Cascade AdaBoost with Penalty Term ［J］. IEEE Access ， 2019 ，PP（99）：1.

Qi J ， Li J ， Lu Z ， et al . Application of improved Otsu algorithm to welding image segmentation ［A］. Transactions of the China Welding Institution ［C］. 2016 .

郭亮 . 移动机器人不连续焊缝跟踪技术研究［D］. 江西：南昌大学， 2018 .

GUO Liang . Research on Discontinuous Seam Tracking Technology for Mobile Robot ［D］. Jiangxi ： Nanchang University ， 2018 .

刘少林，刘正君，陶文，等 . 中厚板激光焊接跟踪系统设计［J］. 电焊机， 2013 ， 43 （ 06 ）： 88 - 94 .

LIU Shaolin ， LIU Zhengjun ， TAO Wen ， et al . Design of vision sensing seam tracking system for medium and thick plate ［J］. Electric Welding Machine ， 2013 ， 43 （ 06 ）： 88 - 94 .

杨毅久 . 焊接机器人焊缝识别及轨迹规划研究与应用［D］. 广西：广西大学， 2018 .

YANG Yijiu . Research and Application of Welding Robot Recognition and Trajectory Planning ［D］. Guang-xi ： Guangxi University ， 2018 .

D. 马尔 . 视觉计算理论［M］. 姚国正，刘磊，汪云九译. 北京：科学出版社， 1988 .

黄椰，黄靖，肖长诗，等 . 基于双目立体视觉的船舶轨迹跟踪算法研究［J］. 计算机科学， 2017 ， 44 （ 01 ）： 308 - 313 .

HUANG Ye ， HUANG Jing ， XIAO Changshi ， et al . Ship Trajectory Tracking Based on Binocular Vision ［J］. Computer Science ， 2017 ， 44 （ 01 ）： 308 - 313 .

Zhengyou Zhang . A Flexible New Technique for Camera Calibration ［J］. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLI-GENCE ， 2000 ， 22 （ 11 ）： 1330 - 1334 .

Ling S ， Strohmer T . Self-calibration and biconvex compressive sensing ［J］. Inverse Problems ， 2015 ， 31 （ 11 ）： 115002 . DOI： 10.1088/0266-5611/31/11/115002 http://dx.doi.org/10.1088/0266-5611/31/11/115002 .

Yang L J ， Lou P H ， Qian X M . Recognition of initial welding position for large diameter pipeline based on pulse coupled neural network ［J］. The Industrial Robot ， 2015 ， 42 （ 4 ）： 339 - 346 .

邹媛媛，左克铸，房灵申，等 . 基于最小二乘支持向量机的激光拼焊焊缝识别［J］. 焊接学报， 2019 ， 40 （ 02 ）： 77 - 81 .

ZOU Yuanyuan ， ZUO Kezhu ， FANG Lingshen ， et al . Welding seam identification of laser tailor-welded joint based on least squares support vector machine ［J］. Transactions of the China Welding Institution ， 2019 ， 40 （ 02 ）： 77 - 81 .

张宇飞，张义顺 . 基于OpenCV的焊缝图像识别算法研究［J］. 焊接技术， 2020 ， 49 （ 05 ）： 12 - 14 .

ZAHNG Yufei ， ZHANG Yishun . Research on weld image recognition algorithm based on OpenCV ［J］. Welding Technique ， 2020 ， 49 （ 05 ）： 12 - 14 .

Li G ， Wang G ， Zhong J . A genetic algorithm on welding seam image segmentation ［C］. World Congress on Intelligent Control & Automation ， 2004 .

Wang X ， Bai R ， Liu Z . Weld seam detection and feature extraction based on laser vision ［C］. Chinese Control Conference ， 2014 .

吴志伟 . 弧焊机器人激光视觉系统的研究［D］. 重庆：重庆大学， 2018 .

WU Zhiwei . Research on Laser Vision Sensor System for Arc Welding Robot ［D］. Chongqing ： Chongqing University ， 2018 .

Wang X ， Wong B S . Radiographic Image Segmentation for Weld Inspection Using a Robust Algorithm ［J］. Research in Nondestructive Evaluation ， 2005 ， 16 （ 3 ）： 131 - 142 .

王志刚，张轲，罗志锋，等 . 爬壁机器人焊缝跟踪过程中的焊缝检测与识别研究［J］. 热加工工艺， 2018 ， 47 （ 01 ）： 210 - 213 .

WANG Zhigang ， ZHANG Ke ， LUO Zhifeng ， et al . Study on Welding Seam Inspection and Identification in Wall-climbing Robot Welding Seam Tracking ［J］. Hot Working Technology ， 2018 ， 47 （ 01 ）： 210 - 213 .

雷正龙，吕涛，陈彦宾，等 . 基于扫描激光视觉传感的焊缝图像特征信息识别［J］. 焊接学报， 2013 ， 34 （ 05 ）： 54 - 58 .

LEI Zhenglong ， LV Tao ， ZHENG Yanbin ， et al . Features extraction for weld image of scanning laser sensing ［J］. Transactions of the China Welding Institution ， 2013 ， 34 （ 05 ）： 54 - 58 .

刘美菊，运勃 . 深度卷积网络压缩算法在焊缝识别中的应用［J］. 激光与光电子学进展， 2019 ， 56 （ 5 ）： 81 - 88 . DOI： 10.3788/LOP56.051004 http://dx.doi.org/10.3788/LOP56.051004 .

LIU Meiju ， YUN Bo . Application of Deep Convolution Network Compression Algorithm in Weld Recognition ［J］. Laser & Optoelectronics Progress ， 2019 ， 56 （ 5 ）： 81 - 88 . DOI： 10.3788/LOP56.051004 http://dx.doi.org/10.3788/LOP56.051004 .

Miao Z ， Shi W . Road centreline extraction from classified images by using the geodesic method ［J］. Remote Sensing Letters ， 2014 ， 5 （ 4 ）： 367 - 376 .

Long Y ， Xiqing G ， Jin Y . An Improved Method of Contour Extraction of Complex Stripe in 3D Laser Scanning ［C］. Chongqing ： CMITE ， 2016 .

Li S ， Lu H ， Ma M ， et al . Laser Strip Center Extraction Methodology for the Detection of Weld Seam ［C］. 2019 6th International Conference on Systems and Informatics （ICSAI）， 2020 .

林尚扬 . 从展会看焊接新技术发展之动向［J］. 金属加工（热加工）， 2009 （ 06 ）： 14 - 16 .