Spatial Positioning Method for Cutting Points of Tab Plate at the End of Welded Steel Pipes based on 3D Vision and Deep Learning

SHI Wei; ZHOU Kun; LIU Fuhai; ZHANG Yan; YANG Zhanli

doi:10.7512/j.issn.1001-2303.2024.04.05

Important Issuse | Views : 0 下载量: 15 CSCD: 0

PDF
Export
Share
Collection
Album

Spatial Positioning Method for Cutting Points of Tab Plate at the End of Welded Steel Pipes based on 3D Vision and Deep Learning
Vol. 54, Issue 4, Pages: 36-42(2024)
Received：08 July 2023，

Revised：2023-11-07，

Published：25 April 2024
DOI： 10.7512/j.issn.1001-2303.2024.04.05
稿件说明：

移动端阅览

石玮，周坤，刘福海，等.基于3D视觉与深度学习的焊接钢管端部引熄弧板切割点空间定位方法［J］.电焊机，2024，54（4）：36-42. DOI： 10.7512/j.issn.1001-2303.2024.04.05.

SHI Wei, ZHOU Kun, LIU Fuhai, et al.Spatial Positioning Method for Cutting Points of Tab Plate at the End of Welded Steel Pipes based on 3D Vision and Deep Learning[J].Electric Welding Machine, 2024, 54(4): 36-42. DOI： 10.7512/j.issn.1001-2303.2024.04.05.

摘要

针对目前焊接钢管端部引熄弧板切割点空间定位精度低、速度慢和环境适应性差的问题，提出了一种基于3D视觉技术和深度学习的高效、高精度的切割点空间定位方法。首先，利用3D视觉技术获取钢管端部的点云数据，通过三维点云处理方法提取有效点云和过滤点云中的离群点，并采用二维图像处理方法将其投影为二维图像；然后通过深度学习中目标检测方法确定二维图像中钢管端部与引熄弧板连接边缘区域；最后计算分析钢管端部与引熄弧板在二维图像中的交点信息并将交点信息映射至原始三维点云，完成钢管端部引熄弧板切割点的空间定位。实验测试了896个不同的钢管端部带有引、熄弧板点云数据（正样本）和104个不带有引熄弧板数据（负样本），统计测试结果：正样本管端和引熄弧板连接边缘定位准确率达到99.56%、误检率为0.15%，负样本检出率为0.29%。使用本文方法测试294次钢管端部引熄弧板切割点空间位置，统计测试结果与实际切割点位综合误差，结果均在±2 mm以内，钢管端部引熄弧板切割点空间定位平均耗时为5.8 s。测试结果表明，该方法可以有效解决上述问题。

Abstract

A new cutting point spatial positioning method is proposed to address the current issues of low accuracy

slow speed

and poor environmental adaptability of the cutting point space positioning of the end quenching arc plate of welded steel pipes. This method first extracts effective point clouds and filters outliers from point clouds using a three-dimensional point cloud processing method

and projects them into a two-dimensional image using a two-dimensional image processing method; Then

the object detection method in deep learning is used to determine the edge area of the connection between the end of the steel pipe and the arc extinguishing plate in the two-dimensional image; Finally

calculate and analyze the in

tersection information of the steel pipe end and the run on/off tab in the two-dimensional image and map the intersection Information mapping to the original three-dimensional point cloud to complete the spatial positioning of the cut point of the run on/off tab at the steel pipe end. Experimental tests were conducted on 896 different steel pipe ends with point cloud data (positive samples) and 104 data without arcing plates (negative samples). The statistical test results showed that the accuracy of edge positioning between the positive sample tube end and the arcing plate connection reached 99.7%

the false detection rate was 0.0%

and the negative sample detection rate was 0.96%. The method used in this article was used to test the spatial position of the cutting point of the steel pipe end quenching arc plate 294 times. The comprehensive error between the test results and the actual cutting point position was statistically analyzed

and the results were all within

https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=58023140&type=

2.37066650

https://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=58023142&type=

8.97466660

. The average time for spatial positioning of the cutting point of the steel pipe end quenching arc plate was 5.8 seconds. The test results indicate that this method can effectively solve the above problems.

关键词

Keywords

references

张帆，泮佳俊，刘腾，等 . 基于机器视觉的焊缝识别研究现状与发展趋势［J］. 电焊机， 2022 ， 52 （ 07 ）： 24 - 33+61 .

ZHANG F ， PAN J J ， LIU T ， et al . Research Status and Development Trend of Welding Seam RecognitionBased on Machine Vision ［J］. Electric Welding Machine ， 2022 ， 52 （ 07 ）： 24 - 33+61 .

郭召生，李杰，刘瑜 . 自动切割及焊接技术在放射性阀门更换上的开发及应用［J］. 电焊机， 2020 ， 50 （ 05 ）： 77 - 83+137 .

GUO Z S ， LI J ， LIU Y . Development and application of automatic cutting and welding technology in radioactive valve replacement project ［J］. Electric Welding Machine ， 2020 ， 50 （ 05 ）： 77 - 83+137 .

王靖然，王桂棠，杨波，等 . 深度学习在焊缝缺陷检测的应用研究综述［J］. 机电工程技术， 2021 ， 50 （ 03 ）： 65 - 68 .

WANG J R ， WANG G T ， YANG B ， et al . Summary of Research on Application of Deep Learning in Weld Defect Detection ［J］. Mechanical & Electrical Engineering Technology ， 2021 ， 50 （ 03 ）： 65 - 68 .

董金枋，汤大赟，吴頔，等 . 强噪声下的激光视觉焊缝跟踪图像处理研究现状及展望［J］. 电焊机， 2022 ， 52 （ 12 ）： 1 - 16 .

DONG J F ， TANG D Y ， WU D ， et al . Research Status and Prospect of Laser Vision Weld Seam Tracking Image Processing Under Strong Noise ［J］. Electric Welding Machine ， 2022 ， 52 （ 12 ）： 1 - 16 .

赵岚，唐国寅，温秀兰，等 . 基于3D视觉的机器人分拣实验系统研究与设计［J］. 南京信息工程大学学报（自然科学版）， 2023 ， 15 （ 5 ）： 604 - 611 .

ZHAO L ， TANG G Y ， WEN X L ， et al . Robot sorting experiment system based on 3D vision ［J］. Journal of Nanjing University of Information Science & Technology（Natural Science Edition）， 2023 ， 15 （ 5 ）： 604 - 611 .

李刚，杨笑丛 . 3D视觉技术在机器人抓取作业中的应用［J］. 自动化博览， 2018 ， 35 （ 11 ）： 82 - 87 .

LI G ， YANG X C . Application of 3D Vision Technology in Robot Picking Work ［J］. Automation Panoramal ， 2018 ， 35 （ 11 ）： 82 - 87 .

周克东 . 基于3D视觉技术的胶路检测系统研究与应用［J］. 自动化应用， 2022 （ 12 ）： 25 - 29+33 .

ZHOU K D . Research and application of glue path detection system based on 3D vision technology ［J］. Automation Application ， 2022 （ 12 ）： 25 - 29+33 .

陈炳权，刘宏立，孟凡斌 . 数字图像处理技术的现状及其发展方向［J］. 吉首大学学报（自然科学版）， 2009 ， 30 （ 01 ）： 63 - 70 .

CHEN B Q ， LIU H L ， MENG F B . Current Situation and Development Direction of Digital Image Processing Technology ［J］. Journal of Jishou University（Natural Sciences Edition）， 2009 ， 30 （ 01 ）： 63 - 70 .

张弛，陈荣涛，王皖勇，等 . 基于深度残差学习和三线激光结构光的复杂交叉焊缝类型辨识［J］. 热加工工艺， 2023 ， 52 （ 21 ）： 49 - 54 .

ZHANG C ， CHEN R T ， WANG W Y ， et al . Identification of Complex Cross Weld Based on Deep Residual Learning and Three-Line Laser Structured Light ［J］. Hot Working Technology ， 2023 ， 52 （ 21 ）： 49 - 54 .

王健，陈政，张华良 . 三维点云数据的预处理研究［J］. 科学技术创新， 2021 （ 22 ）： 115 - 118 .

WANG J ， CHEN Z ， ZHANG H L . Research on preprocessing of 3D point cloud data ［J］. Scientific and Technological Innovation ， 2021 （ 22 ）： 115 - 118 .

龙佳乐，杜梓浩，张建民，等 . 基于图像分割的点云去噪方法［J］. 液晶与显示， 2023 ， 38 （ 01 ）： 104 - 117 .

LONG J L ， DU Z H ， ZHANG J M ， et al . Point cloud denoising method based on image segmentation ［J］. Chinese Journal of Liquid Crystals and Displays ， 2023 ， 38 （ 01 ）： 104 - 117 .

赵毅强，周意遥，胡彬，等 . 基于特征融合的深度学习点云补全算法［J］. 天津大学学报（自然科学与工程技术版）， 2022 ， 55 （ 05 ）： 535 - 542 .

ZHAO Y Q ， ZHOU Y Y ， HU B ， et al . Deep Learning Point Cloud Completion Algorithm via Feature Fusion ［J］. Journal of Tianjin University：Science and Technology ， 2022 ， 55 （ 05 ）： 535 - 542 .

王研，梁洪涛，杨阿荣 . 基于中值滤波去噪算法的激光光谱图像数据库构建［J］. 激光杂志， 2022 ， 43 （ 02 ）： 110 - 113 .

WANG Y ， LIANG H T ， YANG A R . Construction of laser spectral image database based on median filter denoising algorithm ［J］. Laser Journal ， 2022 ， 43 （ 02 ）： 110 - 113 .

Lecun Y ， Bottou L . Gradient-based learning applied to document recognition ［J］. Proceedings of the IEEE ， 1998 ， 86 （ 11 ）： 2278 - 2324 .

Ren S ， He K ， Girshick R ， et al . Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks ［C］// NIPS ， 2016 .

Redmon J ， Divvala S ， Girshick R ， et al . You Only Look Once：Unified，Real-Time Object Detection ［C］// Computer Vision & Pattern Recognition ， IEEE ， 2016 .

编辑部网址： http：//www.71dhj.com http://www.71dhj.com