燕山大学的温银堂团队:基于超分辨率改进Faster R-CNN的点阵结构内部缺陷判识方法丨JME文章推荐TG体育
发布时间:2023-03-11
 本论文利用基于超分辨率改进的Faster R-CNN算法对金属三维结构件内部的细小缺陷进行识别和定位,根据定位信息利用阈值分割算法对二维断层序列图像上的缺陷进行分割。最后使用体绘制法对构件原始图像序列和缺陷图像序列进行三维重建,得到样件和内部细小缺陷的三维图像,可以提供内部缺陷的形貌、空间位置等信息。  金属点阵材料是一种新型多功能材料,被广泛应用于生物医疗、航空航天、汽车制造等行业。增材制造

  本论文利用基于超分辨率改进的Faster R-CNN算法对金属三维结构件内部的细小缺陷进行识别和定位,根据定位信息利用阈值分割算法对二维断层序列图像上的缺陷进行分割。最后使用体绘制法对构件原始图像序列和缺陷图像序列进行三维重建,得到样件和内部细小缺陷的三维图像,可以提供内部缺陷的形貌、空间位置等信息。

  金属点阵材料是一种新型多功能材料,被广泛应用于生物医疗、航空航天、汽车制造等行业。增材制造技术能够制造出传统制造方法无法实现的具有几何形状的坚固、轻便的结构,包括复杂的点阵结构。但在点阵结构制备过程中,由于激光功率、熔池温度、应力残存等等因素,使得点阵结构出现裂纹、黏连、坍塌等不良效应,严重影响点阵结构的结构-功能特性。无损检测可以探测金属点阵结构的可靠性及完整性,是结构质量控制和安全评估的有效手段。由于金属点阵结构成品具有优异的吸能吸声性,并且缺陷位置、尺寸随机分布,目前仍较多采用微CT或工业CT等光学可视化方法对其结构内部进行检测。但复杂点阵结构的缺陷位置和形态特征随机性强、特征微弱,基于CT图像的人工评价主观性比较强,容易出现缺陷漏判、误判等问题,且基于统计方法的信息维度低,难于获取点阵结构的几何缺陷特征。而准确获取点阵结构的几何误差、内部缺陷的大小、位置、形状等信息对于深入研究缺陷对结构性能的影响至关重要。所以研究缺陷的智能检测及识别方法对于优化复杂金属点阵结构的设计制造、提升其性能具有重要的意义。

  燕山大学的温银堂教授团队在获取CT图像的基础上,提出了一种基于超分辨率重建的改进Faster R-CNN算法,用于自动识别缺陷。通过扩展网络深度和设计超分辨率重建网络,加强原始图像目标细节信息,增强目标特征,提高了金属点阵结构内部细小缺陷的识别率,并且实现了缺陷分类。该团队以题为《基于超分辨率改进Faster R-CNN的点阵结构内部缺陷判识方法》将以上研究成果发表在《机械工程学报》2022年21期。

  本文研究对象是SLM技术制备的金刚石结构样件,由正四面体结构单元等密度有序排列组成,每一个节点与周围节点等距、等角度连接。利用多功能X射线微聚焦CT系统对样件进行扫描获取并建立数据集。考虑Faster R-CNN默认特征提取网络的深度较浅时,对目标特征提取不足,因此进行网络加深。针对复杂点阵结构内部典型细小缺陷特征微弱的问题,在SRCNN算法的基础上设计DSRCNN,较大程度增强了图片中微小目标的像素信息和局部细节。该网络是本文所提DSRCNN网络优化VGG16+算法的关键环节,重建图像质量直接影响到微小目标缺陷的检测效果。

  通过DSRCNN网络优化VGG16、VGG19作为对比实验一和对比实验二、文献[25]所提方法作为对比实验三、以及MSCNN算法,与本文算法进行实验对比验证。结果表明本文提出的改进Faster R-CNN算法在两种缺陷占比均为0.15%的图像中可以实现缺陷自动判识分类,平均识别正确率达93.5%。缺陷识别的部分结果如图8所示,TG体育算法性能如表3所示。

  实验结果表明图像重建网络的引入有助于细小缺陷识别正确率的提升。其中,实验一的缺陷识别平均正确率提高了11%,实验二的缺陷识别平均正确率提高了13%,本文算法的缺陷识别平均正确率提高了18.5%。超分辨率算法可以有效增强小目标缺陷细节特征信息,达到提高金属点阵结构内部细小缺陷的识别率目的。与实验三相比,本文算法实现了不同种类缺陷的识别,并且可以自动判识更加细小的缺陷。最后,与现有的小目标检测算法MSCNN相比,缺陷识别正确率较高,验证了本文算法在细小缺陷目标检测方面的有效性,可以为点阵结构的性能评价提供坚实的基础。

  针对复杂点阵结构内部细小缺陷智能检测问题,提出一种基于超分辨率改进Faster R-CNN模型的智能检测方法。

  (1) 特征提取网络的加深有利于提高缺陷识别率,但针对一些细小缺陷目标时,结合超分辨率重建网络,可以达到更高的识别精度;

  (2) 在切片图像中目标特征连续变化且与图片背景高度相似的情况下,超分辨重建网络可以有效增强结构断裂和黏连两种结构细小畸变类型缺陷的特征;

  (3) 通过在目标检测算法中设计图像重建模块,实现了对缺陷尺寸占比0.15%的切片图像中缺陷的有效分类判识,与未加图像重建网络相比,本文算法缺陷平均检测正确率提高了18.5%,达到93.5%;

  (4) 本文算法可以对在CT图像中连续变化的细小缺陷有效判识,可以极大的提高工业检测人员的工作效率。今后,应结合检测网络输出的缺陷类型及位置信息对检测样件进行三维表征,增强算法功能。

  本文所提方法可应用于航空航天领域迫切需求的轻量化3D打印金属点阵结构质量评测,对点阵结构内部缺陷进行高效识别和结构性能量化表征,解析结构缺陷及制造工艺参数对结构性能之间的关系,为提升点阵结构制造质量提供有力技术保障,为实现点阵结构构件高质量和长寿命的广泛应用具有重要的科学和工程意义。

  温银堂,燕山大学,电气工程学院,研究员/博士生导师。主要研究方向为先进复杂结构设计、表征与性能预测,空间结构健康监测,人工智能,3D/4D打印技术及应用等,以国家重大应用需求为牵引,提炼和解决关键科学问题,逐步实现关键技术攻关,并取得了一系列的创新科研成果。作为项目负责人承担国家高技术发展研究计划、军委科技委国防创新特区等国家级纵向课题10余项、省部级科研项目6项、企业合作项目10余项,作为主研人参与相关科研项目数十项。荣获军队科技进步二等奖1项,河北省科技进步三等奖1项,中国仪器仪表学会科学技术三等奖1项,发表高水平学术论文60余篇,授权发明专利20余项。现担任军委科技委国防科技创新特区专家、中国机械工程学会无损检测分会新技术专业委员会委员、中国电工技术学会电磁发射技术专业委员会委员、第一届中国复合材料学会智能复合材料专业委员会委员。

  张玉燕,燕山大学, 电气工程学院,教授/博士生导师。研究方向主要包括智能传感技术、先进材料结构健康监测、电容成像技术、深度学习等,在载流滑轨损伤识别技术、3D打印结构无损评估技术、新型结构制造多场耦合分析技术等方面取得了多项研究成果。已主持完成国家自然科学基金1项、军委科技委国家创新特区项目3项、国家863计划重大项目子课题1项、省部级项目4项。在国内外期刊发表学术论文70余篇,授权发明专利20余项,授权实用新型专利2项。荣获军队科技技术进步二等奖1项、河北省科技进步三等奖1项、中国仪器仪表学会二等奖、三等奖各1项。现担任中国机械工程学会无损检测分会新技术专业委员会委员、中国机械工程学会无损检测分会无损检测教育培训科普工作委员会委员。

  郭保苏,燕山大学,机械工程学院,副教授/博士生导师。研究方向主要包括图像处理、智能感知与状态监测、排样等,在太阳能电池片与布匹缺陷检测、刀具磨损状态监测与预测、复杂不规则轮廓排样等方面取得了多项研究成果。主持国家自然科学基金项目2项TG体育、军委科技委前沿创新计划项目1项、河北省高等学校科学研究青年拔尖项目1项、河北省自然科学基金及其他纵向项目5项、企业合作项目7项。出版专著1部;发表论文30余篇,其中第一或通讯作者发表中科院二区及以上论文7篇;授权发明专利6项、软件著作权2项,其中3项专利已经完成转化。现为中国机械工程学会高级会员、中国运筹学会会员,Frontiers in Mechanical Engineering期刊Review Editor。

  本团队近年来在3D打印技术、结构无损检测、损伤识别、特殊服役性能等研究方向上取得了多项理论与应用研究成果,对3D打印复杂结构材料及应用领域、智能检测与评价领域有比较全面深入的了解,具有坚实的理论基础。近几年来先后完成的科研项目主要包括军委科技委前沿创新计划项目、国家自然科学基金和省自然科学基金项目等。项目研究组在特种材料的组织结构、物性、制备技术、测试及应用,在智能传感、信息处理方法、人工智能及结构性能评价技术研究等方面具有较丰富的工作经验,并取得一系列创新研究成果。团队的主要研究方向。

  (1)复合材料结构缺陷检测方面:团队近年来开展了复合材料结构缺陷可视化检测方面的研究,取得了一定研究成果。提出了一种基于平面阵列电极电容成像传感方法,通过优化阵列电极结构设计、灵敏场建模和图像重建算法,对复合材料构件内粘接层缺陷实现了量化检测和表征,为光学层析图像处理分析和三维重建算法研究奠定了坚实的技术基础。

  (2)结构损伤特征提取及识别方面:近年来在结构损伤识别和特征提取方面进行了深入的研究,为3D打印点阵结构的缺陷检测及识别算法研究提供了支撑。针对高速滑动电接触结构,根据激光扫描三维点云数据,提出了多种电接触轨道表面微小损伤的高精度量化表征方法;实现了微小振动信息的提取和损伤在线识别,举例如图所示。针对3D打印金属点阵结构内部缺陷特征提取与检测TG体育,提出基于CT图像高斯混合熵的方法,结合光线透射法对分割得到的缺陷序列图像进行三维重构,实现了从空间角度对缺陷的形状、大小等形貌细节信息的可视化描述,相应成果举例如图所示。

  (3)激光熔覆原位制造过程热力分析方面:以一种新型防热复合涂层构件为研究对象,开展其激光熔覆制造过程中的温度场和应力场的分析以及结构样件的抗热震性能研究,结果举例如图所示。其中关于热力分析的数值模拟建模和性能分析方法为3D打印点阵结构件的数值模型建立和性能分析奠定了基础。

  (4)刀具磨损状态监测与预测:根据刀具磨损问题的特点针对性地对深度神经网络进行了改进,优选了基于DSN的单工况刀具磨损监测方法,实现了阈值的自动选择、无效信息的去除,提高了模型的监测精度;完善了基于领域自适应的多工况刀具磨损监测方法,TG体育提取了不同工况之间的共性信息,提高了多工况下刀具磨损监测精度;基于剪枝时间卷积网络,建立了刀具磨损值预测模型,采用单工况和多工况实验验证了刀具磨损预测结果的正确性,算法框架如图。

  JME学院是由《机械工程学报》编辑部2018年创建,以关注、陪伴青年学者成长为宗旨,努力探索学术传播服务新模式。首任院长是中国机械工程学会监事会监事长、《机械工程学报》中英文两刊主编宋天虎。

  有一种合作叫做真诚,有一种发展可以无限,有一种伙伴可以互利共赢,愿我们合作起来流连忘返,发展起来前景可观。关于论文推荐、团队介绍、图书出版、学术直播、招聘信息、会议推广等,请与我们联系。

  感谢关注我们!《机械工程学报》编辑部将努力为您打造一个有态度、有深度、有温度的学术媒体!


网站地图