0 前言

再制造通過(guò)對(duì)退役零件進(jìn)行專(zhuān)業(yè)化修復(fù)或升級(jí)改造使其質(zhì)量特性不低于新品零件,是產(chǎn)品殘余價(jià)值有效重用的重要途徑之一[1]。退役零件的失效模式多種多樣[2],包括磨損、老化、斷裂、裂紋等。不同的失效模式及其失效程度是影響零件能否再制造重用的關(guān)鍵因素之一,快速精確量化表征其失效特征對(duì)于退役零件的再制造評(píng)價(jià)和再制造工藝選擇具有重要意義。

零件內(nèi)部的失效特征多采用超聲波無(wú)損探傷、電磁波無(wú)損探傷、射線檢測(cè)等[3-5] 技術(shù)測(cè)量并表征其失效程度。零件表面的失效特征常采用模糊評(píng)價(jià)法、3D掃描重建法等[6-7]進(jìn)行表征。其中,模糊評(píng)價(jià)法通過(guò)專(zhuān)家評(píng)價(jià)結(jié)果進(jìn)行失效特征量化,主觀性較大,評(píng)價(jià)結(jié)果不精確。掃描重建法使用3D掃描儀獲取零件的三維點(diǎn)云,通過(guò)對(duì)比分析新舊零件得到其失效特征表征結(jié)果,精度高,但需要特定的設(shè)備, 成本高,過(guò)程復(fù)雜,效率低。

圖像三維重建一直是計(jì)算機(jī)視覺(jué)中的經(jīng)典問(wèn)題,圖像三維重建分為多攝像頭重建和單攝像頭重建[8-9],單攝像頭重建方法成本更低,包括由聚焦獲取深度(Depth from focus,DFF) [10]、由陰影恢復(fù)形狀( Shape from shading, SFS) [11]、由運(yùn)動(dòng)恢復(fù)形狀(Shape from motion,SFM) [12]等典型方法,其中,SFM算法具有重建精度高、效率高等特點(diǎn),是近年來(lái)研究和應(yīng)用的熱點(diǎn)算法。 SFM算法應(yīng)用SIFT、 SURF、 AKAZE等特征檢測(cè)算法[13-15] 提取序列圖像中的特征點(diǎn),以相同特征點(diǎn)建立假定光度匹配, 并使用RANSCA算法[16]對(duì)匹配結(jié)果進(jìn)行優(yōu)化,且根據(jù)后續(xù)流程不同,SFM算法可分為增量式SFM和全局式SFM算法。增量SFM算法選取最大相匹配特征點(diǎn)和最佳基線角度的圖像對(duì)作為初始圖像對(duì)進(jìn)行兩視圖重建,利用三角定位恢復(fù)特征點(diǎn)三維坐標(biāo),應(yīng)用光束平差法對(duì)坐標(biāo)進(jìn)行優(yōu)化,并逐張加入圖像實(shí)現(xiàn)多視圖重建,得到稀疏點(diǎn)云。陳輝等[17]使用增量SFM算法實(shí)現(xiàn)了沙堆的三維重建,并進(jìn)行了尺寸測(cè)量。董建偉等[18] 使用無(wú)人機(jī)拍照并利用增量SFM算法實(shí)現(xiàn)了港口煤堆的三維重建。但是,由于增量式SFM算法在重建過(guò)程中逐張加入圖像,計(jì)算圖像中特征點(diǎn)的三維坐標(biāo),隨著圖像數(shù)量增加,導(dǎo)致計(jì)算誤差積累, 相機(jī)軌跡閉包處理困難,重建點(diǎn)云產(chǎn)生飄移。

全局式SFM算法的優(yōu)勢(shì)在于小基線下可以非常精確估計(jì)相對(duì)應(yīng)的兩視圖旋轉(zhuǎn),將誤差平均分布, 同時(shí)減少了光束平差次數(shù),提高了重建效率,但對(duì)圖像質(zhì)量和相機(jī)內(nèi)部參數(shù)要求更為嚴(yán)格。魯晨曦[19] 使用全局SFM算法實(shí)現(xiàn)了建筑物的三維重建。 MOULON等[20] 對(duì)全局SFM算法進(jìn)行改進(jìn),提出了有效的對(duì)偶三焦張量估計(jì)方法以得到穩(wěn)定的平移方向,并定義了一種平移匹配方法以恢復(fù)相機(jī)的幾何位置,提高了算法的重建精度。

退役零部件的表面失效模式包括變形、磨損、腐蝕等,其失效量級(jí)多為毫米級(jí),失效部分形狀不規(guī)則,需要完整獲取退役零件的全部失效特征,并保證重建點(diǎn)云的閉合性和完整性,且為減少點(diǎn)云處理步驟,增加點(diǎn)云光滑度,需要盡可能減少噪點(diǎn)數(shù)量。增量SFM算法存在重建點(diǎn)云中三維點(diǎn)漂移,重建過(guò)程中相機(jī)閉包處理困難等問(wèn)題,全局SFM算法誤差分布均勻,噪點(diǎn)少,但相機(jī)內(nèi)部參數(shù)的精確度有待提升,因此,上述方法都無(wú)法直接用于退役零件表面失效特征的三維重建。為此,文中提出了自標(biāo)定全局SFM算法,使用退役零件圖像集構(gòu)建圖像特征點(diǎn)匹配關(guān)系,應(yīng)用光束平差法自標(biāo)定相機(jī),優(yōu)化相機(jī)焦距、徑向畸變參數(shù),結(jié)合全局SFM算法完成重建,提高了算法的魯棒性。為提高零件表面失效特征表征效率,文中提出了基于圖像三維重建的退役零件表面失效特征表征方法,由退役零件序列圖像快速獲得其失效特征信息。

1 自標(biāo)定全局SFM算法

1.1 相機(jī)自標(biāo)定

被測(cè)物體的圖像坐標(biāo)與世界三維坐標(biāo)轉(zhuǎn)換的準(zhǔn)確度很大程度上影響圖像三維重建結(jié)果的好壞,坐標(biāo)轉(zhuǎn)換公式如式(1)所示

         (1)

式中,(X W,Y W,Z W )表示三維物體世界坐標(biāo),Z C 表示相機(jī)坐標(biāo),(U,V)表示像素平面坐標(biāo),K 為相機(jī)內(nèi)參矩陣,M 為相機(jī)外參矩陣,f x、f y 為歸一化焦距,s 為傾斜因子,c x、c y 為點(diǎn)在圖像坐標(biāo)系上的坐標(biāo),R 表示旋轉(zhuǎn)矩陣,T 表示平移矩陣。式(1) 是針孔相機(jī)模型的坐標(biāo)轉(zhuǎn)換公式,實(shí)際情況中還需要考慮相機(jī)的徑向畸變參數(shù)。

由式(1)可知,影響重建精度的主要因素為相機(jī)的內(nèi)參矩陣和外參矩陣,內(nèi)參矩陣的主要影響因子為相機(jī)的焦距和畸變參數(shù),已有研究一般應(yīng)用張友正提出的相機(jī)標(biāo)定法[21]標(biāo)定,需要構(gòu)建相機(jī)標(biāo)靶的圖像集,耗時(shí)長(zhǎng),適用場(chǎng)景有限,且拍攝圖片過(guò)程中,相機(jī)畸變受溫度、風(fēng)速、氣壓等外界環(huán)境影響,單獨(dú)的實(shí)驗(yàn)室標(biāo)定數(shù)據(jù)難以符合實(shí)際情況。文中使用退役零件圖像集中的退役零件作為標(biāo)定物,無(wú)需單獨(dú)制作相機(jī)標(biāo)靶進(jìn)行相機(jī)標(biāo)定。構(gòu)建圖像集時(shí)應(yīng)用同一相機(jī)從不同角度獲取待重建物體的序列圖像, 獲取圖像間大量匹配點(diǎn)對(duì),應(yīng)用光束平差算法求解相機(jī)焦距和徑向畸變參數(shù)。相機(jī)自標(biāo)定模型如圖1所示。

圖1 相機(jī)自標(biāo)定模型

根據(jù)圖片內(nèi)部的可交換圖像文件格式(EXIF) 信息估計(jì)相機(jī)的焦距,其公式如下。

        (2)

式中,f p 為相機(jī)焦距( 像素), f m 為相機(jī)焦距( 毫米),w p、 h p 分別表示圖像寬度和長(zhǎng)度( 像素), ccdw m 為相機(jī)傳感器寬度(毫米)。應(yīng)用SIFT算法提取圖像中的特征點(diǎn)并建立匹配關(guān)系,應(yīng)用ACRANSAC算法[22]消除誤匹配,應(yīng)用增量SFM算法尋找篩選初始圖像對(duì),完成二視圖重建和三視圖重建,由于參與重建的圖像數(shù)量少,避免了增量SFM算法累積誤差的產(chǎn)生,同時(shí)可獲取足量特征點(diǎn)的三維坐標(biāo),然后應(yīng)用光束平差算法求解相機(jī)的焦距 f p 和畸變,其中,考慮相機(jī)模型為針孔徑向,相機(jī)畸變參數(shù)只考慮徑向畸變,階數(shù)為三階, 徑向畸變模型如式(3)所示

      (3)

式中,r 為像平面坐標(biāo)系中點(diǎn)(x,y)與圖像中心(x 0, y 0)的像素距離,( x c,y c)為修正后的坐標(biāo),k 1、k 2、k 3 為徑向畸變系數(shù)。對(duì)于一個(gè)特征點(diǎn),可在多幅圖像上可列出其誤差方程

    (4)

式中,

為特征點(diǎn)像素坐標(biāo)系的修正矩陣,A、B、C 為相機(jī)內(nèi)外參數(shù)和特征點(diǎn)三維坐標(biāo)的偏導(dǎo)數(shù)矩陣,X 1、X 2、X 3 為相機(jī)內(nèi)外參數(shù)和特征點(diǎn)三維坐標(biāo)的修正數(shù),

為觀測(cè)值向量。

根據(jù)最小二乘原理可列出式(4)的法方程式

   (5)

式中,P 為特征點(diǎn)觀測(cè)值的權(quán)矩陣。對(duì)法方程式消元即可得到關(guān)于相機(jī)內(nèi)外參數(shù)的非齊次線性方程組,求解得出相機(jī)的焦距和三階徑向畸變參數(shù)。

1.2 自標(biāo)定全局SFM算法流程

文中將相機(jī)自標(biāo)定融入到全局SFM算法中,提出了自標(biāo)定全局SFM算法,其步驟如下。

步驟1:對(duì)圖像集中的圖像進(jìn)行預(yù)處理,獲取相機(jī)的內(nèi)參信息,應(yīng)用SIFT算法提取和匹配圖像中特征點(diǎn),構(gòu)建圖像匹配關(guān)系。

步驟2:應(yīng)用增量SFM算法完成三視圖重建,獲取三視圖間大量匹配點(diǎn)對(duì)。

步驟3:應(yīng)用光束平差算法求解相機(jī)焦距和三階徑向畸變參數(shù)。

步驟4:以求解的相機(jī)內(nèi)部參數(shù)和已經(jīng)構(gòu)建好的圖像匹配關(guān)系為基礎(chǔ),計(jì)算每個(gè)視圖的全局旋轉(zhuǎn)矩陣。

步驟5:計(jì)算每個(gè)視圖的平移矩陣,進(jìn)行三角定位和整體光束平差得到重建物體的稀疏點(diǎn)云。

步驟6:應(yīng)用CMVS/PMVS算法得到重建物體的稠密點(diǎn)云。

圖2 為文中算法的流程圖。

圖2 自標(biāo)定全局SFM算法流程圖

2 基于試驗(yàn)的圖像重建精度評(píng)價(jià)

2.1 重建精度評(píng)價(jià)模型

退役零件三維模型的重建精度受多種因素影響,主要因素包括以下幾點(diǎn)。

(1) 重建有效三維點(diǎn)數(shù)量占比。退役零件重建三維曲面由退役零件稠密點(diǎn)云中的有效三維點(diǎn)相互連接構(gòu)成,為了能夠使三維點(diǎn)擬合而成的曲面更加致密,需要三維重建算法能夠求解出盡可能多的三維點(diǎn)以生成高精度的稠密點(diǎn)云。由于圖像中的噪聲點(diǎn)和圖像對(duì)間錯(cuò)誤匹配對(duì)的存在,重建后的稠密點(diǎn)云中會(huì)不可避免的產(chǎn)生噪點(diǎn),增加逆向工程重建的時(shí)間復(fù)雜度,如刪除不盡,則可能與有效三維點(diǎn)相連接而形成錯(cuò)誤的三維曲面,從而引入誤差,影響三維模型的表面形狀,為了減少上述問(wèn)題,應(yīng)使重建有效三維點(diǎn)數(shù)量盡可能多,同時(shí),重建有效三維點(diǎn)數(shù)量占重建三維點(diǎn)總數(shù)的比例應(yīng)盡可能高。

(2) 點(diǎn)云完整度。由于失效特征在退役零件表面呈隨機(jī)分布,重建出的退役零件三維模型應(yīng)盡可能的包含全部的失效特征,這要求在盡可能恢復(fù)更多有效三維點(diǎn)的基礎(chǔ)上使三維點(diǎn)均勻分布,構(gòu)成退役零件的完整模型。

(3) 相機(jī)位姿估計(jì)準(zhǔn)確度。三維點(diǎn)坐標(biāo)由基本矩陣分解得到的內(nèi)參矩陣和外參矩陣轉(zhuǎn)換求出,相機(jī)旋轉(zhuǎn)位姿估計(jì)的準(zhǔn)確與否影響三維點(diǎn)坐標(biāo)的精確度。

根據(jù)上述分析,文中以重建有效三維點(diǎn)數(shù)量占比、點(diǎn)云完整度和相機(jī)位姿估計(jì)準(zhǔn)確度為評(píng)價(jià)標(biāo)準(zhǔn), 根據(jù)影響程度不同設(shè)置不同的權(quán)重,構(gòu)建重建精度評(píng)價(jià)模型,如式(6)所示

   (6)

式中,S a 為重建稠密點(diǎn)云中三維點(diǎn)總數(shù),S e 為重建有效三維點(diǎn)數(shù)量,該值由S a 減去噪點(diǎn)數(shù)確定,重建產(chǎn)生的噪點(diǎn)應(yīng)用點(diǎn)云濾波算法[23] 去除,MaxS e 為重建相同物體時(shí)不同方法所獲取的最大有效三維點(diǎn)數(shù)量,I 為點(diǎn)云完整度,定義完成程度為4個(gè)級(jí)別,由大到小,對(duì)應(yīng)值為1、0.9、0.8、0.7,C 為相機(jī)位姿估計(jì)準(zhǔn)確度,根據(jù)相機(jī)姿態(tài)分4個(gè)級(jí)別,由大到小,對(duì)應(yīng)值為1、0.9、0.8和0.7,w 1、w 2 和w 3 為對(duì)應(yīng)權(quán)重, 根據(jù)對(duì)后續(xù)逆向重建的影響程度,依據(jù)層次分析法[24]確定,分別為0.3、0.4和0.3,P 為重建精度, 范圍為0~1,數(shù)值越大,重建精度越高。

2.2 試驗(yàn)及結(jié)果分析

退役零件的形狀多種多樣,不同形狀的零件重建效果不盡相同,退役零件圖像集中圖像數(shù)量不同, 圖像分辨率不同,也會(huì)影響重建質(zhì)量。為模擬各種可能的情況,文中選取了形狀各不相同的物體,拍攝不同數(shù)量的圖片構(gòu)成圖像集,各圖像集中圖像的分辨率各不相同,為了進(jìn)一步驗(yàn)證文中算法的有效性, 與VisualSFM [25]提供的增量SFM算法、openMVG提供的增量和全局SFM算法進(jìn)行了比較,選取4個(gè)圖像集進(jìn)行試驗(yàn)。

文中基于openMVG開(kāi)源庫(kù)進(jìn)行程序開(kāi)發(fā),試驗(yàn)環(huán)境為處理器Intel Core i5-4200H,3.4GHz,8GB內(nèi)存, Windows10操作系統(tǒng), 軟件平臺(tái)為CMVS/PMVS開(kāi)源庫(kù)、Geomagic軟件、meshlab軟件。圖像集信息如表1所示。

表1 圖像集信息

 

重建后有效三維點(diǎn)組成的稠密點(diǎn)云和相機(jī)位姿對(duì)比如圖3所示。

由圖3可見(jiàn),中部為重建物體的稠密點(diǎn)云,圍繞稠密點(diǎn)云呈環(huán)形分布的是重建的相機(jī)位姿,文中所提自標(biāo)定全局SFM算法的相機(jī)位姿位置估計(jì)最為準(zhǔn)確,相機(jī)位置分布均勻,稠密點(diǎn)云完整度最高。這是由于自標(biāo)定全局SFM算法使用校準(zhǔn)后的相機(jī)焦距和三階徑向畸變參數(shù),在求解相機(jī)外參矩陣即相機(jī)位姿時(shí)數(shù)值更為精準(zhǔn),點(diǎn)云完整度更高。其次分別為MVG全局算法、MVG增量算法,使用式(2)估計(jì)相機(jī)焦距, 結(jié)果存在一定的偏差。最次為VisualSFM算法,由于使用圖像內(nèi)部的焦距信息作為初始參數(shù),其相機(jī)位姿估計(jì)有明顯的偏差,點(diǎn)云完整度低且存在部分點(diǎn)云漂移。

重建有效稠密點(diǎn)云信息與計(jì)算精度如表2所示。

圖3 有效稠密點(diǎn)云和相機(jī)位姿對(duì)比圖

表2 點(diǎn)云信息與計(jì)算精度表

對(duì)比表2中三維點(diǎn)參數(shù)可知文中算法重建出的稠密三維點(diǎn)云中噪點(diǎn)數(shù)量最少,且有效三維點(diǎn)數(shù)量占重建三維點(diǎn)總數(shù)的比例最高,這是由于校正了相機(jī)三階徑向畸變參數(shù),提高了點(diǎn)云中三維點(diǎn)的坐標(biāo)精度,且全局式算法減少了光束平差的次數(shù),避免了誤匹配對(duì)被錯(cuò)誤的優(yōu)化到稠密點(diǎn)云中。不同算法重建精度對(duì)比如圖4所示。

由圖4可見(jiàn),文中算法的重建精度最高,重建精度由高到低分別為玩偶、箱體、搖桿、剎車(chē)片。玩偶圖像集中圖像數(shù)量較少,但重建后有效三維點(diǎn)數(shù)量和數(shù)量占比均較高,原因在于玩偶表面凹凸不平,可類(lèi)比為磨損不規(guī)則且十分嚴(yán)重的零件,這增加了圖像間特征點(diǎn)匹配對(duì)的數(shù)量,降低了誤匹配對(duì)的數(shù)量。其余圖像集中圖像數(shù)量較多,但重建后有效三維點(diǎn)數(shù)量和數(shù)量占比均較低,原因在于物體表面光滑,基本無(wú)磨損且具有一定的金屬光澤,這增加了圖像間誤匹配對(duì)的數(shù)量,降低了匹配對(duì)數(shù)量,且剎車(chē)片形狀不規(guī)則,表面存在曲率快速變化的位置,使得一些圖像由于特征點(diǎn)過(guò)少的原因無(wú)法與其它圖像相匹配, 進(jìn)一步降低了重建精度。由于上述問(wèn)題導(dǎo)致重建精度降低時(shí),可對(duì)具有金屬光澤的光滑曲面進(jìn)行著色噴涂,并適當(dāng)增加曲率快速變化位置的圖像數(shù)量,以提高重建精度。文中算法重建精度相較MVG全局算法提高10%左右,解決了全局SFM算法重建失敗的問(wèn)題,魯棒性有所提高。

圖4 算法精度對(duì)比圖

自標(biāo)定全局SFM算法,使用光束平差校準(zhǔn)的焦距和徑向畸變值作為輸入,可以很好的適用于視頻中提取出的圖像構(gòu)成的圖像集或圖片內(nèi)缺少EXIF信息的情況下的重建,增強(qiáng)了算法的魯棒性,減少重建后稀疏點(diǎn)云中的噪點(diǎn)數(shù)量,提高了精度。

3 表面失效特征表征

表面失效特征表征包括逆向工程重建和失效特征量化兩個(gè)部分,表面失效特征表征流程如圖5所示。

3.1 逆向重建簡(jiǎn)介

逆向工程重建[26]包括稠密點(diǎn)云處理、多邊形處理和曲面處理三部分。稠密點(diǎn)云處理包括稠密點(diǎn)云結(jié)構(gòu)定義,降低點(diǎn)云中的噪點(diǎn),刪除異常點(diǎn)等步驟; 多邊形處理主要是對(duì)稠密點(diǎn)云進(jìn)行局部三角化和全局三角化,識(shí)別殘缺的孔,填充形成多邊形模型;曲面處理則是對(duì)多邊形模型通過(guò)三角剖分分解為多個(gè)四邊形塊,經(jīng)過(guò)約束優(yōu)化使其內(nèi)角均接近90°且數(shù)量盡可能少,并對(duì)優(yōu)化后的四邊形進(jìn)行連接得到非均勻有理B樣條曲面[27]構(gòu)成的三維模型。

3.2 失效特征量化

失效特征量化包括尺寸縮放、質(zhì)量評(píng)估和特征參數(shù)對(duì)比三部分。

(1) 尺寸縮放。由于圖像三維重建過(guò)程中對(duì)三維點(diǎn)的坐標(biāo)進(jìn)行歸一化處理,使得逆向工程恢復(fù)的三維模型失去了原有的尺寸特征,需要進(jìn)行尺寸縮放,定義尺寸縮放式(7)為

     (7)

式中,η 為尺寸縮放系數(shù),ΔX b、ΔY b、ΔZ b 為實(shí)際兩點(diǎn)三維坐標(biāo)差值,ΔX n、ΔX n、ΔX n 為重建三維模型相同兩點(diǎn)三維坐標(biāo)差值。經(jīng)過(guò)尺寸縮放后即可恢復(fù)物體的原有尺寸。

圖5 表面失效特征表征流程圖

(2) 質(zhì)量評(píng)估。質(zhì)量評(píng)估包括表面積、體積和質(zhì)量計(jì)算,假設(shè)重建物的表面為有界曲面,則z=z(x,y),(x,y)∈D xy,其表面積計(jì)算公式為

  (8)

體積計(jì)算公式為

 (9)

式中,Ω 為重建物體的積分區(qū)域。

質(zhì)量計(jì)算公式為

(10)

式中,ρb 為重建物體的密度,I V 為重建物體的體積。通過(guò)上式可獲得重建物體的表面積、體積、質(zhì)量特征。

(3) 特征參數(shù)對(duì)比。參數(shù)特征對(duì)比旨在比較退役零件特征參數(shù)與全新零件特征參數(shù),文中分為兩種情況,當(dāng)已有全新零件的標(biāo)稱(chēng)三維模型時(shí)直接比較特征參數(shù),對(duì)比量化退役零件失效特征;缺少全新零件標(biāo)稱(chēng)三維模型時(shí),應(yīng)用文中所提方法獲取全新零件的標(biāo)稱(chēng)三維模型,對(duì)比量化退役失效特征,失效特征信息集為

式中,S n、I Vn 、M br 分別為全新零件的表面積、體積、質(zhì)量,S r、I Vr、M br 分別為退役零件的表面積、體積、質(zhì)量。信息集中包含退役零件的表面積、體積和質(zhì)量的失效特征信息。

3.3 方法流程

基于圖像三維重建的退役零件表面失效特征表征并量化其失效特征包括圖像三維重建算法、重建精度評(píng)價(jià)和表面失效特征量化三個(gè)階段,方法流程如圖6所示。

圖6 退役零件三維重建失效特征表征方法流程圖

步驟如下。

步驟1:構(gòu)建退役零件圖像集。圖像集可由相機(jī)拍攝獲取,也可由視頻分解獲取。

步驟2:應(yīng)用自標(biāo)定全局SFM算法重建退役零件稠密點(diǎn)云。

步驟3:重建精度評(píng)價(jià)。根據(jù)式(6)對(duì)退役零件稠密點(diǎn)云進(jìn)行重建精度評(píng)價(jià)。

步驟4:重建精度判斷。根據(jù)重建精度 P 的值判斷重建是否成功,當(dāng) P 值大于 λ 時(shí)認(rèn)定重建精度符合要求,執(zhí)行下一步,重建精度小于 λ 時(shí)認(rèn)定重建失敗,須重新構(gòu)建退役零件圖像集再次重建。 λ 的值根據(jù)客戶(hù)需求確定,一般大于0.8。

步驟5:表面失效特征量化。對(duì)退役零件通過(guò)逆向工程重建獲取其三維模型,根據(jù)式(7) 對(duì)三維模型進(jìn)行尺寸縮放,根據(jù)式(8)~(10)求解退役零件失效特征的參數(shù)集。

4 案例分析

為了驗(yàn)證文中所提基于圖像三維重建的表面失效特征表征方法的有效性,以形狀較為復(fù)雜,具有復(fù)雜的曲面、平面和孔洞的某型退役電梯導(dǎo)靴為例進(jìn)行驗(yàn)證(圖7所示)。由于前文的對(duì)比試驗(yàn)已經(jīng)證明文中所提自標(biāo)定全局SFM算法在重建精度方面優(yōu)于其它算法,此處不再進(jìn)行精度對(duì)比試驗(yàn)。

圖7 退役和全新導(dǎo)靴實(shí)物圖

4.1 導(dǎo)靴圖像集獲取

由于缺乏全新導(dǎo)靴的三維數(shù)字化模型,故需要對(duì)退役導(dǎo)靴和新導(dǎo)靴分別進(jìn)行圖像三維重建獲取其三維模型。

以圖7所示的退役和全新導(dǎo)靴為對(duì)象,圖7a所示退役導(dǎo)靴頭部具有一定程度的磨損,使用iPhone11手機(jī)拍攝采集了145張退役導(dǎo)靴圖片構(gòu)成退役導(dǎo)靴圖像集,每張圖片分辨率為4 032×3 024像素, 采集158張全新導(dǎo)靴圖片構(gòu)成全新導(dǎo)靴圖像集,每張圖片分辨率為4 032×2 724像素。

4.2 導(dǎo)靴三維重建與精度評(píng)價(jià)

應(yīng)用自標(biāo)定全局SFM算法分別對(duì)退役導(dǎo)靴圖像集和新導(dǎo)靴圖像集進(jìn)行相機(jī)自標(biāo)定,獲取相機(jī)焦距和三階徑向畸變參數(shù),應(yīng)用全局SFM算法重建其稀疏點(diǎn)云,應(yīng)用CMVS/PMVS算法獲取退役導(dǎo)靴和新導(dǎo)靴的稠密點(diǎn)云。

將退役導(dǎo)靴和新導(dǎo)靴的稠密點(diǎn)云信息代入點(diǎn)云精度評(píng)價(jià)式(6) 進(jìn)行精度評(píng)價(jià),其計(jì)算結(jié)果如表3所示。

表3 導(dǎo)靴點(diǎn)云信息與計(jì)算精度表

 

此處,根據(jù)客戶(hù)需求設(shè) λ=0.85,由表3知退役導(dǎo)靴和新導(dǎo)靴的重建精度均大于0.85,滿足精度要求,可以進(jìn)行表面失效特征量化。

4.3 失效特征量化

對(duì)退役導(dǎo)靴和全新導(dǎo)靴的稠密點(diǎn)云進(jìn)行三維重建,經(jīng)多邊形和曲面處理后得到退役導(dǎo)靴和新導(dǎo)靴的三維模型如圖8所示。

圖8 導(dǎo)靴三維模型

由圖8可知,該方法基本重建出了導(dǎo)靴的復(fù)雜曲面、平面和孔洞等細(xì)節(jié)特征。

根據(jù)式(7) 對(duì)重建后的三維模型進(jìn)行尺寸縮放,經(jīng)計(jì)算得出尺寸縮放系數(shù)為5.6。該導(dǎo)靴材料為灰鑄鐵,根據(jù)式(8)~(10)對(duì)其進(jìn)行質(zhì)量評(píng)估,獲取其特征參數(shù)和退役導(dǎo)靴失效特征的參數(shù)集,具體如表4所示。

表4 失效特征信息對(duì)比

 

由表4可知,退役導(dǎo)靴質(zhì)量為1 715g,新導(dǎo)靴質(zhì)量為1 856g,對(duì)退役導(dǎo)靴和新導(dǎo)靴實(shí)物進(jìn)行質(zhì)量測(cè)量,其質(zhì)量分別為1 783.8g和1 916.4g,計(jì)算得退役導(dǎo)靴重建精度為96.2%,新導(dǎo)靴重建精度為96.8%。

對(duì)標(biāo)退役導(dǎo)靴和新導(dǎo)靴的三維模型,提取出退役導(dǎo)靴磨損部分的三維模型,如圖9所示。

圖9 導(dǎo)靴磨損部位三維模型圖

對(duì)其精確形位尺寸進(jìn)行評(píng)估,其質(zhì)量為138.5g,體積為19.2cm 3,表面積為89.1cm 2,與實(shí)際測(cè)量的質(zhì)量132.6g進(jìn)行比較,獲得重建精度為95.7%。

上述計(jì)算結(jié)果快速精確地量化了導(dǎo)靴的失效特征,可為導(dǎo)靴的可再制造性判斷和再制造工藝路線規(guī)劃提供數(shù)據(jù)支撐。

5 結(jié)論

(1) 提出了自標(biāo)定全局SFM算法,在構(gòu)建退役零件圖像集的基礎(chǔ)上,應(yīng)用光束平差法進(jìn)行相機(jī)自標(biāo)定,無(wú)需單獨(dú)標(biāo)定相機(jī),提高了點(diǎn)云坐標(biāo)精度和相機(jī)位姿估計(jì)的準(zhǔn)確度,降低了稠密點(diǎn)云中的噪點(diǎn)數(shù)量。

(2) 以重建有效三維點(diǎn)數(shù)量占比、點(diǎn)云完整度和相機(jī)位姿準(zhǔn)確度為評(píng)價(jià)指標(biāo),建立退役零件重建精度評(píng)價(jià)模型,實(shí)現(xiàn)了對(duì)不同形狀物體重建精度的準(zhǔn)確評(píng)價(jià),為能否進(jìn)一步表征退役零件失效特征提供理論依據(jù)。

(3) 提出了一種基于圖像三維重建的退役零件失效特征表征方法,實(shí)現(xiàn)了退役零件表面失效特征的高效量化表征,節(jié)約成本,獲取了退役零件三維模型,可為退役零件再制造評(píng)價(jià)與修復(fù)提供數(shù)據(jù)支持。

參考文獻(xiàn)

[1] 徐濱士.新時(shí)代中國(guó)特色再制造的創(chuàng)新發(fā)展[J].中國(guó)表面工程,2018,31(1):1-6.

XU B S.Innovation and development of remanufacturing with Chinese characteristies for a new era [J].China Surface Engineering,2018,31(1):1-6.(in Chinese)

[2] 徐濱士,董世運(yùn),史佩京.中國(guó)特色的再制造零件質(zhì)量保證技術(shù)體系現(xiàn)狀及展望[J].機(jī)械工程學(xué)報(bào),2013,49(20):84-90.

XU B S,DONG S Y,SHI P J.States and prospects of China characterised quality guarantee technology system for remanufactured parts [J].Journal of Mechanical Engineering,2013,49(20):84-90.(in Chinese)

[3] FU Y D,HU P,TURNER J A,et al.Ultrasonic flaw detection for two-phase Ti-6A1-4V based on secondary scattering[J].NDT and E International,2019,102(MAR):199-206.

[4] WANG W S,QU Z L,ZHENG Z S,et al.Analysis and design of coil-based electromagnetic-induced the rmoacoustic for rail internal-flaw inspectio-n [J].IEEE Transactions on Intelligent Transportati-on Systems,2019,20(7):2691-2702.

[5] KIM K S,KANG S Y,KIM W S,et al.Improvement of radiographic visibility using an image restoration method based on a simple radiographic scatering model for X-ray nondestructive testing[J].N-DT andE International,2018,98:117-122.

[6] 張秀芬,高云飛.退役機(jī)械零部件多維遞階再制造性評(píng)價(jià)方法[J].浙江大學(xué)學(xué)報(bào),2020,54(5):954-962.

ZHANG X F,GAO Y F.Multi-dimensional hierar-chical remanufacturability evaluation method for e-nd-of-life mechanical parts [J].Journal of Zhejiang University,2020,54(5):954-962.(in Chinese)

[7] ZHANG X,CUI W,LI W,et al.A hybrid process integrating reverse engineering,prerepair processing,additive manufacturing,and material testing for component remanufacturing[J].Materials,2019,12(12):1961.

[8] 畢天騰,劉越,翁冬冬,等.基于監(jiān)督學(xué)習(xí)的單幅圖像深度估計(jì)綜述[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2018,30(8):1383-1393.

BI T T,LIU Y,WENG D D,et al.Survey on supervised learning based depth estimation from a single image[J].Journal of Computer-Aided Design and Computer Graphics,2018,30(8):1383-1393.(in Chinese)

[9] XU J,WANG K,GAO M,et al.Biomechanical performance design of joint prosthesis for medical rehabilitation via generative structure optimization [J].Computer Methods in Biomechanics and Biomedical Engineering,2020,23(15):1-17.

[10] JEON H G,SURH J,IM S,et al.Ring differencefilter for fast and noise robust depth from focus [J].IEEE Transactions on Image Processing,2019,29:1045-1060.

[11] 程亞楠,劉曉東,張東升,等.利用測(cè)深側(cè)掃數(shù)據(jù)和明暗恢復(fù)形狀方法實(shí)現(xiàn)地形修正[J].儀器儀表學(xué)報(bào),2019,40(7):159-168.

CHENG Y N,LIU X D,ZHANG D S,et al.R-ealization of terrain correction utilizing bathymetric sidescan data and shape from shading methods [J].Chinese Journal of Scientific Instrument,2019,40(7):159-168.(in Chinese)

[12] 張洪鑫,王明珠,仇浩然,等.基于單目圖像序列的鑄件三維重建方法[J].中國(guó)機(jī)械工程,2018,29(23):2799-2803.

ZHANG H X,WANG M Z,QIU H R,et al.3Dreconstruction method of castings based on monocular image sequences [J].China Mechanical Engineering,2018,29(23):2799-2803.(in Chinese)

[13] YU Y J,WANG G F,ZHAO J.FI-SIFT algorithm for exposing image copy-move forgery with reflection attacks[J].International Journal of Network Security,2020,22(2):183-190.

[14] HASSANIN A A I M,El-SAMIE F E A,BANBY G M E.A real-time approach for automatic defect detection from PCBs based on SURF features and morphological operations [J].Multimedia Tools and Applications,2019,78(24):34437-34457.

[15] MUKHERJEE P,LALL B.Saliency and KAZE features assisted object segmentation [J].Image and Vision Computing,2017,61:82-97.

[16] WANG N N,GAO X B,LI J.Random samplingfor fast face sketch synthesis[J].Pattern Recognition,2018,76:215-227.

[17] 陳輝,楊劍,黃曉銘,等.基于多視圖立體視覺(jué)的沙堆三維尺寸測(cè)量研究[J].計(jì)量學(xué)報(bào),2019,40(3):403-408.

CHEN H,YANG J,HHUANG X M,et al.Research on 3D measurement of sand pile based on multi view stereo vision[J].Acta Metrologica Sinica,2019,40(3):403-408.(in Chinese)

[18] 董建偉,李海濱,孔德明,等.基于多視圖立體視覺(jué)的煤場(chǎng)三維建模方法研究 [J].燕山大學(xué)學(xué)報(bào),2016,40(2):136-141.

DONG J W,LI H B,KONG D M,et al.Research on 3D modeling of coal field based on multi-view stereo vision method [J].Journal of Yanshan University,2016,40(2):136-141.(in Chinese)

[19] 魯晨曦.基于圖像的全局SFM三維模型重建方法研究與實(shí)現(xiàn)[D].成都:電子科技大學(xué),2017.

LU C X.Image-based three-dimensional model re-constructionUsing global structure from motion [ D].Chengdu:University of Electronic Science and Technology of China,2017.(in Chinese)

[20] MOISAN L,MOULON P.Automatic homographicregistration of a pair of images,with a contrario elimination of outliers[J].Image Processing on Line,2012(2):56-73.

[21] ZHANG Z Y.Flexible camera calibration by vie-wing a plane from unknown orientations [ C ]//Seventh IEEE International Conference on Computer Vision.IEEE,1999.

[22] MOULON P,MONASSE P,MARLET R.Adapti-ve structure from motion with a contrario model estimation [ C]//Computer Vision-ACCV 2012.

ACCV,2012.

[23] 馮發(fā)杰,丁亞洲,吏軍平,等.使用顯著性劃分的機(jī)載激光雷達(dá)點(diǎn)云濾波[J].紅外與激光工程,2020,49(8):26-34.

FENG F J,DING Y Z,SHI L J,et al.AirborneLiDAR point cloud filtering using saliency divisi-on [J].Infrared and Laser Engineering,2020,49(8):26-34.(in Chinese)

[24] 任仲賀,武美萍,唐又紅,等.機(jī)械設(shè)備零部件再制造評(píng)價(jià)點(diǎn)陣圖模型及應(yīng)用 [J].中國(guó)表面工程,2018,31(6):143-152.

REN Z H,WU M P,TANG Y H,et al.Dot matrix model of remanufacturing evaluation for mechanical equipment parts and its application [J].China Surface Engineering,2018,31(6):143-152.(in Chinese)

[25] WU C C.Towards linear-time incremental structure from motion [C]//3DV-Conference,2013 Intern-ational Conference on IEEE Computer Society,2013.

[26] FLETCHER Y G,GLOTH T,EDELSBRUNNER H,et al.Methods,apparatus and computer program products that reconstruct surfaces from data po-int sets[P].US:US7023432,2006-04-04.

[27] 黃海博,孫文磊,張冠,等.基于NURBS曲面的汽輪機(jī)葉片激光熔覆再制造路徑規(guī)劃[J].中國(guó)表面工程,2018,31(5):175-183.

 

HUANG H B,SUN W L,ZHANG G,et al.Pathtrajectory of laser cladding remanufacturing for turbine blade based on NURBS surface [J].China Surface Engineering,2018,31(5):175-183(in Chinese).