• “工業視覺之眼”:VCSEL散斑投影陣列三維成像

    發布日期:2023-06-15 09:36:10   瀏覽量 :4761
    發布日期:2023-06-15 09:36:10  
    4761

    背景介紹

    三維成像技術作為感知真實三維世界的重要信息獲取手段,為重構物體真實幾何形貌及后續建模、檢測、識別提供了數據基礎。在工業4.0時代下,“分布式”工業機器人與“移動式”服務機器人的蓬勃式發展對三維成像技術的小型化、低成本和可靠性等提出了更高的要求。然而,現有面向移動終端的三維成像技術(散斑結構光與飛行時間法)僅用于人臉識別、室內建模等對成像精度不敏感的領域。條紋結構光技術可實現高精度測量,但其測量效率較低、難以實現動態測量。因此,上述三維成像技術無法滿足在線工業檢測的低功耗、遠距離、高精度、高分辨率和快速三維成像的迫切需求。

    圖1 三維成像技術的不同工業應用場景


    光學三維成像技術分類

    三維成像技術從感知方式上可以分為接觸式測量和非接觸式測量。接觸式測量主要依靠標定的被動機械臂直接接觸物體表面,逐點對物體輪廓數據進行釆集,對其形態信息進行三維測量。這種方法的優點是測量精度高,可達到微米級別,但是其對測量環境的要求較高,無法測量具有復雜形貌、柔性材質的物體。非接觸式測量主要指依靠聲、光與電磁學等方式接觸物體表面以獲取物體三維信息的方法。而其中基于光學的三維測量技術是目前最典型也是應用最廣泛的三維成像技術。如圖2所示,典型的光學三維成像技術主要包括光度立體視覺、雙(多)目立體視覺、飛行時間法(Time of flight, ToF)、激光線掃法、散焦恢復形狀法和結構光投影法等[1]。
    圖2 典型的光學三維成像技術

    針對工業機器人高精度、高分辨率和快速測量應用而言,目前主流的光學三維成像技術是飛行時間法和結構光投影法[2],如表1所示。飛行時間法[3-5]分為直接飛行時間(direct ToF, dToF)和間接飛行時間(indirect ToF, iToF)。dToF具有低功耗、抗干擾性強、高精度、遠距離測量等優勢,但是其對單光子雪崩器件(Single Photon Avalanche Diode, SPAD)的制作工藝、檢測精度有很高要求,導致系統集成困難、分辨率低。iToF采用圖像傳感器接受光信號克服了分辨率低這一缺陷,但是由于不同反射路徑的干擾問題,隨著測量距離的不斷增大將導致相位測量的信噪比顯著降低,深度誤差隨之增大。

    表1 飛行時間法和結構光投影法的性能指標對比

    圖3 飛行時間法的三維成像原理

    結構光投影法分為條紋投影法[6-11]和散斑投影法[12-14]。條紋投影法相關技術已經較為成熟,產品有德國GOM公司的ATOS系列,國內先臨三維的EinScan系列。然而,條紋投影法一般需要投影多組正弦條紋圖案以實現高精度測量,其測量效率較低、難以實現動態三維成像,數字光處理(Digital Light Processing, DLP)投影系統中的核心部件數字微鏡器件(Digital Mirror Device, DMD)被美國TI公司壟斷,相關設備存在成本高昂、系統小型化難度大等問題。散斑投影法極大簡化了結構光投影器件的制作工藝,采用的紅外散斑投射器件分為基于垂直腔面發射激光器(Vertical-Cavity Surface-Emitting Laser, VCSEL)的投影器件和基于邊發射激光器(Edge Emitting Laser, EEL)的投影器件,具有高測量效率、系統小型化等優勢。

    圖4 條紋投影法和散斑投影法的三維成像原理

    目前,影響散斑投影法的關鍵技術分為散斑圖案設計方法與高性能立體匹配算法。散斑圖案設計方法的關鍵思想是如何保證局部散斑相對于整個投影散斑圖案是全局唯一的。然而,由于被測物體表面的復雜反射特性以及雙相機間存在的視角差異,僅投影單幅散斑圖案仍難以保證整個測量空間中每個像素的全局唯一性,在實際測量時存在因誤匹配而導致其測量精度較差問題。


    基于VCSEL投影陣列的散斑結構光三維成像技術原理

    1. 三維結構光傳感器的硬件系統

    團隊所研制的基于VCSEL投影陣列的散斑結構光三維傳感器主要由2個紅外相機模組和3個小型化散斑投影模組構成,如圖5所示。小型化散斑投影模組采用VCSEL投射器作為紅外投影光源,通過在VCSEL頂層的特定位置開孔以形成大量散斑點。由VCSEL發射的紅外光線經過準直透鏡,根據光的折射原理將衍射光束準直并匯聚成平行光束,以形成散斑狀結構光圖案。

    通過引入具有光束復制功能的衍射光學元件(Diffractive optical elements, DOE),定制的DOE表面結構可以衍射出多個與入射圖案相同的子圖案,以實現幾十甚至數百倍的圖案復制效果。小型化散斑投影模組的視場角為58°×45°,焦距為8 mm,可以向被測場景投影總計3萬多個清晰、均勻的散斑點。水平方向上間隔分布的三個散斑投影模組形成散斑投影陣列,向被測場景連續投影三幅不同的散斑圖案,實現對場景深度信息的高效時空編碼。圖片

    圖5 基于VCSEL投影陣列的散斑結構光三維傳感器 (a) 硬件結構示意圖;(b) 實物圖

    2. 三維結構光傳感器的時空散斑相關算法

    團隊所提出的時空散斑相關方法主要包含三個步驟:時空匹配、成本聚合和視差優化,如圖6所示。首先執行一種由粗到精的時空立體匹配算法,在粗匹配階段使用基于ZNCC的局部時空匹配算法,獲得被測場景的一個可靠但平滑的初始視差先驗。在精匹配階段,將基于歸一化互信息的單像素匹配方法與時域匹配相結合,有效緩解因局部匹配而引起的視差平滑問題,同時提升匹配精度。然后將引導濾波應用于基于三幀散斑圖的時空成本聚合[15],使用融合拋物線與線性的加權插值函數實現亞像素視差優化。

    圖6 一種由粗到精的時空散斑相關算法的示意圖,包含三個步驟:時空匹配、成本聚合和視差優化


    實驗結果與分析

    1. 三維模型掃描重構實驗

    為了驗證團隊所研制的三維結構光傳感器對復雜物體的測量性能,掃描了兩個具有不同復雜形貌的物體——人頭模型和大衛模型,測量距離為65 cm。此外,選用了市面上兩款常見的散斑投影三維傳感器(Astra Pro設備和RealSense D455設備)作為對比實驗,對應的三維測量結果如圖7所示??梢园l現,Astra Pro設備提供的測量數據出現了明顯的深度階梯狀分層現象,存在嚴重的數據缺失問題。由于嚴重的點云平滑問題,RealSense設備的數據表面起伏較大,無法分辨人頭模型和大衛模型的五官輪廓,其重構結果略差于Astra Pro設備。而本文所研制的設備可以較高質量地重建出完整的五官輪廓,在細節處有著更好表現,提供了高精度、高完整度的三維重構結果。

    圖7 人頭模型和大衛模型的三維重構結果 (a)-(b) 不同三維傳感器的測量結果,包括Astra Pro設備、RealSense D455設備和基于VCSEL投影陣列的散斑結構光三維傳感器

    2. 小目標金屬零件的遠距離測量實驗

    為了驗證三維結構光傳感器在工業智能制造場景下的應用潛力,開展小目標金屬零件的遠距離測量實驗,以滿足零件分揀的應用需求。圖8提供了1 m距離處以不同姿態堆疊放置的金屬螺絲釘(直徑約為3-7 mm)的散斑圖與測量結果。由于小目標金屬零件占據的像素區域較少,因此設置的局部匹配窗口應盡可能小,但是小匹配窗口將降低匹配的準確率,產生更多的誤匹配,這對于散斑結構光三維傳感器十分具有挑戰性。從圖8 (d)-(f)可以看出,本文所研制的設備成功地重構出金屬零件末端部位的精準細節,且對三種不同姿態均提供了完整的零件三維輪廓,這證明本文方法對工業檢測應用提供了良好的數據支撐。

    圖8 小目標金屬零件的遠距離測量實驗 (a)-(c) 為不同姿態堆疊放置的金屬螺絲釘的散斑圖;(d)-(f) 為與(a)-(c)對應的三維點云結果
    圖9 小目標金屬零件的點云結果

    3. 復雜場景測量實驗

    對于三維測量系統而言,測量具有復雜結構或不連續空間分布的遠距離場景是一項挑戰性任務。為此,構建了一個大空間范圍的復雜場景,使用各種形狀不同、大小不一的物體,有表面平滑連續的物體,也有復雜紋理特征的物體,待測場景的三維空間為0.7m×0.6m×1m(寬度×高度×深度)。如圖10所示,實驗結果證明所研制的三維結構光傳感器實現了魯棒、高精度的復雜場景重構。

    圖10 復雜場景的三維測量結果圖


    總結

    綜上所述,本文提出了一種基于VCSEL投影陣列的散斑結構光三維成像技術及其傳感器設計方法,通過使用3個小型化散斑投影模組形成散斑投影陣列,向被測場景連續投影三幅空間位置不同的散斑圖案,實現了對場景深度信息的高效時空編碼。同時,提出了一種由粗到精的時空散斑相關算法,成功恢復了復雜目標表面的精細輪廓。三維模型掃描重構實驗、小目標金屬零件的遠距離測量實驗和復雜場景測量實驗共同證明,所研制的三維結構光傳感器實現了遠距離、大視場、高精度三維測量,有望在零件分揀、工件裝配和焊接加工等工業場景得以廣泛應用。

    VCSEL
    三維成像
    結構光
    添加微信
    免責聲明:本站部分資訊、圖片來源于網絡,如有侵權請及時聯系客服,我們將盡快處理! Copyright?2023 版權所有:深圳易創電子科技有限公司 粵ICP備17033356號
    深圳易創電子科技有限公司
    電話:
    郵箱:
    地址:
    13823548356
    深圳市羅湖區蓮塘街道鵬基工業區711棟
    国产在线无码制服丝袜无码|精品人妻无码一区|一级做α爰片久久毛片|无码精品A∨在线观看无广告|亚洲人成电影亚洲人成9999网