技術蘋果

蘋果宣布獲得首個工業增強現實攝像頭系統專利

蓋世汽車劉麗婷 2021-03-16 15:43

蓋世汽車訊據外媒報道，日前，美國專利商標局（U.S. Patent and Trademark Office）授予蘋果公司一項新專利：工業增強現實攝像頭系統（industrial Augmented Reality camera system）。該系統與在真實環境中將數字信息投影到真實物體上的方法和系統有關。

（圖片來源：patentlyapple.com）

蘋果公司在該專利的背景中指出，增強現實（AR）系統可通過計算機生成的數字信息直接、直觀地增強真實環境。例如，這種數字信息是能夠增強真實環境中視覺印象的虛擬信息。典型應用有基于投影儀的AR、投影AR或空間AR。

數字信息可以是任何類型的可視數據，如真實物體、文本、圖形、視頻或上述物體的組合。通過使用投影儀將計算機生成的數字信息投射至全部或部分真實環境中的真實物體表面，就可以直接增強真實環境。投影AR具有許多應用場景，例如架構設計的原型、汽車制造、新穎計算機用戶界面開發所需的普適計算以及信息顯示。但蘋果公司尚未宣布是否將在泰坦項目中使用該發明。在工業領域，投影AR也被稱為“投影或空間增強現實”。

為了實現投影式視覺數字信息與在真實環境中增強的真實物體對齊，就必須了解真實物體與投影儀之間的空間變換。為此，系統需要經常執行校準程序，從而評估基于2D-2D、2D-3D或3D-3D對應關系的空間轉換，這對于構建投影AR系統來說非常具有挑戰性。而這樣的校準過程通常需要使用攝像頭。

為計算投影儀和真實物體間的空間變換，業界已經提出并開發出許多校準方法。其中一種方法是通過使用攝像頭和投影儀在汽車儀表盤上顯示視覺數據。為實現一次校準，攝像頭和投影儀應該連接牢固。攝像頭獲得的視覺數據經過處理，可大概判斷投影儀汽車的外部特征（如相對空間位置和方向）。

攝像頭還可檢測出汽車上的標記，從而評估攝像頭和汽車之間的空間變換，確定投影儀和汽車之間的空間變換。但該方法的問題在于必須預先測量標記相對于汽車坐標系的位置和方向。而商用投影AR系統Extend3D，可基于與投影儀牢固連接的攝像頭傳感器追蹤一組數據標記。

真實環境中在真實物體上投影數字信息系統

蘋果公司的此次發明提供了一套在真實環境中將數字信息投影在真實物體上的系統。該系統包括：可見光投影儀，可適用于在真實環境中將數字信息投影在真實物體或其部分上；攝像頭，可使用投影數字信息捕獲至少一個真實物體的圖像；深度傳感器，內置于攝像頭中，可捕獲真真實物體或其部分的深度數據；處理部件，可用于基于一個以上圖像和深度數據計算可見光投影儀和真實物體間的空間轉換。

根據特定安裝方式，在優選實施例中，該方法包含基于已知真實物體的3D模型評估RGB-D攝像頭系統和真實物體間的空間變換，計算投影儀的固有參數和投影儀和真實物體間的空間轉換（基于使用投影儀在真實物體或其部分的一個或多個表面上投影一個或多個視覺圖像），以及使用RGB-D攝像頭捕獲投影視覺圖案的深度圖。

下圖1A展示了根據本發明一個方面的示例性系統設置，其中，RGB-D攝像頭系統與可見光投影儀連接不貼合；圖3展示了根據本發明實例的方法流程圖。