[[442211]]

(映維網(wǎng) 2021年12月27日)為了支持不同的功能，AR/VR系統(tǒng)一般可以搭載不同類型的攝像頭。例如可以通過攝像頭提供的視頻畫面來幫助AR/VR頭顯用戶感知現(xiàn)實世界，從而避免迷失方向和/或安全危險。AR/VR系統(tǒng)可以以多種方式呈現(xiàn)攝像頭捕獲的視圖。然而，通過前置攝像頭圖像來提供真實環(huán)境視圖的過程帶來了眾多挑戰(zhàn)。

由于多種原因，前置攝像頭的排列方式難以一一對應(yīng)雙眼，而這需要系統(tǒng)對齊前置攝像頭的圖像內(nèi)容。通常，為了執(zhí)行對齊過程，系統(tǒng)需要詳細的時間戳信息和姿勢信息。然而，因為不同的攝像頭可能在不同的時域中工作，所以它們具有時間偏移。另外，時間戳數(shù)據(jù)有時根本不可用，因為攝像頭之間可以彼此遠程操作，并且時間戳數(shù)據(jù)不被傳輸。盡管對齊圖像內(nèi)容提供了巨大的好處(特別是在全息圖的放置和生成方面)，但前面所述的問題構(gòu)成了一定的障礙。

在名為“Dual system optical alignment for separated cameras”的專利申請中，微軟介紹了一種用于對齊圖像的方法和系統(tǒng)。

集成式攝像頭和分離式攝像頭操作

現(xiàn)在請注意圖3，圖3包括頭顯305和其所在的環(huán)境300。在這個場景中，頭顯305包括物理集成到頭顯的集成式攝像頭310。集成式攝像頭可以是各種類型的攝像頭，例如可見光攝像頭110、微光攝像頭115、熱成像攝像頭120，甚至UV攝像頭125。在一個示例中，集成攝像頭310經(jīng)由視場(FOV)315掃描環(huán)境300。

圖3同時顯示了分離式攝像頭320的存在或使用。分離式攝像頭是指可以從頭顯305物理卸下分離的攝像頭320。例如，在特定的場景中，可以將分離式攝像頭320捆綁或以其他方式放置在用戶的胸部。在一個場景中，分離式攝像頭320可以不放置在用戶的身體上，而是放置在用戶持有的對象上。作為一個示例，假設(shè)分離式攝像頭320安裝在自拍桿或另一種類型的延長桿上。

圖3同時示出了分離式攝像頭320如何與其自身對應(yīng)的FOV 325相關(guān)聯(lián)。同時，F(xiàn)OV 315的至少一部分與FOV 325重疊，如重疊330所示。重疊330允許實施例能夠生成多個圖像，然后將圖像內(nèi)容從一個圖像覆蓋到另一個圖像上，以便生成合成圖像或具有增強特征的疊加圖像。

應(yīng)當注意，盡管專利主要關(guān)注兩個圖像的使用，但實施例能夠?qū)R來自具有重疊區(qū)域的兩個以上圖像的內(nèi)容。例如，假設(shè)2、3、4、5、6、7、8、9甚至10個圖像具有重疊內(nèi)容。實施例能夠檢查每個圖像，然后將特定部分彼此對齊。然后，所得疊加圖像可以是由可用圖像的任何組合或?qū)R形成的合成圖像。因此，實施例能夠在執(zhí)行操作時能夠利用任意數(shù)量的圖像，并且不限于僅兩個圖像。

假設(shè)集成式攝像頭310為微光攝像頭，進一步假設(shè)分離式攝像頭320為熱成像攝像頭。所述實施例能夠從熱成像攝像頭圖像中選擇性地提取圖像內(nèi)容，并將圖像內(nèi)容覆蓋到由微光攝像頭生成的圖像上。就此而言，熱成像內(nèi)容可用于增強或補充低光圖像內(nèi)容，從而向用戶提供增強的圖像內(nèi)容。

圖4示出了由圖3的集成式攝像頭310生成的結(jié)果圖像。圖像400的陰影是為了將圖像與任何其他圖像區(qū)分開來。陰影不應(yīng)解釋為集成式攝像頭圖像400是任何特定類型的圖像。

通過分析集成式攝像頭圖像400中包括的內(nèi)容，實施例能夠確定頭顯的姿勢405(對應(yīng)圖3中的頭顯305)。例如，通過檢測錨點(例如被識別為相對靜止或不移動的點)，實施例能夠確定頭顯相對于周圍環(huán)境的方向或姿勢405。

另外，可以為集成式攝像頭圖像400確定時間戳410。時間戳410標識生成集成式攝像頭圖像400的時間。當然，時間戳410可以基于任何定時計算，包括例如由原子鐘確定的絕對時間，或者，可選地，包括任何類型的相對時間，例如處理器時鐘周期等等。

來自圖3的集成式攝像頭310生成圖像400，并且集成式攝像頭310以特定刷新率415操作以生成新圖像。所述刷新率415可以設(shè)置為任何值。然而，刷新率415通常至少在30hz和90hz之間。在一些情況下，刷新率415高于90hz，例如可能為120hz或更高。通常，刷新率415約為90hz。

圖4同時示出了由分離式攝像頭320生成的圖像420。在圖4中，分離式攝像頭圖像420被示為在尺寸上小于集成相機圖像400的尺寸，但是所述尺寸差異僅用于說明目的。在一些情況下，分離式攝像頭圖像420的分辨率可能高于集成式攝像頭圖像400的分辨率。在其他情況下，分離式攝像頭圖像420的分辨率可能低于集成式攝像頭圖像400的分辨率。在某些情況下，兩幅圖像的分辨率可能相同。

集成式攝像頭圖像400(例如第一圖像)可以是可見光圖像、微光圖像或熱圖像之一。分離式攝像頭圖像420(例如第二圖像)可以是可見光圖像、微光圖像或熱圖像中的不同圖像，或者甚至可能是與第一圖像相同類型的圖像。

實施例能夠分析分離式攝像頭圖像420中的內(nèi)容，以根據(jù)圖3確定分離式攝像頭320的姿勢425。類似地，可以為分離式攝像頭圖像420確定時間戳430。在一些情況下，時間戳410相對于時間戳430不同，或者反映不同的時間，使得兩個圖像可以具有時間偏移。

分離式攝像頭320可以具有自己的刷新率435。所述刷新率435可以設(shè)置為任何值。然而，刷新率435通常至少在10hz和60hz之間。在一些情況下，刷新率435高于60hz，例如可能為90hz或120hz或甚至更高。通常，刷新率435約為30hz。在一些情況下，刷新率435與刷新率415相同，而在其他情況下，刷新率435與刷新率415不同。當兩個刷新率不同時，兩個攝像頭在不同的時域中工作。

關(guān)于姿勢確定，圖5示出了集成式攝像頭500。圖5同時示出姿勢505，其代表來自圖4的姿勢405。根據(jù)所介紹的原理，姿勢505至少指集成式攝像頭500相對于其環(huán)境的x-y-z位置。

在某些情況下，姿勢505可能包括詳細說明六個自由度的信息。在某些情況下，姿勢505可能包括詳細說明三個自由度515的信息。

可使用內(nèi)置傳感器(如加速度計、陀螺儀和磁強計)確定六自由度510和三自由度515。同時可以使用位置追蹤傳感器來確定六自由度510。

圖像對應(yīng)與對齊

根據(jù)專利原理，實施例能夠?qū)D4所示的集成式攝像頭圖像400與分離式攝像頭圖像420對齊。如圖3中所述，由于兩個攝像頭視場的至少一部分彼此重疊，結(jié)果圖像的至少一部分將包括相應(yīng)的內(nèi)容。所以，可以識別相應(yīng)的內(nèi)容，然后基于相似的相應(yīng)內(nèi)容生成合并、融合或疊加的圖像。通過生成疊加圖像，實施例能夠向用戶提供增強圖像內(nèi)容，圖6示出了可用于對齊來自兩個(或可能多于兩個)不同圖像的圖像內(nèi)容的第一類型對齊600。 

圖6示出了集成式攝像頭圖像605，其代表來自圖4的集成式攝像頭圖像400，以及分離式攝像頭圖像610，其代表來自圖4的分離式攝像頭圖像420。這兩個圖像通常稱為“紋理”圖像。

實施例能夠分析紋理圖像(即執(zhí)行計算機視覺特征檢測)，以嘗試找到任意數(shù)量的特征點。

圖6顯示了集成式攝像頭圖像605中的多個示例特征點，如特征點615A、特征點620A和特征點625A。其他特征點使用變暗的圓進行標識，但未標記。請注意，所述特征點與角、邊或其他脊線相關(guān)，例如毯子和枕頭中的褶皺?？蓪θ魏晤愋偷奶卣鳈z測器進行編程，以識別特征點。在一個情況下，特征檢測器可能是機器學習算法。

可以使用任何數(shù)量的訓練數(shù)據(jù)來訓練機器學習算法以動態(tài)地執(zhí)行所描述的操作。

圖6同時示出了實施例如何能夠分析、檢查或?qū)彶榉蛛x式攝像頭圖像610以識別特征點，如暗圈所示。示例包括但不限于特征點615B、特征點620B和特征點625B。

例如，實施例檢測任意數(shù)量的特征點，然后嘗試識別在集成式攝像頭圖像605中檢測到的特征點，與在圖像605中識別的特征點之間的相關(guān)性。例如，已識別特征點615A與特征點615B鏈接或?qū)?yīng)的對應(yīng)關(guān)系615C。類似地，已經(jīng)識別了對應(yīng)620C，其中特征點620A確定為對應(yīng)于特征點620B。已識別對應(yīng)625C，其中確定特征點625A與特征點625B對齊或?qū)?yīng)。

在一個實施例中，對齊過程600包括識別任意數(shù)量的特征點，然后識別兩個(或更多)不同圖像中的特征點之間的相關(guān)性或?qū)?yīng)關(guān)系。

注意，在所述實現(xiàn)中，實施例避免確定分離式攝像頭圖像610的姿勢或時間戳。相反，實施例依賴于特征匹配以確定是否將來自一個圖像的圖像內(nèi)容疊加到另一個圖像上。

然后，實施例將特征或圖像對應(yīng)630適配到運動模型635，以便將一個圖像疊加到另一個圖像，從而形成增強的疊加圖像。運動模型635可以是任何類型的運動模型。通常，運動模型是一種變換矩陣，其可將模型、已知場景或?qū)ο笸队暗讲煌哪Ｐ?、場景或?qū)ο笊稀?/p>

在一個情況下，運動模型635可能只是一個旋轉(zhuǎn)運動模型。通過旋轉(zhuǎn)模型，實施例能夠移動任意數(shù)量的像素，以便將一個圖像覆蓋到另一個圖像上。例如，一旦識別了圖像對應(yīng)630，實施例就可以識別特征點或?qū)?yīng)的像素坐標。一旦識別出坐標，則實施例可以使用上述旋轉(zhuǎn)運動模型方法將分離式攝像頭圖像610疊加到集成式攝像頭圖像605。

在一個情況下，運動模型635可以更復雜，例如以相似性變換模型的形式。 

圖7示出了可執(zhí)行的另一對齊操作700，對齊操作700是為了對齊來自兩個圖像的內(nèi)容，以便可以疊加內(nèi)容以形成疊加圖像。

集成式攝像頭圖像705包括紋理715。紋理715通常指關(guān)于包括在圖像中的顏色或強度的空間排列的信息。類似地，分離式攝像頭圖像710被示為包括紋理720。

根據(jù)對齊操作700，實施例確定集成式攝像頭圖像705中的紋理715和/或分離式攝像頭圖像710中的紋理720不足以執(zhí)行特征匹配或圖像對應(yīng)匹配。例如，可能在兩幅圖像中的任何一幅中檢測到的特征點數(shù)量不足?；蛘撸赡軝z測到足夠數(shù)量的特征點，但識別出的對應(yīng)關(guān)系數(shù)量不足?；谶@一初始確定，實施例求助于或回退至對齊操作700，并利用由各種慣性測量單元(IMU)確定的預測或估計姿勢。

具體地，生成集成式攝像頭圖像705的集成式攝像頭與第一IMU 725相關(guān)聯(lián)。類似地，生成分離式攝像頭圖像710的分離式攝像頭與第二IMU 730相關(guān)聯(lián)。所述實施例利用IMU 725來確定集成式攝像頭的姿勢和利用IMU 730來確定分離式攝像頭的姿勢。

一旦估計或確定了兩個姿勢，實施例隨后使用這些姿勢將圖像的一個或多個部分彼此對齊。一旦對齊，則將一個圖像的一個或多個部分疊加到另一個圖像的相應(yīng)部分上，以便生成增強的疊加圖像。

相關(guān)專利：Microsoft Patent | Dual system optical alignment for separated cameras

名為“Dual system optical alignment for separated cameras”的微軟專利申請最初在2020年6月提交，并在日前由美國專利商標局公布。