導(dǎo)讀:利用雷達系統(tǒng)來幫助確定頭顯方位,以允許渲染對象相對于真實世界保持與靜止的位置。
即便用戶移動頭部,增強現(xiàn)實設(shè)備都能夠允許渲染對象相對于真實世界保持于靜止的位置。例如,如果用戶將向右旋轉(zhuǎn)頭部,則渲染對象必須與真實世界對象一起在用戶視圖中向左旋轉(zhuǎn)。對于這一點,系統(tǒng)需要確定頭顯方位,亦即需要確定穿戴頭顯的頭部的定位。增強現(xiàn)實設(shè)備的運動可以通過諸如慣性測量單元(IMU)等測量組件進行追蹤,以便系統(tǒng)調(diào)整渲染對象的位置。
美國專利商標(biāo)局日前公布了Magic Leap一份于2019年5月提交的專利申請。具體來說,名為”Radar head pose localization“主要描述了一種利用雷達確定頭部定位的技術(shù)。
在一個實施例中,專利描述的頭戴式設(shè)備包括框架、雷達系統(tǒng)、測量單元、測量單元濾波器、傳感器融合模塊、渲染模塊、目鏡和投影儀。
如圖一所示,增強現(xiàn)實設(shè)備是#10和用戶頭部為#12。增強現(xiàn)實設(shè)備#10可以包括框架#14、雷達系統(tǒng)#16、測量單元#18、第一目鏡#20和第二目鏡#22、第一投影儀#24和第二投影儀#26,以及前置攝像頭#28。
其中,雷達系統(tǒng)至少包括第一雷達組件。第一雷達組件具有固定在框架,并且于第一時間和第二時間在快域發(fā)射無線電波時的第一雷達發(fā)射器,以及固定框架并在無線電波從表面反射后檢測無線電波的第一雷達接收器。
雷達系統(tǒng)同時包括雷達追蹤模塊。雷達追蹤模塊接到第一雷達接收器,其分別在無線電波的發(fā)射和檢測之間,于快域確定第一時間間隔和第二時間間隔。
雷達系統(tǒng)同時包括雷達映射模塊。雷達映射模塊接到雷達追蹤模塊,并且至少基于快域中的相應(yīng)時間來生成相對于真實世界對象位置的第一和第二雷達映射。
雷達系統(tǒng)同時包括圖像處理模塊。圖像處理模塊接到雷達映射模塊,并分別基于第一雷達映射和第二雷達映射中的真實世界對象位置來計算第一雷達fingerprint和第二組雷達fingerprint。
一般來說,系統(tǒng)發(fā)出一個或多個TX信號,然后一個或多個對象反射回信號(RX)??梢允褂靡粋€或多個操作將接收信號轉(zhuǎn)換為距離多普勒圖,包括轉(zhuǎn)換為慢時間/快時間圖、加窗傅里葉快速變換(FFT)和背景減法。
圖5說明了無線電波朝增強現(xiàn)實設(shè)備#10的前方、左側(cè)和上方的發(fā)射和接收。每個TX信道可以發(fā)射表示各個TX信號的各個無線電波#110A,并且每個RX信道可以接收表示各個RX信號的各個無線電波#112A。所以,增強現(xiàn)實設(shè)備#10可以在左側(cè)和右側(cè),以及上方天花板檢測表面。
除了雷達系統(tǒng)外,頭戴式設(shè)備另外包括框架、測量單元、測量單元濾波器、傳感器融合模塊、渲染模塊、目鏡和投影儀。
其中,測量單元可以固定到框架,并可以于第一時間和第二時間在慢域檢測第一測量值和第二測量值,而每個測量值都指示測量單元的位置和移動。測量單元濾波器接到測量單元。
傳感器融合模塊可以接到圖像處理模塊,并且可以用于:(i)確定第一姿態(tài)和第二姿態(tài)估計,第一姿態(tài)估計基于相對于第一測量值的第一組雷達fingerprint,第二姿態(tài)估計基于相對于第二測量值的第二組雷達fingerprint;(ii)通過比較第一姿態(tài)估計和第二姿態(tài)估計來確定測量單元的漂移;以及(iii)調(diào)整測量單元濾波器以校正漂移。
渲染模塊可以基于第二姿態(tài)確定渲染對象的期望位置。目鏡可以固定在框架。投影儀可以固定在框架,并且可以將數(shù)據(jù)轉(zhuǎn)換為光來生成渲染對象,然后通過目鏡將渲染對象顯示在所需位置。
通過上面描述的多組件協(xié)作,頭戴式系統(tǒng)可以確定頭顯方位,并允許渲染對象相對于真實世界保持于靜止的位置。
相關(guān)專利:
Magic Leap Patent | Radar head pose localization
https://patent.nweon.com/18844
名為”Radar head pose localization“的Magic Leap專利申請最初在2019年5月提交,并在日前由美國專利商標(biāo)局公布。