來源：映維網(wǎng)  作者 劉源

從最早的硬件原型到最新的Gemini（雙子座）追蹤平臺，Ultraleap的手部追蹤硬件和軟件已經(jīng)取得了長足的進步。本文將介紹相關的原始傳感器數(shù)據(jù)是轉換成能夠用于應用程序的有用信息。

1. 手部追蹤硬件

從硬件的角度來看，手部追蹤的原理相對簡單。設備的核心是兩個攝像頭和一定數(shù)量的紅外發(fā)光LED。它們追蹤波長為850納米的紅外光，亦即可見光光譜之外。LED的脈沖與攝像頭的幀速率同步，從而能夠大大降低功耗并提高強度。

Ultraleap的手部追蹤模塊Leap Motion Controller和Stereo IR 170 Camera模塊遵循這一原則，采用高通XR2參考設計的VR/AR頭顯同樣如是。

Ultraleap手部追蹤范圍

廣角鏡頭用來創(chuàng)造一個大交互區(qū)域，并允許設備在所述范圍內(nèi)追蹤用戶雙手。Leap Motion Controller提供一個從10mm-60mm或更大的交互區(qū)域，常規(guī)視場140度x120度。Stereo IR 170 Camera模塊支持更大的交互區(qū)域，從10cm-75cm或更大，常規(guī)視場則達到170度x170度（最小160度x160度）。

Leap Motion Controller采用倒金字塔形態(tài)，Stereo IR 170則選擇倒錐體形狀。這是由雙目攝像頭的視場相交而產(chǎn)生。

這個范圍受LED光在空間中的傳播限制，因為超出距離后，在3D中推斷雙手位置會變得更加困難。LED的光強度最終受到USB鏈接的最大接收電流所限制。

手部追蹤設備的USB控件將傳感器數(shù)據(jù)讀入自己的本地存儲器，并執(zhí)行任何必要的分辨率調整。相關數(shù)據(jù)然后通過USB傳輸?shù)経ltraleap的手部追蹤軟件。

所述數(shù)據(jù)以近紅外光譜的灰度立體圖像呈現(xiàn)，涵蓋左右兩個攝像頭。通常，你能看到的只有被設備LED直接照亮的對象。然而，白熾燈泡、鹵鎢燈和日光同樣會以紅外線照亮場景。另外，你可能會注意到，即便在可見光譜中為黑色，諸如棉布襯衫看起來都可能為白色。

2. 手部追蹤軟件

一旦圖像數(shù)據(jù)流式傳輸?shù)絇C，系統(tǒng)將執(zhí)行繁重的數(shù)學運算。盡管普遍存在誤解，但Ultraleap的手部追蹤平臺并不生成深度圖，而是將高級算法應用于原始傳感器數(shù)據(jù)。

Leap Motion Service是用于處理圖像的PC軟件。在補償背景對象（如頭部）和環(huán)境光照后，所述工具將對圖像進行分析并重建設備“所見的”三維表示。

接下來，追蹤層匹配數(shù)據(jù)并提取諸如手指之類的追蹤信息。Ultraleap的手部追蹤算法解析三維數(shù)據(jù)，并推斷被遮擋對象的位置。軟件同時會采用濾波技術以保證數(shù)據(jù)的平滑時間一致性。然后，Leap Motion Service將結果（以一系列幀或快照表示，并且包含所有追蹤數(shù)據(jù)）輸入傳輸協(xié)議。

通過所述協(xié)議，Leap Motion Service通過TCP或WebSocket與Leap Motion Panel，以及本機和web客戶端庫進行通信?？蛻魴C庫將數(shù)據(jù)組織成面向對象的API結構，管理幀歷史，并提供幫助函數(shù)和類。然后，應用程序邏輯將結合Leap Motion輸入，并允許基于運動控制的交互體驗。

原文鏈接：https://yivian.com/news/79650.html