Part 01 眼動(dòng)追蹤的歷史發(fā)展 

眼動(dòng)追蹤技術(shù)經(jīng)歷了從直接觀察到侵入式再到非侵入式的發(fā)展過程。早期的眼動(dòng)追蹤技術(shù)主要應(yīng)用于心理學(xué)領(lǐng)域，常用直接觀察法粗略地描述眼動(dòng)。侵入式眼動(dòng)追蹤法，如機(jī)械記錄法、探查線圈記錄法等需要測(cè)量裝置與眼部直接接觸。機(jī)械記錄法直接將橡膠吸盤吸附在眼球表面來記錄眼動(dòng)數(shù)據(jù)，十分容易造成眼部不適。探查線圈記錄法則需將感應(yīng)線圈嵌入眼睛中，通過線圈在電磁場(chǎng)中運(yùn)動(dòng)產(chǎn)生的電磁信號(hào)來記錄眼動(dòng)軌跡，此方法對(duì)眼睛有一定的傷害，無法長(zhǎng)時(shí)間佩戴。

20世紀(jì)以來，攝像技術(shù)、紅外技術(shù)與計(jì)算機(jī)技術(shù)的發(fā)展推動(dòng)了非侵入式眼動(dòng)追蹤技術(shù)的研發(fā)。非侵入式眼動(dòng)追蹤方法包括紅外線法、視頻記錄法等。紅外線法，如鞏膜-虹膜邊緣法，利用紅外光照射人眼，并在眼部周圍安裝紅外光敏管來接收鞏膜和虹膜邊緣處反射的紅外光。通過眼球轉(zhuǎn)動(dòng)時(shí)鞏膜和虹膜反射的不同紅外光線無接觸地測(cè)出眼動(dòng)。視頻記錄法主要利用攝像機(jī)記錄眼動(dòng)過程，通過計(jì)算機(jī)自動(dòng)分析處理視頻圖像獲取眼動(dòng)數(shù)據(jù)。攝像機(jī)采集眼部圖像或眼球反射的紅外線圖像，通過預(yù)設(shè)的模型進(jìn)行圖像數(shù)據(jù)與實(shí)際注視點(diǎn)的映射，實(shí)現(xiàn)非侵入式的瞳孔檢測(cè)和注視點(diǎn)估計(jì)。

Part 02 眼動(dòng)追蹤的技術(shù)現(xiàn)狀

隨著數(shù)字影像設(shè)備、計(jì)算機(jī)視覺、圖像處理、機(jī)器學(xué)習(xí)的快速發(fā)展，現(xiàn)代的眼動(dòng)追蹤方法大多采用圖像采集設(shè)備記錄眼動(dòng)的視頻，然后利用圖像處理技術(shù)提取與眼動(dòng)相關(guān)的特征，通過建立模型實(shí)現(xiàn)眼動(dòng)追蹤。目前常用的方法有基于二維映射的眼動(dòng)追蹤方法和基于外觀的眼動(dòng)追蹤方法等。

基于二維映射的眼動(dòng)追蹤方法通過構(gòu)建實(shí)際注視點(diǎn)與檢測(cè)的二維視線參數(shù)的映射模型來實(shí)現(xiàn)眼動(dòng)追蹤。瞳孔-角膜反射向量法是目前主流的基于二維映射方法之一，其基本原理是當(dāng)紅外光源照射眼部時(shí)角膜會(huì)產(chǎn)生明顯的反射，若紅外光源和圖像采集設(shè)備固定，當(dāng)眼球轉(zhuǎn)動(dòng)時(shí)瞳孔位置會(huì)發(fā)生改變，而角膜反射光斑的位置不會(huì)變化，因此可將其作為瞳孔運(yùn)動(dòng)的參照點(diǎn)，根據(jù)瞳孔中心與角膜反射點(diǎn)的相對(duì)位置變化來估計(jì)眼球的運(yùn)動(dòng)。如圖1 所示，首先在校準(zhǔn)環(huán)節(jié)根據(jù)已知注視點(diǎn)與瞳孔-角膜反射向量構(gòu)建瞳孔中心與角膜反射向量的映射函數(shù)。校準(zhǔn)時(shí)受試者需觀察屏幕上特定位置出現(xiàn)的點(diǎn)，校準(zhǔn)點(diǎn)通常為1點(diǎn)、3點(diǎn)、5點(diǎn)、9點(diǎn)及13點(diǎn)，利用角膜、瞳孔與反射光斑的信息來分析實(shí)際注視點(diǎn)與瞳孔-角膜反射向量之間的關(guān)系，目前主要采用多項(xiàng)式擬合、支持向量回歸、神經(jīng)網(wǎng)絡(luò)等方法。然后用攝像機(jī)采集眼部圖像，經(jīng)過圖像處理后識(shí)別瞳孔中心與紅外光源在角膜的反射點(diǎn)，構(gòu)建瞳孔-角膜反射向量。最后將瞳孔-角膜反射向量作為輸入，通過預(yù)設(shè)好的映射函數(shù)計(jì)算出實(shí)際注視點(diǎn)。

圖片

圖1 瞳孔-角膜反射向量法示意圖

基于外觀的眼動(dòng)追蹤方法通常以人臉圖像或眼部圖像為輸入進(jìn)行高維特征提取，然后通過機(jī)器學(xué)習(xí)方法學(xué)習(xí)高維特征與低維視線之間的映射函數(shù)。該方法設(shè)備簡(jiǎn)單，但需要大量的訓(xùn)練數(shù)據(jù)來學(xué)習(xí)映射函數(shù)。早期主要采用KNN、支持向量機(jī)、隨機(jī)森林等方法進(jìn)行訓(xùn)練。隨著大量開源數(shù)據(jù)集的收集和公開，以卷積神

經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)模型也被大量地應(yīng)用到基于外觀的眼動(dòng)追蹤方法中。訓(xùn)練完成后的模型，以眼部圖像作為輸入即可獲取實(shí)際注視點(diǎn)的位置。

Part 03 眼動(dòng)追蹤與VR 

眼動(dòng)追蹤能夠幫助用戶獲取物體位置并得到觀察事物深度的特點(diǎn)，使其在虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)領(lǐng)域能為用戶提供更好的交互體驗(yàn)和沉浸感。眼動(dòng)追蹤在VR領(lǐng)域主要有注視點(diǎn)渲染、眼控交互、虛擬社交、身份識(shí)別以及眼動(dòng)數(shù)據(jù)分析五大應(yīng)用。

(1)注視點(diǎn)渲染：基于人眼的視覺生理特征，對(duì)用戶注視的中央凹視野區(qū)域進(jìn)行高清渲染，邊緣視野則使用低分辨率渲染。從而降低渲染帶來的畫面延遲，提升渲染幀率，降低GPU壓力，減輕用戶的眩暈感，顯著提升用戶的沉浸式操控體驗(yàn)。

(2)眼控交互：作為輔助交互的一種新形態(tài)，幫助用戶通過眼睛就可以與VR場(chǎng)景中的元素進(jìn)行交互，實(shí)現(xiàn)選擇、瞄準(zhǔn)、注意力反饋等交互內(nèi)容，進(jìn)而在VR場(chǎng)景中建立眼動(dòng)、手柄、手勢(shì)、語(yǔ)音等多模態(tài)的自然交互系統(tǒng)。

(3)虛擬社交：在VR環(huán)境中，通過虛擬人物(Avatar)實(shí)時(shí)重現(xiàn)人眼的各種動(dòng)作狀態(tài)，如視線方向、眨眼、瞇眼等。在VR社交、VR會(huì)議等VR應(yīng)用中使用，可以豐富虛擬人物的情感表達(dá)，帶來更加貼近真實(shí)的虛擬社交體驗(yàn)。

(4)身份識(shí)別：在賬號(hào)快捷登錄、虛擬超市支付等有身份驗(yàn)證需求的場(chǎng)景中，針對(duì)用戶佩戴VR頭顯時(shí)人臉識(shí)別不可用的特殊性，通過眼球追蹤技術(shù)進(jìn)行身份識(shí)別和注冊(cè)，綁定用戶的賬戶信息，提升VR使用的安全性與便捷性。

(5)眼動(dòng)數(shù)據(jù)分析：收集用戶的眼動(dòng)數(shù)據(jù)，通過注視時(shí)長(zhǎng)、注視次數(shù)等分析其注意力分布情況，結(jié)合心理分析，可用于用戶體驗(yàn)分析、市場(chǎng)營(yíng)銷分析、教育培訓(xùn)、心理康復(fù)、視覺訓(xùn)練、軍事訓(xùn)練等眾多領(lǐng)域。

Part 04 眼動(dòng)追蹤發(fā)展方向 

實(shí)際應(yīng)用場(chǎng)景中，基于外觀的注視點(diǎn)估計(jì)方法需要大量的訓(xùn)練數(shù)據(jù)使得深度模型算法穩(wěn)定性更強(qiáng)，但眼動(dòng)數(shù)據(jù)的采集標(biāo)注通常會(huì)耗時(shí)費(fèi)力，因此研究小樣本情況下的新型學(xué)習(xí)理論與方法，如元學(xué)習(xí)、遷移學(xué)習(xí)、數(shù)據(jù)對(duì)抗生成等方法具有重要的研究意義。其次，以往VR眼鏡常用的菲涅爾光學(xué)方案的空間較大，因此眼動(dòng)追蹤模塊的光學(xué)設(shè)計(jì)空間充裕，但隨著PANCAKE光學(xué)方案的應(yīng)用，光路設(shè)計(jì)的空間被極度壓縮，原先的眼動(dòng)追蹤光學(xué)方案無法實(shí)現(xiàn)。因此將眼動(dòng)追蹤的光路設(shè)計(jì)和空間需求壓縮到很小的空間內(nèi)是亟待解決的問題，在空間有限的情況下實(shí)現(xiàn)眼動(dòng)的圖像獲取，應(yīng)用到PANCAKE VR一體機(jī)中。