近眼顯示光學(xué)專家卡爾·古塔格（Karl Guttag）早前體驗(yàn)了AR眼鏡廠商EyeWay Vision的產(chǎn)品，并撰文對(duì)其注視點(diǎn)激光掃描顯示器進(jìn)行了分析，包括優(yōu)點(diǎn)、缺點(diǎn)和挑戰(zhàn)。下面是映維網(wǎng)的第一部分整理：

1. 介紹

我早前曾前往圣何塞參觀體驗(yàn)EyeWay Vision的產(chǎn)品。這家公司制定了一個(gè)雄心勃勃的計(jì)劃來嘗試解決AR中的一系列重要問題。團(tuán)隊(duì)正在開發(fā)一種基于雙激光束掃描（Laser Beam Scanning，LBS）的直接視網(wǎng)膜投影注視點(diǎn)顯示器。根據(jù)論文和專利，蘋果、Facebook和微軟都在LBS注視點(diǎn)顯示器方面投入了大量精力。

EyeWay的原型系統(tǒng)

我事先已經(jīng)知道原型相當(dāng)巨大且功能有限，因?yàn)閹讉€(gè)關(guān)鍵方面依然在開發(fā)之中。最重要的是，目前原型屬于將“固定注視點(diǎn)”和眼動(dòng)追蹤整合在一起的過程中。EyeWay有一個(gè)單獨(dú)的眼動(dòng)追蹤演示，并計(jì)劃在今年下半年將視網(wǎng)膜追蹤與注視點(diǎn)圖像運(yùn)動(dòng)相結(jié)合。

就在我出發(fā)前不久，我詢問EyeWay是否可以拍照，團(tuán)隊(duì)表示我可以（這給我留下了深刻的印象）。最后，由于機(jī)械限制需要從原型中移除一個(gè)零件，所以我無法拍出最好的照片。EyeWay提出用原型重新拍攝照片，然后寄給我未經(jīng)修改的照片。我本人可以確認(rèn)所述照片與我親眼所見，以及我用自家相機(jī)拍到的一致。

原型的目的是展示相關(guān)技術(shù)方法的潛力。這有點(diǎn)像是研發(fā)項(xiàng)目的幕后一睹。和之前所有的文章一樣，大多數(shù)圖片都可以點(diǎn)擊查看更大、更高分辨率的版本。

2. EyeWay與Hololens 2的快速比較

我首先想指出的是，根據(jù)定義，注視點(diǎn)顯示器通過將“注視點(diǎn)顯示器”移動(dòng)到眼睛中心凹在任何時(shí)刻瞄準(zhǔn)的任何位置，以這種方法來欺騙眼睛看到高分辨率圖像。當(dāng)你拍攝注視點(diǎn)顯示器的照片時(shí)，相機(jī)會(huì)捕獲單個(gè)高分辨率注視點(diǎn)圖像、過渡/混合區(qū)域、以及低分辨率外圍圖像。

我同時(shí)想說的是，我親眼看到過一系列不同的LBS生成圖像，包括前置投影儀和近眼頭顯。對(duì)于LBS生成圖像，注視點(diǎn)圖像的圖像質(zhì)量令人印象深刻，并且比大多數(shù)AR應(yīng)用程序所需的圖像質(zhì)量要好。

下面是EyeWay原型和HoloLens 2以相同比例拍攝的相同畫面的照片。在這兩種情況下，左眼都在注視點(diǎn)區(qū)域中央。

可以看到，不僅是EyeWay的注視點(diǎn)區(qū)域圖像在各方面都要優(yōu)于Hololens 2，甚至EyeWay的外圍圖像看起來都更好。請(qǐng)注意，你在Hololens 2圖像中可以看到掃描線，而EyeWay原型的兩個(gè)區(qū)域都不可見。

我將在以后的文章中討論EyeWay的圖像質(zhì)量，但我想讓你快速體驗(yàn)一下。

3. 有趣的演示內(nèi)容

在深入探討技術(shù)要點(diǎn)之前，我想首先評(píng)論EyeWay的演示內(nèi)容。由于激光的掃描過程，用靜止相機(jī)或攝像機(jī)無法很好地捕捉到實(shí)時(shí)飛龍的動(dòng)畫。即使注視點(diǎn)顯示器目前為固定，你都可以移動(dòng)顯示器來查看任何選擇區(qū)域的細(xì)節(jié)。

遺憾的是，這是你必須親眼感受的演示內(nèi)容之一。

我同時(shí)希望指出的是，EyeWay的部分演示內(nèi)容展示了看出窗外的圖像，以證明在需要時(shí)顯示器可以非常明亮。

4. 追逐“圣杯”

EyeWay嘗試解決AR中眾多不同但相互關(guān)聯(lián)的問題。可以說，他們正在追逐一個(gè)能夠同時(shí)解決AR大部分已知問題的圣杯。

高分辨率和寬視場(chǎng)（FOV）

非常亮（支持超過10000尼特）以支持室外使用，非常暗（約1尼特）以支持夜間使用

只投射到視網(wǎng)膜而不是眼睛周圍（效率和形象問題）

高度精確地追蹤視網(wǎng)膜而不僅僅是角膜

高效，同時(shí)支持大眼球運(yùn)動(dòng)

低功耗同時(shí)支持高亮度

解決視覺輻輳調(diào)節(jié)沖突（VAC）

小而輕，同時(shí)支持以上所有要點(diǎn)

EyeWay目前離目標(biāo)依然有很長(zhǎng)的路要走，但正在用有趣的技術(shù)來解決一些重要的問題。團(tuán)隊(duì)使用激光掃描的顯示方法迫使他們解決可能是最困難的問題：即在一個(gè)可用的顯示器中實(shí)現(xiàn)精確的眼動(dòng)追蹤。

5. 注視點(diǎn)顯示器背景

簡(jiǎn)單地說，不同于相機(jī)，人類視覺的工作原理不是用大小/分辨率都相同的像素陣列來拍攝一張快照。

眼睛只有一個(gè)非常小的區(qū)域具有高密度的錐體細(xì)胞以支持高分辨率和辨別顏色。下面的圖表顯示了視網(wǎng)膜的中心區(qū)域（左），視錐細(xì)胞在眼睛中的物理分布（中），以及相對(duì)視敏度（右）與中央凹中心的夾角。視力最高的中央凹僅占眼底3度左右。如視力表所示，人類的視力從中央凹的中心急劇下降。

眼睛不斷地以一系列名為“掃視”的跳躍式運(yùn)動(dòng)進(jìn)行移動(dòng)。人類的視覺系統(tǒng)在掃視之間掩蔽，我們將這一過程稱作掃視掩蔽（Saccadic Masking）（這里是一個(gè)關(guān)于掃視掩蔽的3分鐘視頻）。然后，人類視覺系統(tǒng)通過在每次掃視時(shí)以不同的分辨率將一系列“快照”拼接在一起，從而建立起人們所看到的畫面。這是一個(gè)非常復(fù)雜的過程，大多數(shù)時(shí)候無法察覺。

真正的注視點(diǎn)顯示器具有一個(gè)高角度分辨率的“注視點(diǎn)投影儀”，它可以移動(dòng)/追蹤眼睛的掃視。注視點(diǎn)投影儀總是以中心凹為中心呈現(xiàn)高分辨率圖像，但中心凹非常小。然后它同時(shí)具有至少一個(gè)“外圍投影儀”，外圍投影儀視場(chǎng)更寬，但角度分辨率較低。如果實(shí)現(xiàn)正確，人眼應(yīng)該能感知到一個(gè)單一的、非常高分辨率的顯示畫面。

6. 雙激光束掃描（LBS）直接視網(wǎng)膜投影

EyeWay有兩個(gè)LBS投影儀，每個(gè)投影儀具有名義相同的SVGA（800×600像素）分辨率。但當(dāng)它們都投射到視網(wǎng)膜上時(shí)，注視點(diǎn)投影儀不僅以高分辨率覆蓋了小小的中心凹區(qū)域，而且它支持可變焦。

7. EyeWay的注視點(diǎn)投影儀不是“麥克斯韋式”，與其他LBS投影儀不同

經(jīng)典的激光束掃描投影儀屬于“無焦點(diǎn)”，不需要光學(xué)元件就能看到圖像。不需要光學(xué)聚焦的投影儀被稱為“麥克斯韋顯示器”。為了更好地討論麥克斯韋顯示器，我建議你下載《Accommodation-Free Head Mounted Display with Comfortable 3D Perception and an Enlarged Eye-box》這篇研究文章。盡管麥克斯韋顯示器通常與激光束掃描有關(guān)，但正如論文指出，其他形式的顯示器同樣可以是麥克斯韋顯示器（見下圖）。

應(yīng)該注意到，盡管HoloLens 2使用LBS投影儀，但當(dāng)它通過波導(dǎo)的光瞳擴(kuò)展時(shí)，它就不再是麥克斯韋（包括無焦點(diǎn)）。

麥克斯韋顯示器無焦點(diǎn)，高度準(zhǔn)直，如果光束遇到任何障礙，它會(huì)投射非常銳利的陰影。

幾乎所有30歲的人都存在“飛蚊癥”（懸浮在玻璃體中的無害物質(zhì)）。除非有人能夠眼睛發(fā)光，否則它們大多不會(huì)被注意到。遺憾的是，當(dāng)麥克斯韋投影儀射入眼睛時(shí)，這種漂浮物會(huì)變得非常明顯。我在其他直接視網(wǎng)膜激光掃描顯示器看到過這個(gè)問題，包括QD Laser的RETISSA、North Focus、以及Bosch在CES 2020大會(huì)展示的激光AR眼鏡（見下圖）。

盡管EyeWay的外圍顯示器屬于麥克斯韋，而且當(dāng)我從中心看向別處時(shí)，我可以看到眼睛的漂浮物，但注視點(diǎn)顯示不是麥克斯韋。我在注視點(diǎn)圖像中看不到任何漂浮物。

注視點(diǎn)圖像沒有漂浮物證明EyeWay的方法與其他激光掃描投影儀非常不同。

另外，EyeWay可以控制注視點(diǎn)投射器的視焦點(diǎn)，以緩解視覺輻輳調(diào)節(jié)沖突。

8. 視窗（Eye Box）比瞳孔小

麥克斯韋近眼顯示器的傳統(tǒng)的問題是（特別是視網(wǎng)膜激光掃描），投影圖像要么進(jìn)入瞳孔，要么完全丟失。所有其他顯示類型都通過生成一個(gè)大視窗來避免這個(gè)問題，這樣無論眼睛相對(duì)于眼鏡移動(dòng)到哪里，圖像都是可見。

但產(chǎn)生一個(gè)大視窗意味著絕大多數(shù)的光都被浪費(fèi)，因?yàn)槲ㄒ恢匾墓馐沁M(jìn)入瞳孔的光。在社會(huì)形象方面，當(dāng)一個(gè)人的眼睛區(qū)域亮著的時(shí)候，這不僅僅只是有點(diǎn)奇怪。在軍事應(yīng)用中，夜間點(diǎn)亮眼睛會(huì)暴露士兵的位置，而這一點(diǎn)更為重要。

使用直接視網(wǎng)膜激光掃描的North Focals存在一個(gè)問題：每套眼鏡都需要定制，但即使這樣都很難看到圖像。North包括一個(gè)4向光瞳復(fù)制器，盡管這意味著你有四個(gè)方向可以看到圖像，但同時(shí)意味著你可以看到殘影和重影。

《Accommodation-Free Head Mounted Display with Comfortable 3D Perception and an Enlarged Eye-box》通過使用一組龐大的分束器來將4向調(diào)到9向。下面的圖片來自相關(guān)視頻中的一系列靜止幀，它們顯示了復(fù)制圖像與瞳孔對(duì)齊的效果。

EyeWay的方法消除了通過追蹤眼睛產(chǎn)生比瞳孔大的視窗的需要，如下面的短片所示：

盡管微軟的HoloLens 2使用激光束掃描，但它不是波導(dǎo)后的麥克斯韋。他們的衍射光柵波導(dǎo)大量復(fù)制了輸入光瞳，并創(chuàng)造了一個(gè)類似于WaveOptic波導(dǎo)圖的大視窗。

9. EyeWay的雙掃描注視點(diǎn)顯示器

下圖是從包含整個(gè)中央凹區(qū)域和外圍區(qū)域的圖像中心部分的裁剪。在這張?zhí)厥獾恼掌校瑨呙柽^程中的消隱滾動(dòng)條（被相機(jī)捕捉到，但人眼看不見）恰好在中央凹區(qū)域的垂直部分被兩個(gè)掃描過程捕捉到。消隱可允許你看到顯示對(duì)組合圖像的貢獻(xiàn)。

注視點(diǎn)圖像，包括注視點(diǎn)和外圍圖像都明顯的過渡區(qū)域，以大約60像素/度（每像素1弧分）覆蓋大約12度乘6.6度。然后，外圍顯示器水平覆蓋約44度，垂直覆蓋約25度（對(duì)角線覆蓋約50度），每度覆蓋約18像素（約3.3弧分/像素）。

與Varjo在AWE 2019展示的AR顯示器相比，EyeWay的注視點(diǎn)圖像大約是其水平和垂直角度大小的1/2。包括過渡混合區(qū)在內(nèi)，Varjo顯示器的注視點(diǎn)部分約為21度（H）x 13度（V）。但Varjo的透視AR屬于“固定注視點(diǎn)”。

Varjo在2017年談到了眼動(dòng)追蹤注視點(diǎn)顯示器，但最終在2018年推出了一款帶有透視AR的“固定注視點(diǎn)”（不是移動(dòng)高分辨率中心區(qū)域）顯示器，。EyeWay的方法具有較小的注視點(diǎn)顯示器，并且取決于注視點(diǎn)顯示器追蹤視網(wǎng)膜，以防止用戶注意到注視點(diǎn)區(qū)域到外圍邊界的過渡。

EyeWay要求眼睛跟蹤，這不僅是為了支持注視點(diǎn)顯示器，同時(shí)是為了幫助圖像進(jìn)入眼睛瞳孔。EyeWay別無選擇，只能解決精確的眼動(dòng)追蹤問題。與Varjo不同，EyeWay不能回到固定注視點(diǎn)顯示器。

10. 視網(wǎng)膜追蹤而不是瞳孔追蹤

將眼動(dòng)追蹤與激光掃描視網(wǎng)膜投影儀結(jié)合使用的概念至少可以追溯到湯姆·弗內(nèi)斯（Tom Furness）在1995年的的一項(xiàng)專利（已過期）。

EyeWay向我演示了他們的視網(wǎng)膜追蹤，但它是由實(shí)驗(yàn)室儀器顯示，尚未控制注視點(diǎn)投影圖像。

大多數(shù)其他眼動(dòng)追蹤努力只考慮角膜和虹膜。Facebook的邁克爾·亞伯拉什（Michael Abrash）曾就注視點(diǎn)顯示器的眼動(dòng)追蹤問題、精度需求、以及角膜和虹膜追蹤問題進(jìn)行了3分鐘的精彩討論。

Facebook Reality Labs定期在論文和視頻中討論與光瞳控制相關(guān)的問題，通過眼動(dòng)追蹤用一個(gè)小視窗投射到視網(wǎng)膜。

Facebook Reality Labs曾多次討論眼動(dòng)追蹤和注視點(diǎn)顯示器。Facebook Reality Labs的顯示系統(tǒng)研究總監(jiān)道格·蘭曼（Doug Lanman）在SPIE AR/VR/MR 2020大會(huì)的一段視頻中討論了與光瞳轉(zhuǎn)向相關(guān)的問題，并在2019年的論文中引用了視頻中的參考資料。這里的一個(gè)關(guān)鍵點(diǎn)是，基于注視點(diǎn)激光掃描的顯示器獲得了Facebook AR Research的大量關(guān)注。我應(yīng)該指出的是，EyeWay自2014年公司成立以來就一直致力于這項(xiàng)技術(shù)。

EyeWay指出，他們使用了兩個(gè)注視點(diǎn)追蹤鏡，而不是一個(gè)，正如2017年Vajro的評(píng)論和Avegant所示。EyeWay指出，兩個(gè)轉(zhuǎn)向鏡可支持4個(gè)自由度，并能更好地追蹤眼睛。

EyeWay的解決方案通過追蹤視網(wǎng)膜來將眼動(dòng)追蹤提升到一個(gè)新的水平，從而實(shí)現(xiàn)對(duì)注視點(diǎn)顯示器必需的精度。EyeWay的眼動(dòng)追蹤利用多個(gè)階段進(jìn)行追蹤，而最精確的階段通過移動(dòng)注視點(diǎn)圖像的相同路徑來追蹤視網(wǎng)膜。

11. 許多公司正在研究注視點(diǎn)顯示器

注視點(diǎn)顯示器的基本概念相當(dāng)久遠(yuǎn)，許多公司曾經(jīng)在VR和AR方面進(jìn)行過嘗試。僅舉幾個(gè)例子，下面是微軟、Avegant、蘋果和Varjo的注視點(diǎn)顯示器概念集。如上所述，F(xiàn)acebook多年來一直在探索注視點(diǎn)顯示器、眼動(dòng)追蹤和視網(wǎng)膜激光掃描領(lǐng)域。

我沒有時(shí)間詳細(xì)介紹每種方法，但我想指出的是，所有從事AR的巨頭和一系列初創(chuàng)公司都在考慮是否采用包含或不包含激光掃描的注視點(diǎn)顯示器。

有趣的是，微軟和蘋果都展示了上述的激光掃描方法，并且必須借助半反射鏡或全息鏡反射。Avegant是唯一一家研究基于波導(dǎo)的注視點(diǎn)顯示器，而Varjo則專注于透視AR，所以光學(xué)方面要簡(jiǎn)單得多。

當(dāng)Varjo在2017年談到追蹤眼睛的時(shí)候，我沒有看到一個(gè)注視點(diǎn)顯示器移動(dòng)。他們提供的設(shè)備和我看過的任何演示都采用“固定注視點(diǎn)顯示器”，高分辨率注視點(diǎn)區(qū)域不動(dòng)。當(dāng)眼睛中心保持在30度左右，這種固定顯示器在大部分時(shí)間內(nèi)都能正常工作。