來源：映維網(wǎng) 作者 夢(mèng)秋

FRLR日前分享了關(guān)于沉浸式音頻研究方面的最新進(jìn)展，并表示所述研究“與Facebook實(shí)現(xiàn)AR眼鏡的工作直接相關(guān)”。概括而言，團(tuán)隊(duì)的目標(biāo)是將相關(guān)技術(shù)應(yīng)用到AR頭顯中，并允許你在嘈雜的環(huán)境中輕松地隔離人聲，同時(shí)再現(xiàn)虛擬聲音，使其聽起來像是來自周圍的真實(shí)世界。一個(gè)定制的頭相關(guān)傳輸函數(shù)（HRTF）是提供這種體驗(yàn)的關(guān)鍵，但涉及過程耗時(shí)且昂貴。所以，F(xiàn)RLR團(tuán)隊(duì)正在研究一種能夠根據(jù)耳朵照片生成精確HRTF的可擴(kuò)展解決方案。

對(duì)于這項(xiàng)研究，F(xiàn)acebook德技術(shù)通訊經(jīng)理麗莎·布朗·賈洛薩（Lisa Brown Jaloza）在一篇名為“音頻的未來”的博文對(duì)其進(jìn)行了詳細(xì)介紹。下面是映維網(wǎng)的具體整理：

正如著名科幻作家阿瑟·克拉克所言：“任何卓越的先進(jìn)技術(shù)都和魔法相差無幾。”我最近有幸見證了Facebook施展的最神奇魔術(shù)，而下面我將與大家一起分享個(gè)中的神奇。

但首先，我們先進(jìn)行一定的背景介紹。

無論是甜美的愛人言語，抑或是激昂澎湃的歌曲樂章，聲音都包含著不同于其他感官體驗(yàn)的豐富情感。然而，這種體驗(yàn)常常會(huì)遭到噪音淹沒，因距離而減損，或因我們自身聽力的局限而喪失。

世界不需要是這樣。請(qǐng)想象這樣一個(gè)未來：穿戴一副VR頭顯或AR眼鏡后你將能運(yùn)送到千里之外的地點(diǎn)，然后上課、上班或參加親戚的生日聚會(huì)，而一切仿佛就好像是現(xiàn)實(shí)生活一樣。這種體驗(yàn)稱為“社交臨場(chǎng)”。今天的技術(shù)尚未實(shí)現(xiàn)這一承諾，部分原因是聲音不夠逼真。有多少次你因?yàn)猷须s的背景而不得不重復(fù)自己的話語，或是因?yàn)榉植磺逭l在說什么而感到糊里糊涂？

即便是身處同一地理位置，環(huán)境的類型同樣會(huì)影響人際關(guān)系的質(zhì)量。嘈雜的背景會(huì)妨礙我們，令我們感到沮喪，或者最終不得不大喊大叫?，F(xiàn)在想象一下，同樣的一副AR眼鏡能夠?qū)⒛愕穆犃μ嵘饺碌乃?，允許你在諸如餐館、咖啡店和音樂會(huì)等嘈雜的空間里清晰地聽到你希望聽到的聲音。對(duì)于你的面對(duì)面交流，這將會(huì)產(chǎn)生什么影響呢？

Facebook Reality Labs Research（FRLR）正在構(gòu)建增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)的未來。FRLR匯集了一支由研究科學(xué)家、工程師、設(shè)計(jì)師等組成的跨學(xué)科音頻團(tuán)隊(duì)，并致力于通過激進(jìn)的音頻創(chuàng)新來改善人類交流。這個(gè)小組的任務(wù)包括兩個(gè)：創(chuàng)造在感知方面無法與現(xiàn)實(shí)區(qū)分的虛擬音效；重新定義人類的聽覺能力。為了做到這一點(diǎn)，研究人員致力于提供兩種新功能：第一，音頻臨場(chǎng)感，亦即虛擬音效的來源仿佛是與聽者存在于同一空間，其保真度之高以至于你無法將真實(shí)世界的聲源區(qū)分開來；第二，感知超能力，亦即即便是在嘈雜的環(huán)境中，你將能夠?qū)⒔涣鲗?duì)方的音量調(diào)大，并對(duì)不需要的背景噪音調(diào)低，從而提升我們的交流體驗(yàn)。

這支世界最大的音頻研究團(tuán)隊(duì)之一正在探索各種相互關(guān)聯(lián)的研究問題。在短短六年的時(shí)間里，原本只有一個(gè)人的隊(duì)伍已經(jīng)成長(zhǎng)為世界級(jí)的專家團(tuán)隊(duì)。由拉維什·梅赫拉（Ravish Mehra）領(lǐng)導(dǎo)的FRLR音頻研究團(tuán)隊(duì)致力于解決新穎的研究問題，提出解決方案，并通過令人信服的體驗(yàn)來證明它們。我有幸體驗(yàn)了其中的一些體驗(yàn)，而它們對(duì)未來音頻通信的影響十分驚人。這是一個(gè)關(guān)于未來通信的故事，并需要發(fā)明一套全新的硬件和軟件技術(shù)，從而提供逼真的具現(xiàn)體驗(yàn)。

1. 耳聽為實(shí)：音頻臨場(chǎng)感

盡管小時(shí)候希望長(zhǎng)大后能夠成為一名搖滾明星，但研究科學(xué)家帕布羅·霍夫曼（Pablo Hoffman）如今更接近于一名魔術(shù)師。他成功地開發(fā)了一個(gè)始終在線的音頻校準(zhǔn)系統(tǒng)，并且可以有效地允許你通過一對(duì)耳機(jī)聽到超高保真度的聲音。這個(gè)演示采用了FRLR的全新算法和軟件處理技術(shù)，以及現(xiàn)成的硬件來展示個(gè)性化音頻和重現(xiàn)房間的聲學(xué)效果。

我坐在他位于華盛頓州雷德蒙德的辦公桌旁?；舴蚵f給我一副耳機(jī)，而麥克風(fēng)專門放到我耳朵的入口處。在接下來的兩分鐘里，所述麥克風(fēng)將從我的視覺記錄房間的聲音。這位研究科學(xué)家從不同的地方大聲而溫柔地說話，他甚至?xí)椉⑶乙欢劝谚€匙丟到我的身后。

然后霍夫曼播放了錄音。音效非常逼真，和真實(shí)幾乎沒有什么區(qū)別。事實(shí)上，對(duì)于坐在他旁邊的我而言，我敢打賭當(dāng)我瞄到他的時(shí)候他一定有在說話。但當(dāng)我正眼看著他時(shí)，我能看到霍夫曼的嘴唇?jīng)]有動(dòng)。來自霍夫曼方向的聲音完全是人工合成。這是兩分鐘長(zhǎng)的既視感（Deja-vu）。

這正是感知方面與現(xiàn)實(shí)無法區(qū)分的虛擬音效。當(dāng)你親身見證的時(shí)候，它就像是一種為善的魔法。研究負(fù)責(zé)人菲利普·羅賓遜（Philip Robinson）解釋說：“‘感知方面無法區(qū)分’說起來十分簡(jiǎn)單。但當(dāng)你親耳聽到的時(shí)候，這會(huì)是一種無比神奇的感覺。”

2. 逼真音頻的秘方

當(dāng)有人在房間里跟你說話時(shí)，你的一只耳朵會(huì)先于另一只耳朵聽到聲音。每只耳朵的音量不同。另外，耳朵的形狀改變了我們每個(gè)人聽到聲音的方式。所有這些信號(hào)都在告訴大腦聲音來自哪里。聲音與你的環(huán)境相互作用，在進(jìn)入你的耳朵之前從墻壁反彈。這一切都是核心要素。如果能精確再現(xiàn)，虛擬聲音就能復(fù)制真實(shí)聲音。

2017年，音頻研究團(tuán)隊(duì)幫助研發(fā)了空間化音頻，亦即一種模擬真實(shí)聲音來源的虛擬音效。團(tuán)隊(duì)同時(shí)發(fā)明了能夠提高虛擬環(huán)境可信度的高質(zhì)量聲學(xué)模擬技術(shù)。這些技術(shù)推動(dòng)了空間音頻技術(shù)的發(fā)展，并驅(qū)動(dòng)著當(dāng)今Quest和Rift平臺(tái)的眾多體驗(yàn)，包括《First Steps》和《Oculus First Contact》。下一個(gè)前沿領(lǐng)域是個(gè)性化的空間音頻，以及模擬聲音與真實(shí)環(huán)境交互的方式。在我參觀雷德蒙德實(shí)驗(yàn)室的后面兩站旅程中，團(tuán)隊(duì)向我展示了他們?cè)趦蓚€(gè)方面的進(jìn)展。

3. 個(gè)性化空間音頻

一位研究人員帶我進(jìn)入一個(gè)消聲室。這是一個(gè)價(jià)值數(shù)百萬美元的設(shè)施，它與周圍的建筑相隔3英尺寬的空氣間隙，而四周4英寸厚的鋼板可吸收所有回聲。房間非常安靜，你甚至可以聽到自己的心跳。一個(gè)包含54個(gè)揚(yáng)聲器的機(jī)械臂從上到下地進(jìn)行360度的自由旋轉(zhuǎn)，并且一邊播放音調(diào)，從而測(cè)量聲音對(duì)我耳朵的獨(dú)特幾何形狀的反應(yīng)。整個(gè)過程大約需要半個(gè)小時(shí)。最后，我可以看到我的個(gè)人聽覺空間化音頻體驗(yàn)的數(shù)字表示，亦即頭相關(guān)傳輸函數(shù)（HRTF）。目前用于游戲和虛擬現(xiàn)實(shí)的解決方案屬于“通用式”HRTF，它不能為每個(gè)人提供完美的空間精度。個(gè)性化的HRTF測(cè)量克服了這一局限性，并允許每個(gè)人真正聽到仿佛真實(shí)聲音一般的虛擬聲音。

盡管消聲室顯然不是捕獲個(gè)性化HRTF的可擴(kuò)展解決方案，但音頻研究小組正在考慮幾種全新的方法。作為一個(gè)例子，他們希望有一天能開發(fā)出一種可以根據(jù)耳朵照片來近似一個(gè)可行的個(gè)性化HRTF的算法。

4. 為房間的聲學(xué)建模

理解聲音如何在特定空間中傳播，并在到達(dá)耳朵之前從相關(guān)表面反彈，這是另一個(gè)幫助虛擬聲音復(fù)制真實(shí)聲音的有力工具。就如同視覺AR使用SLAM技術(shù)來獲取虛擬對(duì)象的幾何和光照一樣，我們?cè)诼曇舴矫嫱瑯有枰斫夥块g的聲學(xué)特性，以便將虛擬聲源無縫地放置到真實(shí)的空間之中。團(tuán)隊(duì)邀請(qǐng)我嘗試一款游戲，并確定哪些聲音來自房間中的物理揚(yáng)聲器，哪些是來自我所穿戴的耳機(jī)。我可以在空間中移動(dòng)，并感受相應(yīng)的聲音響應(yīng)。我感覺自己有點(diǎn)像是音頻發(fā)燒友，但對(duì)于我區(qū)分哪些聲音是真實(shí)，哪些聲音是虛擬的努力，我只能做到50-50的水平。盡管是來自耳機(jī)，但空間化的音頻和模擬的聲音是如此逼真，我的大腦完全相信我聽到的聲音是來自于房間的揚(yáng)聲器。我甚至不得不拔下耳機(jī)來確認(rèn)聲音的真正來源。

羅賓遜表示：“想象一下，如果你在打電話，你會(huì)認(rèn)為對(duì)方就在身邊，你會(huì)忘記你們實(shí)際上是相隔兩地。這就是我們正在開發(fā)的技術(shù)的愿景。”

為了明確這里的利害關(guān)系，團(tuán)隊(duì)向我展示了一個(gè)關(guān)于遠(yuǎn)程臨場(chǎng)感的演示，即感覺你仿佛是置身于另一個(gè)的位置。我坐在一個(gè)房間里并穿戴一個(gè)定制的Oculus Rift頭顯和一副耳機(jī)，但我感覺自己是在另一個(gè)地方，和眾多研究人員和同事圍坐在一張桌子旁。我可以通過頭顯看到會(huì)議室。32個(gè)麥克風(fēng)陣列會(huì)捕獲會(huì)議室的聲音，并將空間化的音頻直接傳送到我的耳機(jī)中，這樣每個(gè)人的聲音聽起來都像是來自桌子旁邊的特定位置。我發(fā)現(xiàn)自己能夠十分自然地轉(zhuǎn)向每一個(gè)人。這有助于我跟蹤和參與談話，令我感覺自己就在房間里面（即使我實(shí)際上不在那里）。

這可能會(huì)顛覆你與遠(yuǎn)方家人，朋友或同事所進(jìn)行的視頻通話。對(duì)于今天的通話，對(duì)方的聲音聽起來像是從電話里傳來，所以大腦否定了對(duì)方可能和你位于同一位置的想法?？臻g音頻模擬現(xiàn)實(shí)生活中的聲音和環(huán)境聲學(xué)的方向，所以你可以更為充分地感受社交臨場(chǎng)感。

當(dāng)空間音頻與Codec Avatars（可實(shí)時(shí)動(dòng)畫化的超逼真人類表示），超現(xiàn)實(shí)的三維重建，全身追蹤，共享虛擬空間等結(jié)合在一起時(shí)，我們將能夠解鎖真正的社交臨場(chǎng)感。通過允許你和對(duì)自己最為重要的家人或朋友置身于同一空間，我們可以從根本上改變你的生活、工作和娛樂方式。

羅賓遜說：“我一直牢記Facebook的總體使命，亦是聯(lián)結(jié)彼此。我們需要令虛擬音效如同現(xiàn)實(shí)一般的唯一原因是，我可以令一個(gè)虛擬人類出現(xiàn)在面前，并與其進(jìn)行社交互動(dòng)，就像對(duì)方真的是和你置身于同一空間。對(duì)于遠(yuǎn)程交流或面對(duì)面交流，即便只是改善一點(diǎn)點(diǎn)，它都能夠真正促成更為深入、更具影響力的社交關(guān)系。”

盡管逼真的空間化音頻和逼真的室內(nèi)聲學(xué)令人感到心曠神怡，但這只是FRLR音頻團(tuán)隊(duì)任務(wù)的第一塊拼圖。梅赫拉解釋道：“當(dāng)我們開始在虛擬現(xiàn)實(shí)中進(jìn)行這項(xiàng)研究時(shí)，隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，我們意識(shí)到我們?cè)谶@里構(gòu)建的所有技術(shù)都是致力于實(shí)現(xiàn)一個(gè)更高的目標(biāo)：改善人類的聽覺能力。”

5. AR眼鏡和感知超能力

對(duì)于FRLR音頻團(tuán)隊(duì)的使命，第二塊拼圖是重新定義人類聽覺能力。當(dāng)然，這是一個(gè)雄心勃勃的目標(biāo)。不過，這同時(shí)與Facebook的AR眼鏡努力直接相關(guān)。

負(fù)責(zé)硬件研究的托尼·米勒（Tony Miller）解釋道。“人類聽覺是一種驚人的感覺，它允許我們通過口頭語言和音樂表達(dá)進(jìn)行聯(lián)系。FRLR正在探索可以擴(kuò)展、保護(hù)和提高聽覺能力，加強(qiáng)注意力，同時(shí)支持你與你關(guān)心的人和信息無縫互動(dòng)的全新技術(shù)。這項(xiàng)研究的核心是致力于構(gòu)建深深植根于聽覺感知，并通過信號(hào)處理和人工智能的最新發(fā)展加以增強(qiáng)的硬件。”

想象一下，你可以在擁擠的餐廳或酒吧里自由交談，不必提高嗓門或緊張兮兮地過分關(guān)注別人的言語。通過眼鏡搭載的多個(gè)麥克風(fēng)，系統(tǒng)可以捕捉到你周圍的聲音。然后，利用你的頭部和眼睛運(yùn)動(dòng)模式，系統(tǒng)可以確定你最感興趣的聲音，從而為你增強(qiáng)正確的聲音，并衰減其他聲音。通過這樣的方式，團(tuán)隊(duì)希望確保你真正希望聽到的聲音是清晰明朗，即使周圍充斥著吵鬧的背景噪音。

6. 所見即所聞

為了體驗(yàn)這一點(diǎn)，我和研究科學(xué)家歐文·布里米金（Owen Brimijoi）坐在一間模擬餐廳的房間里。我戴著耳機(jī)和現(xiàn)成的眼動(dòng)追蹤裝置，而眼動(dòng)追蹤是FRLR正在探索的幾種解決方案之一。布里米金開始講話時(shí)，研究小組提高了背景噪音水平。令我驚訝的是，我依然可以很容易地聽到他的話語，而且交談十分自然。當(dāng)我看著角落里的電視時(shí)，它正在播放的廣告聲音會(huì)越來越響，而其他聲音則變得越來越安靜。當(dāng)布里米金再次開口說話時(shí)，我再次轉(zhuǎn)向他，然后我們的談話又重新開始。與霍夫曼的演示一樣，所述演示是將FRLR的軟件與現(xiàn)成硬件配對(duì)以說明增強(qiáng)聽力的體驗(yàn)。

喧鬧的餐廳不僅令人討厭，同時(shí)會(huì)給員工帶來潛在的健康風(fēng)險(xiǎn)。事實(shí)上，如果長(zhǎng)時(shí)間暴露在85分貝以上的噪音環(huán)境中（現(xiàn)在不少餐館和酒吧都超過了這一水平），這會(huì)造成我們的聽力會(huì)下降。通過降低噪音，我們或許可以幫助保護(hù)人們的聽力。

7. 新穎的輸入：捕捉聲音

接下來，團(tuán)隊(duì)向我展示了一種叫做近場(chǎng)波束形成技術(shù)的創(chuàng)新應(yīng)用，而它再次令我感覺自己仿佛時(shí)在見證一個(gè)魔術(shù)。但這次他們使用了FRLResearch開發(fā)的定制硬件。研究科學(xué)家弗拉基米爾·圖爾巴賓(Vladimir Tourbabin)戴著一副簡(jiǎn)單的3D打印眼鏡，但其搭載了一個(gè)特殊的麥克風(fēng)陣列，一種輸入原型。房間里有幾個(gè)物理揚(yáng)聲器以最大音量播放音樂。我在另一個(gè)房間，圖爾巴賓打電話給我。我拿起話筒，他開始用正常的聲音誦讀一篇在線文章，而嘈雜的房間里的噪音非常容易淹沒圖爾巴賓的聲音。

然后圖爾巴賓打開了一個(gè)開關(guān)，突然之間，我清能夠晰地聽到他的聲音傳來，仿佛某人將背景音量調(diào)低了一樣。就像在搖滾音樂會(huì)或地鐵站接到一個(gè)朋友的電話，但不知怎么回事，我居然可以清晰地、明白地聽到對(duì)方的聲音。這一切都是因?yàn)樯厦嫣岬降柠溈孙L(fēng)陣列將他的聲音與周圍的噪音隔離開來。你可以想象未來這項(xiàng)技術(shù)可允許我在嘈雜的房間里與人工智能助理清晰地通話，這可以為我提供更多的隱私和安全，并防止我的助手意外地拾取周遭人和物的聲音。

8. 輸出：控制音量

音頻團(tuán)隊(duì)的目標(biāo)是覆蓋人類能聽到的所有聲音，從20赫茲到20000赫茲。FRLR目前正在開發(fā)一種特殊的入耳式監(jiān)聽器（in-ear monitor；IEM）。這種輸出原型將允許我們使用主動(dòng)降噪技術(shù)來有效地降低背景噪聲的音量，從而幫助人們?cè)卩须s的環(huán)境中更清晰地、更安全地聽到聲音。當(dāng)與FRLR的輸入原型（包括麥克風(fēng)陣列）相結(jié)合時(shí)，這將能夠提供聽覺超能力的全面體驗(yàn)。

音頻體驗(yàn)負(fù)責(zé)人斯科特·賽爾豐（Scott Selfon）解釋說：“我們的IEM同時(shí)具有感知透明的聽覺功能，仿佛我耳朵里什么都沒有，而我能夠安全地聽到周圍的整個(gè)世界。”類似于霍夫曼早期的演示，但這次只是使用了一個(gè)小小的耳機(jī)。

9. 改善生活

這項(xiàng)研究的潛能十分巨大。盡管大多數(shù)感知超能力研究都集中在改變每個(gè)人的交流，但團(tuán)隊(duì)相信其中一些可以為聽力科學(xué)領(lǐng)域的新研究提供支持。據(jù)約翰斯·霍普金斯大學(xué)研究稱，美國(guó)有大約五分之一的人口存在聽力損失問題。他們中的許多人都不使用助聽器，原因有很多，包括費(fèi)用，社會(huì)恥辱感，不適和缺乏可靠性。

最近，研究小組迎來了著名的聽力科學(xué)家托馬斯·倫納（Thomas Lunner）。他早前的研究為1995年世界第一臺(tái)數(shù)字助聽器奠定了基礎(chǔ)，而他將進(jìn)一步探索這條研究道路。倫納表示說：“通過將聽力受損人口與聽力正常的人員至于平等的地位，我們可以幫助他們更積極地參與社交活動(dòng)。這與Facebook的使命非常契合，因?yàn)槭敵３Ｖ率谷藗冞h(yuǎn)離社交場(chǎng)合。”

技術(shù)項(xiàng)目經(jīng)理阿曼達(dá)·巴里（Amanda Barry）補(bǔ)充道：“我從小就戴著助聽器。能夠在人們變老且聽力衰退時(shí)幫助他們與家人保持聯(lián)結(jié)的能力令人感到無比興奮。”

聽力科學(xué)是Facebook獨(dú)立于AR研究所探索的一個(gè)領(lǐng)域。它具有獨(dú)特的挑戰(zhàn)，而團(tuán)隊(duì)希望能夠幫助推動(dòng)科學(xué)前進(jìn)。FRL計(jì)劃在日后分享更多的研究成果進(jìn)步。

10. 我們十分關(guān)注隱私

要幫助智能AR眼鏡取得成功，我們需要深思熟慮地、負(fù)責(zé)任地開發(fā)技術(shù)。盡管依然處于研究的早期階段，但FRLR已經(jīng)開始探索確保用戶隱私和安全的方法。當(dāng)我們努力提高人們的聲音體驗(yàn)時(shí)，我們必須保持對(duì)社會(huì)規(guī)范的認(rèn)識(shí)和尊重。

梅赫拉指出：“我們的目標(biāo)是在我們的創(chuàng)新周圍設(shè)置護(hù)欄，以負(fù)責(zé)任的方式進(jìn)行創(chuàng)新，所以我們已經(jīng)在考慮我們可以采取的潛在保障措施。例如，在我提高某人的聲音之前，我的眼鏡可能需要遵循一個(gè)協(xié)議并請(qǐng)求對(duì)方眼鏡的允許。”

研究小組強(qiáng)烈意識(shí)到的另一個(gè)問題是，敏感耳朵數(shù)據(jù)的捕獲，包括研究階段及以外。今天，在我們將收集到的任何數(shù)據(jù)提供給研究人員之前，所有數(shù)據(jù)都會(huì)經(jīng)過加密，研究參與者的身份與數(shù)據(jù)分離。一旦收集，數(shù)據(jù)將存儲(chǔ)在安全的內(nèi)部服務(wù)器中，只有少數(shù)擁有明確權(quán)限的研究人員能夠訪問相關(guān)服務(wù)器。團(tuán)隊(duì)同時(shí)定期與隱私、安全和IT專家進(jìn)行審查，以確保遵守協(xié)議并實(shí)施適當(dāng)?shù)谋Ｗo(hù)措施。

“Deepfake”是我們正在思考的另一個(gè)問題。這種技術(shù)可以使用人工智能和預(yù)先存在的鏡頭來編造一個(gè)場(chǎng)景，比如一個(gè)人會(huì)說出實(shí)際上從未說過的話語。例如，我們正在討論在耳機(jī)和眼鏡中構(gòu)建強(qiáng)大的身份驗(yàn)證技術(shù)（如面部分析），從而確保只有你本人可以通過你的設(shè)備訪問與你的聲音綁定的虛擬化身。”

梅赫拉說道：“顯然，我們離在眼鏡和耳機(jī)中實(shí)現(xiàn)這類技術(shù)尚有一段距離，但我們希望思考這些技術(shù)的影響，以及與更廣泛社會(huì)相關(guān)的潛在解決方案。這同時(shí)是我們現(xiàn)在討論這項(xiàng)研究的原因之一。我們致力于將其公開化，并就這項(xiàng)技術(shù)的可接受用途進(jìn)行公開討論。”

假如你可以忽視背景噪音或距離并輕松地聽到對(duì)方說話，假如你不必因?yàn)椴盥脝栴}而錯(cuò)過特殊活動(dòng)，假如你能用一個(gè)可穿戴設(shè)備取代你的高端立體聲系統(tǒng)、電視、手機(jī)……

這是我們相信的未來，我們正在努力使之成為現(xiàn)實(shí)。

11. 下一個(gè)前沿：聽覺機(jī)器感知

最終，我們的主要目標(biāo)之一是提供一款時(shí)尚的AR眼鏡。它不僅可以理解周圍的視覺世界，同時(shí)可以理解周圍的聲學(xué)世界，并利用相關(guān)知識(shí)和背景幫助你在世界各地導(dǎo)航。為此，我們將使用一個(gè)包含共享和私有組件的虛擬地圖LiveMaps。對(duì)聲學(xué)聲景的理解可以為地圖添加信息，這樣人工智能就可以改善你的音頻體驗(yàn)，同時(shí)能以其他方式幫助你。例如，當(dāng)你走進(jìn)一家餐館時(shí)，你的AR眼鏡能夠識(shí)別出發(fā)生在你周圍的不同類型的事件：人們?cè)诮徽?，空調(diào)的噪音，盤子和銀器的叮當(dāng)聲。然后利用情境化的人工智能，你的AR眼鏡將能夠做出明智的決定，比如消除分散注意力的背景噪音。

賽爾豐補(bǔ)充說：“我們的AR眼鏡的另一個(gè)機(jī)遇是，它不僅可以幫助我們更好地聽到，而且可以幫助我們更好地理解。如果我因?yàn)楸尘霸胍艋蛘Z言障礙而無法跟蹤對(duì)話，我們可以使用情境化人工智能和語音識(shí)別來幫助我進(jìn)行實(shí)時(shí)的視覺轉(zhuǎn)錄或翻譯。而且，與家里柜臺(tái)的語音助手不同，隨身攜帶的AI助手將具有完整的情景意識(shí)。因此，當(dāng)你身處嘈雜的環(huán)境中時(shí)，它可以自動(dòng)提高聲音，或者在圖書館等需要安靜的地方輕聲說話。”

這是我們剛剛開始探索的另一個(gè)領(lǐng)域，而我們將在日后分享更多的消息。

梅赫拉表示：“我們現(xiàn)在正處于AR/VR技術(shù)發(fā)展史上的關(guān)鍵時(shí)刻。如果是5年或10年后加入這個(gè)領(lǐng)域，他們只是跟在我們屁股后面。對(duì)于這一刻，我們實(shí)際上正在定義未來。我們可以提高體驗(yàn)的真實(shí)感，以至于你不必為了參加會(huì)議或與你所愛的人聯(lián)系而旅行數(shù)百或數(shù)千英里。我們可以制造出用來改善人類聽力的技術(shù)。如果你對(duì)這一點(diǎn)充滿激情，我們就是你要加入的團(tuán)隊(duì)，而且現(xiàn)在是時(shí)候讓它成為現(xiàn)實(shí)了。”

原文鏈接：https://yivian.com/news/77794.html