麻省理工學院和IBM Watson AI Lab的研究人員創建了一個機器學習模型，用于預測聽眾在3D空間內的不同位置上會聽到什么。

研究人員首先使用這個機器學習模型來了解房間中的任何聲音是如何在空間中傳播的，按照人們通過聲音理解自身所處環境的方式構建3D房間的圖景。

在麻省理工學院電氣工程與計算機科學系（EECS）研究生Yilun Du共同撰寫的一篇論文中，研究人員們展示了如何將類似于視覺3D建模的技術應用于聲學領域。

但是他們要面對聲音和光線傳播的不同之處。例如，由于障礙物、房間的形狀和聲音的特性，聽眾處在房間中不同的位置可能會對聲音產生非常不同的印象，從而讓結果變得難以預測。

為了解決這個問題，研究人員們在他們的模型中建立了聲學特征。首先，在所有其他條件都相同的情況下，交換聲音源和聽眾的位置不會改變聽眾聽到的內容。聲音還特別受本地條件影響，例如位于聽眾和聲音源之間的障礙物。

Du表示：“到目前為止，大多數研究人員只專注于視覺建模。但是作為人類，我們有多種感知模式。不僅視覺很重要，聲音也很重要。我認為這項工作開辟了一個令人興奮的研究方向，可以更好地利用聲音來模擬世界?！?/p>

使用這種方法，生成的神經聲場（NAF）模型能夠對網格上的點進行隨機采樣，以了解特定位置的特征。例如，靠近門口會極大地影響聽眾聽見房間另一側聲響的內容。

該模型能夠根據聽眾在房間中的相對位置預測聽眾可能從特定聲學刺激中聽到的內容。

這篇論文表示：“通過將場景中的聲學傳播建模為線性時不變系統，NAF學會不斷地將發射器和聽眾的位置映射到神經脈沖響應函數，后者可以應用于任意聲音?！薄拔覀冏C明了NAF的連續性讓我們能夠在任意位置為聽眾渲染空間聲音，并且可以預測聲音在新位置的傳播?！?/p>

MIT-IBM Watson AI Lab的首席研究員Chuang Gan 也參與了該項目，他表示：“這項新技術可能會為在元宇宙應用程序創建多模態沉浸式體驗帶來新的機會?！?/p>

我們知道不是所有 Reg 讀者都會對這個用例感到興奮。