美國太平洋時(shí)間7月25日，谷歌在其官方博客上公布了其網(wǎng)頁VR音頻系統(tǒng)Omnitone項(xiàng)目的技術(shù)細(xì)節(jié)。Omnitone項(xiàng)目是一個(gè)跨瀏覽器支持的開源空間音頻渲染器。

谷歌這次解決的問題其實(shí)也是其他VR設(shè)備也要解決的，就是營造“全景音頻”環(huán)境。

如上圖所示，隨著用戶佩戴的頭顯發(fā)生移動，聲音的位置應(yīng)該是不同的。用戶聽到來自后方的拍手聲，于是應(yīng)聲轉(zhuǎn)向身后，此時(shí)聲音應(yīng)該是變成從前方傳來。VR體驗(yàn)需要在周圍模擬一個(gè)全方位的聲音環(huán)境，并且讓聲音在3D環(huán)境中隨著你頭部的運(yùn)動而及時(shí)自動定位。谷歌在這里使用的是“頭部相關(guān)函數(shù)”（Head-related Transfer Function，簡稱HRTF），這也是Oculus Rift等產(chǎn)品普遍使用的技術(shù)。

但谷歌Omnitoneo團(tuán)隊(duì)面臨的主要挑戰(zhàn)就是：在已有的瀏覽器里引進(jìn)環(huán)繞立體聲技術(shù)（Ambisonics），同時(shí)不能干擾瀏覽器本來的運(yùn)行。他們想出的解決辦法很聰明，而且單刀直入。

下面是Omnitone音頻處理過程圖解。

圖自：Google Open Source Blog

環(huán)繞立體聲里包含四種聲道，可以在任意一個(gè)揚(yáng)聲器設(shè)置里進(jìn)行解碼。Omnitone沒有使用實(shí)體揚(yáng)聲器，而是基于HRTF設(shè)置用8個(gè)虛擬的揚(yáng)聲器來渲染最終的雙耳音頻流。雙耳渲染音頻僅通過耳機(jī)就可以營造一種空間感。

這個(gè)系統(tǒng)的關(guān)鍵之處就在于中間的聲場轉(zhuǎn)換（如圖解里Rotator模塊所示），把VR頭顯或者耳機(jī)里方向傳感器的數(shù)據(jù)與Omnitone的解碼器無縫銜接，從而流暢地將整個(gè)音場進(jìn)行轉(zhuǎn)換。

Omnitone已經(jīng)在Github上開源并且有經(jīng)過渲染的樣本，感興趣的朋友可以點(diǎn)擊Github 代碼和音頻樣本到達(dá)展示頁面。

等到VR應(yīng)用的鐘擺從專用App蕩回網(wǎng)頁系統(tǒng)時(shí)，谷歌那時(shí)就已經(jīng)準(zhǔn)備好了。

題圖自：TC

Via TC&Google Open Source Blog

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。