我們也透過聲音認識環境
人類對於環境的感知能力除了透過視覺之外，聽覺也是建立環境感的重要因素之一，當我們身處於不同環境之中，聲音都會有不同的表現，例如在繁忙的大街上，可能會有數百種聲音從四面八方傳來，到了安靜的森林，就能聽見遠方溪流的聲音?，而在空曠的美術館，則能聽見腳步聲的迴音。
即便是2D畫面的電影，都具有5.1、7.1聲道或是更細膩的環繞音效，讓我們能更投入電影的世界，所以當我們在使用VR或AR等裝置的時候，更需要透過逼真的環繞音效，創造更加有感染力的虛擬空間，強化使用者身歷其境的感受。
▲在Resonance Audio的展示影片中，可以感受到音效對於沉浸感營造的重要性。如果有Daydream或SteamVR相容裝置的話，就能進一步體驗VR音效效果。
功能強大的跨平台開發工具
Google為了達到這個目標，推出的全新的Resonance Audio空間音效軟體開發套件，它是款以Google VR Audio為基礎的SDK，能夠支援Unity、Unreal、FMOD、Wwise、Web、Digital Audio Workstation (DAW) 、Android、iOS等平台，將環繞音效帶到電腦與各式行動裝置。
然而要在創造出色環繞音效的過程中降低運算資源消耗，就成了Resonance Audio的挑戰之一，尤其在效能較為低落的行動裝置更是如此，往往無法在複雜環境中，同時提供多個高傳真的3D音源。
為了解決這個問題，Resonance Audio採用高度最佳化的高階Ambisonics演算法，以利在不減損音質的情況下，同時處理數百個3D音源，此外Resonance Audio也會引用Unity提供的預先運算功能，利用於預先運算的混音效果，來模擬逼真的聲傳遞特性，並降低播放過程的處理器使用率。
重現聲音傳到耳朵的過程
在真實世界中，聲音在經過環境傳遞的過程中，會產生許多變化，並且到達耳朵時，也會與耳殼產生互動，我們就是利用這種特性來分辨音源的水平位置與高度。Resonance Audio主要的運作原理，就是模擬聲音在環境中傳遞，並進入到耳朵的過程，以創造擬真的環繞音效聽覺感受。
人類分辨聲音方向的第一個要素，就是左右耳聽到聲音的兩耳時間差（Interaural Time Difference，ITD）。當不同水平位置的低頻音源到達耳朵時，會因為左右耳距離差異，而有些微的時間差，人腦可以透過這個差異分辨音源的方向。
高頻音源的水平位置，就無法透過ITD來分辨，取而代之的因素稱為兩耳水平差（Interaural Level Differences，ILD），這是由於我們的頭部會改變聲音傳遞到2耳的音量與頻率，聽覺神經就能藉此分辨音源方向。
至於音源的高度差異的方式，則是藉由聲音接觸到耳殼的反射，會因角度不同而形成不同的頻率變化，人腦就能透過這些細微的變化，分辨聲音是來自高處還是低處。
（下一頁還有更多運作原理說明）
聲音與外界環境的互動
當聲音在現實世界中傳遞時，可能會碰撞到許多物體的表面並造成反射，進而產生複雜變化。如果聲音沒有反射就直接進入耳朵，就稱為直接音（Direct Sound），我們能透過音量感受到聲音的距離。
至於只經過幾次反射就到達耳朵的聲音，則稱為早期反射（Early Reflections），這種聲音能夠讓我們產生空間尺寸與形狀的感覺，迴音也算是這類聲音。當聲音經過越來越多次反射後，就會產生因為彼此的疊加，而無法分辨出單獨聲音（如我們對山谷大叫「你好」，會聽到迴音是「你好…你好…你好好好好……」），這種聲音就稱為後期殘響（Late Reverb），它會因空間的尺寸、牆面性質而變。
如果聲音在傳遞的過程中遭受其他物體阻擋，也會產生變化，一般來說聲音的高頻部分受到阻擋的影響會比低頻部分顯著。有些音源也會具有方向性，在不同位置聆聽會聽到不一樣的特性，例如我們繞著彈吉手轉1圈，當我們站在前面時，會覺得聲音比較響亮，繞到後面時，吉他本身和演奏者會擋住聲音，而讓聲音比較悶。
無論是上述哪種情況，Resonance Audio都會透過演算法模擬聲音表現的特性，來塑造音效的逼真感，讓使用者在進入虛擬世界時，能藉由音效強化VR的沉浸感。
簡化環繞音效開發流程
Resonance Audio最大的優勢在於，能夠簡化數位內容創作者製作環繞音效所花費的心力與時間，只要透過簡單的設定，就能打造出逼真的音效表現。
Google也提供了環繞音效的錄音工具，讓使用者能夠直接將聲音擷取下來，並儲存為檔案，以利匯入至其他支援的開發工具，將預先錄製的環繞音效置入遊戲引擎或是影片中。
有興趣的讀者可以前往開發者網站查閱進階資料，或是到GitHub取得相關資訊。
