在一系列形式的沉浸式故事中，音頻都十分重要。喬治·盧卡斯曾經(jīng)說過，“聲音占體驗的一半”。這樣的說法對虛擬現(xiàn)實，增強現(xiàn)實和混合現(xiàn)實而言更是如此。游戲配樂師溫妮弗雷德·菲利普（Winifred Phillips）日前分享了關(guān)于VR游戲音頻開發(fā)的工具和技巧等入門介紹，以下是映維網(wǎng)的具體整理：

    大家好！我是游戲配樂師溫妮弗雷德·菲利普（Winifred Phillips）。我最近一直忙于為工作室一系列優(yōu)秀的VR游戲創(chuàng)作配樂，包括即將于下周三（11月21日）登陸 Oculus Rift ， HTC Vive 和WMR，以及將于12月18日上架 PSVR 的第一人稱射擊游戲《Scraper：First Strike》。這個項目的工作肯定令我有關(guān)VR的一切產(chǎn)生了興趣。游戲即將發(fā)售，下面是開發(fā)商Labrodex工作室公布的預(yù)告片視頻，其中包含我為游戲創(chuàng)作的配樂：

    《Scraper：First Strike》只是我在過去一年中負(fù)責(zé)的眾多VR游戲之一。當(dāng)我去年剛剛開始忙于與VR開發(fā)團隊合作的時候，我已經(jīng)撰寫了一篇提供一系列與VR音頻相關(guān)信息資源的 文章 。17年的文章用一種通用的思路來探討了音頻在虛擬現(xiàn)實體驗中作用。來到2018年，我認(rèn)為我們可以進一步擴展這個主題，包括VR頭顯平臺中最先進的技術(shù)。了解目前可用的硬件平臺可以幫助我們游戲配樂師更好地理解VR音頻正在發(fā)展的方向。

    首先，人們普遍認(rèn)為認(rèn)為VR屬于一個更大的類別，其他還包括AR增強現(xiàn)實和MR混合現(xiàn)實。人們通常認(rèn)為AR和MR是同義詞，但這值得商榷。由于目前行業(yè)尚未有明確的共識來區(qū)分AR與MR，我們現(xiàn)在將它們視為AR/MR類別。在本文中，我將重點關(guān)注每個競爭平臺特有于VR和AR/MR的資源。好，下面開始吧。

    1. 用于VR和AR/MR設(shè)備的音頻

    現(xiàn)在市場上存在各種各樣能夠?qū)⑽覀兂两诨孟胧澜缋?，或者將奇妙魔法帶到我們房間中的頭顯設(shè)備。盡管它們中的許多在音頻創(chuàng)建和實現(xiàn)方面采用共同的基礎(chǔ)技術(shù)，但存在適用于每一個的不同工具和技術(shù)。

    2. 當(dāng)虛擬聲學(xué)遇上真實聲學(xué)

    新發(fā)售的 Magic Leap   One屬于AR/MR設(shè)備。這意味著它允許佩戴者看到現(xiàn)實世界，并同時感知疊加其上的數(shù)字影像。例如，AR/MR設(shè)備可以呈現(xiàn)微型玩具恐龍正在咖啡桌上蹣跚而行的畫面。考慮到這一點，為AR/MR創(chuàng)建音頻變得有點棘手。

    比方說，假如我們希望小恐龍在爬上咖啡桌上的書本時發(fā)出一種可怕的吼聲。如果聲音聽起來不像是發(fā)生在房間之中，并有著獨特的聲學(xué)特性，音效就無法令人信服。你必須映射真實的房間，并且必須考慮聲學(xué)計算。在為虛擬現(xiàn)實開發(fā)音效時這不是問題，因為聲源完全存在于虛擬世界中的環(huán)境中。

    這是一個引人入勝的問題，同時是Magic Leap認(rèn)真考慮過的問題。借助他們稱之為“Soundfield Audio”的系統(tǒng)來應(yīng)用物理計算，設(shè)備可以根據(jù)環(huán)境產(chǎn)生適當(dāng)?shù)穆晫W(xué)效果。Magic Leap還獲得了一份空間音頻技術(shù)的專利，利用佩戴者的頭部動作來計算虛擬聲源的位置。下面這個視頻展示了Magic Leap的音樂可視化應(yīng)用程序Tónandi：

    Hololens也屬于AR/MR設(shè)備，因此面臨與Magic Leap One相同的許多問題。為了予以解決，Hololens采用空間音頻引擎來計算聲源位置，并結(jié)合個性化頭部相關(guān)傳輸函數(shù)（HRTF）。HRTF有助于本地化虛擬音景的所有聽覺組件。另外，Hololens創(chuàng)建了一個與用戶位置相匹配的房間模型，這樣聲音似乎可以在真實的墻壁反射出來并令人信服地前往佩戴者耳朵。當(dāng) 微軟 于明年年初發(fā)布下一代Hololens時，我們應(yīng)該可以期待這項技術(shù)得到進一步的優(yōu)化。下面是Engadget制作的視頻，他們詳細(xì)介紹了Hololens提供的音頻體驗：

    3. 混合現(xiàn)實的 空間音效

    我們正在等待下一代的 HoloLens ，而微軟則在忙于他們WMR平臺（允許第三方設(shè)備廠商根據(jù)現(xiàn)有的VR參考設(shè)計與軟件來開發(fā)VR頭顯）。盡管WMR平臺和HoloLens存在一定的共有元素，但WMR下面的VR設(shè)備則只提供標(biāo)準(zhǔn)的VR體驗，不具備任何AR/MR元素。HoloLens和WMR設(shè)備都采用Spatial Soud軟件開發(fā)套件來設(shè)計與實現(xiàn)定位音頻。這允許開發(fā)者通過相同的工具來為一系列的設(shè)備創(chuàng)建音景。這樣便利的條件顯然十分誘人，但HoloLens和WMR提供了非常不同的體驗，所以音頻開發(fā)者覺得需要記住這一點。下面是關(guān)于Spatial Sound SDK功能介紹的一個短視頻：

    4. 虛擬設(shè)備的定位音頻

    我們現(xiàn)在繼續(xù)討論當(dāng)前VR設(shè)備正在發(fā)生的事情。眾所周知，與AR/MR頭顯不同，VR設(shè)備切斷了我們與外部世界的聯(lián)系，令我們完全沉浸在在設(shè)備生成的環(huán)境中。目前市場為我們提供多樣化的VR設(shè)備選擇。

    最為熱門和著名的VR頭顯是 Oculus   Rift 和HTC   Vive 。這兩種設(shè)備都依靠定位音頻技術(shù)來提供出色的聽覺體驗，而且兩家企業(yè)都在不斷努力改進技術(shù)。

    2018年6月，HTC Vive推出了一個用于沉浸式音頻的全新軟件開發(fā)套件。新的SDK支持更復(fù)雜的音頻技術(shù)，如更高階的環(huán)境立體學(xué)聲，更高分辨率的音頻，更精致的空間聲學(xué)，以及基于真實世界模型的HRTF，可提高定位音頻的準(zhǔn)確性。

    Oculus Rift已經(jīng)升級了現(xiàn)有的音頻SDK，從而改善非常從接近玩家位置發(fā)出的定位聲音精確度。他們將其稱之為近場頭相關(guān)傳輸函數(shù)（Near-Field Head-Related-Transfer-Function；HRTF）。

    他們同時提供了大型聲源的選項，如海洋或森林火災(zāi)。借助Volumetric Sound Sources技術(shù)，大型發(fā)聲對象可以在與其比例一致的指定半徑上投射聽覺內(nèi)容。

    下面是一段來自O(shè)C4大會的視頻，其說明了Oculus Audio SDK的近場頭相關(guān)傳輸函數(shù)和Volumetric Sound Sources功能：

    作為唯一的主機專用VR設(shè)備，PSVR所面向的市場與Rift或Vive等設(shè)備不同，因此沒有面臨同樣的競爭壓力。盡管如此， 索尼 仍在繼續(xù)優(yōu)化PSVR的技術(shù)。最新型號的PSVR（去年年底推出）是一款經(jīng)過調(diào)整的版本，實現(xiàn)了一些小但有價值的改進。其中，索尼為頭顯添加了內(nèi)置立體聲耳機，無需玩家插入單獨的耳機即可體驗VR音頻。

    5. 一體機VR音頻

    現(xiàn)在我們快速過一篇VR一體機（即無需計算機，主機或智能手機即可運作的設(shè)備）。這種VR頭顯提供了無線的虛擬現(xiàn)實體驗，但它們通常不是十分強大和功能齊全。五款著名的VR一體機是Oculus Go，Oculus Quest，聯(lián)想Mirage Solo，HTC Vive Focus和Shadow VR。

    Oculus Go和聯(lián)想Mirage Solo，以及HTC Vive Focus和Shadow VR都已經(jīng)發(fā)售。Oculus最近發(fā)布了Quest，而設(shè)備有望在2019年春季上市。所有五款頭顯都采用了驍龍系列的高通智能手機處理器芯片，因此在這方面它們基本上采用了高端智能手機的內(nèi)部機制，而且只是簡單將其整合至板載硬件中。

    實際上，高通驍龍835同時也用于 三星 Galaxy S8，Google Pixel 2和許多其他智能手機型號。由于所有五款VR一體機都采用驍龍技術(shù)，因此開發(fā)者可以選擇Qualcomm Snapdragon VR軟件開發(fā)套件，其包括用于Unity的3D音頻插件（旨在為高通驍龍設(shè)備提供高性能音頻）。高通同時提供了一套3D音頻工具，可搭配Pro Tools等數(shù)字音頻工作站。盡管這不是唯一的選擇，但由于它們是由負(fù)責(zé)驍龍?zhí)幚砥鞯墓鹃_發(fā)，因此工具的設(shè)計和功能可能有所增益。

    6. 移動VR音頻

    如果你在亞馬遜搜索“Mobile VR Headsets”，你將發(fā)現(xiàn)一系列令人眼花繚亂的頭顯模型，它們都圍繞“插入你的智能手機手機”進行構(gòu)建。這種頭顯依賴于智能手機的處理技術(shù)，并且存在眾多的型號選擇。一般來說，如果存在特定于某款移動VR頭顯型號的SDK，你應(yīng)該予以考慮。例如，Oculus Audio SDK是面向三星 Gear VR ，Oculus Go和Oculus Quest，因為這三款設(shè)備都是Oculus設(shè)計的VR系統(tǒng)。同樣，來自 谷歌 的全新Resonance Audio SDK是任何谷歌頭顯的優(yōu)秀選擇，如 Daydream View ， Google Cardboard 和聯(lián)想Mirage Solo等等。以下是谷歌制作的Resonance Audio SDK演示視頻：

    7. 總結(jié)

    以上就是我們對當(dāng)前VR和AR/MR平臺的討論。在下一篇文章中，我們將重點介紹VR游戲音頻工作者的技巧和工具。我希望你喜歡這篇文章，請在下面評論欄留下你的看法。

        文章來源：映維網(wǎng) 如轉(zhuǎn)載請標(biāo)明出處

    原文鏈接 ： https://yivian.com/news/53322.html