伴隨著近幾年AR與VR市場的大爆發(fā)，許多與之關(guān)聯(lián)的影音技術(shù)亦逐漸受到各方關(guān)注。伴隨著VR技術(shù)的發(fā)展，其相關(guān)的模擬環(huán)境、感知、自然技能和傳感設(shè)備等方面的技術(shù)亦隨之得到極大的發(fā)展。如何增加VR使用者的沉浸感使得整個虛擬環(huán)境表現(xiàn)更加真實？VR全景聲效能夠幫助到廣大的影音愛好者。
VR全景聲是什么?為什么會出現(xiàn)這種技術(shù)？
在現(xiàn)實生活中，人一般會有五感：觸覺、味覺、嗅覺、視覺和聽覺。然而在VR使用者體驗虛擬現(xiàn)實環(huán)境時，所能運(yùn)用到的往往只有兩種：視覺和聽覺。伴隨著現(xiàn)代顯示技術(shù)的提升，聲效技術(shù)如何才能緊跟其步伐共，同發(fā)展創(chuàng)造出最完美的VR技術(shù)呢？在VR的世界里，視覺和聽覺的比例各50%，因為現(xiàn)代的顯示技術(shù)已經(jīng)提升到一個較高的層次了，VR生產(chǎn)與技術(shù)商想要繼續(xù)提升VR的沉浸感就只能從聽感方面入手，因此VR全景聲就開始逐漸被廣大技術(shù)廠商留意。
聲音在很多媒介中都屬于從屬的地位，從電影到游戲等等的娛樂媒體，聲音似乎都是以一種配合畫面的形式出現(xiàn)到大眾心目中。為了增強(qiáng)音效所處的地位，增加試聽者的感受，由此VR全景聲，3D音效，沉浸式音頻等等的理念逐漸被影音業(yè)界提出并且被開發(fā)出來。
最簡單的理解，當(dāng)我們處在環(huán)境中，從不同的角度聽同一個聲源所得到的聲音是不同的。在整個環(huán)境中，聲源和其所在的位置、時間信息共同構(gòu)成一個聲場。記錄了聲場數(shù)據(jù)，也就知道了整個環(huán)境的聲音狀態(tài)，VR全景聲正是解決如何還原視頻場景聲的問題。全景聲場不僅可以模擬VR里面的音場，還原視頻中場景的聲音，增加沉浸感，更能引導(dǎo)觀眾的注意力。
伴隨著VR技術(shù)的發(fā)展
2016年被稱為VR的發(fā)展元年，從產(chǎn)業(yè)的生態(tài)角度看，VR產(chǎn)業(yè)已經(jīng)將從技術(shù)到硬件內(nèi)容全部變成可以使用的現(xiàn)實，而不僅僅是一個概念。由于VR系列的產(chǎn)品擁有巨大的潛在市場，各大商家紛紛投資涌入這片VR技術(shù)的浪潮。
2014年6月網(wǎng)絡(luò)巨頭谷歌率先推出Google Carboard——一款以紙盒制造的可折疊智能手機(jī)頭戴式顯示器，可以使用手機(jī)提供虛擬實境體驗。
2014年7月，F(xiàn)acebook宣布以20億美元的價格收購VR技術(shù)商Oculus，在外界看來無疑是一場為未來買單的措舉。另一方面，國內(nèi)企業(yè)也紛紛將視線聚焦到VR技術(shù)，阿里巴巴、百度、小米、騰訊等國內(nèi)互聯(lián)網(wǎng)巨頭亦希望能夠構(gòu)建國內(nèi)的VR產(chǎn)業(yè)。即便是沒有VR技術(shù)的知名網(wǎng)絡(luò)企業(yè)如華誼兄弟、迅雷科技、樂視、暴風(fēng)科技等等亦通過資本投入涉足到VR產(chǎn)業(yè)中。對VR產(chǎn)業(yè)的投資無疑是直接對VR行業(yè)打了一劑強(qiáng)心針，伴隨著VR技術(shù)的發(fā)展，VR全景聲也在其中分到了發(fā)展投資的一杯羹。
其實全景聲的概念早已經(jīng)在影音界為大眾所知，2012年杜比實驗室研發(fā)了杜比全景聲。它突破了傳統(tǒng)意義上5.1、7.1聲道的概念，能夠結(jié)合影片內(nèi)容，呈現(xiàn)出動態(tài)的聲音效果。不同于以往一路音頻信號控制影院中一側(cè)音箱發(fā)出相同的聲音，它可以使一側(cè)的多個音箱逐個發(fā)出不同聲響，更真實的營造出由遠(yuǎn)及近的音效；配合頂棚加設(shè)音箱，實現(xiàn)聲場包圍，展現(xiàn)更多聲音細(xì)節(jié)，提升觀眾的觀影感受。之后，杜比實驗室和在線全景視頻資源網(wǎng)站Littlstar宣布，Littlstar的VR觀影應(yīng)用將會在今年秋季開始支持杜比全景聲，帶來沉浸式聲效體驗。
今年5月Nvidia推出了VR Work開發(fā)包，能夠基于物理聲音技術(shù)，使用光線追蹤對環(huán)境進(jìn)行渲染，之后該技術(shù)也被運(yùn)用于聲音渲染中，旨在創(chuàng)建精確的物理聲波反饋。之后，AMD也順應(yīng)潮流，開發(fā)了一個TrueAudio Next。
獨(dú)特的聲音制作過程
目前，VR全景聲場的制作方式為兩種，一是現(xiàn)場收聲，二是后期制作。VR視頻中加入配合全景視頻制作聲音是一個新的挑戰(zhàn)，雖然可以借鑒傳統(tǒng)音頻制作的經(jīng)驗，但是全新的錄制方式與完全不同的后期合成處理方式，帶來了新的需求和新的技術(shù)難點(diǎn)。現(xiàn)場收聲時，因為環(huán)境因素的影響，采集商可能收集不到完美的聲音，而且干擾源不能自行控制，采集者亦不好控制那些聲音需要增強(qiáng)那些聲音要弱一些。
但若是后期制作，聲音會很純凈，但是后期制作聲音的工作量會非常大，而且成本高。全景聲錄制之后還需要后期加工，比如需要將音軌的相位和VR視頻畫面相位進(jìn)行匹配，以使得具體的某個徑向來源的聲音和對應(yīng)的畫面在觀看時，來自同一個源。在VR影視中，專業(yè)人員需要能夠精準(zhǔn)還原全景聲場中所有聲源的位置、方向、距離和運(yùn)動軌跡，這需要大量音軌來支撐VR所需的聲音細(xì)節(jié)。
高質(zhì)素的音效離不開高素質(zhì)的技術(shù)，時代拓靈,國內(nèi)唯一一家能夠?qū)⑷耙曨l和全景聲音打包制作的公司。推出了拓靈VR360聲場錄制機(jī)，和拓靈VR全景聲引擎（Twirling VR Audio SDK）這兩大核心產(chǎn)品。為了滿足立體聲被動式接收的不同，VR全景聲將需要滿足觀眾頭部旋轉(zhuǎn)和經(jīng)常改變角度的需要，最大程度創(chuàng)造沉浸式的體驗。利用獨(dú)有的全景聲場模擬算法，將環(huán)境聲和虛擬聲源精確的還原在三維空間里。
支持頭部旋轉(zhuǎn)和移動下的聲場重建。特別適合對運(yùn)算復(fù)雜度有較高要求的移動端應(yīng)用。也是真正的跨平臺引擎，可以靈活的用于Android/iOS/Windows/Mac OS以及unity等各個平臺。產(chǎn)品的架構(gòu)十分高效，理論上可以同時提供128軌的音頻，并根據(jù)陀螺儀給出的頭部旋轉(zhuǎn)和位置等信息，隨時加入音源，并“實時渲染” 。
剛獲得數(shù)百萬天使投資的森聲科技，主要的研發(fā)產(chǎn)品為基于雙耳錄音（Binaural recording）技術(shù)的VR音頻采集設(shè)備，以及基于人頭傳遞函數(shù)（HRTF）的聲場模擬軟件，可應(yīng)用于VR影視、游戲、新聞、娛樂和體育現(xiàn)場直播。首先用他們的采集設(shè)備錄制聲音，之后把音軌導(dǎo)入視頻軟件對位和編輯視頻，成片輸出后，在播放中調(diào)用森聲的SDK，以便能正常播放出全景聲。
之所以說簡便，是因為森聲的方案中，采集設(shè)備輸出的是正常的音軌，唯一的區(qū)別就是數(shù)量比較多，成片也是H.264壓縮格式的“.mp4”視頻文件，整個流程不會打破原有的視頻制作流程。
VR全景聲帶來的聽覺革新
VR全景聲為廣大的VR和影音愛好者提供了一個擴(kuò)展的虛擬現(xiàn)實，它超越了原有游戲設(shè)備在視覺上的局限，為使用者提供了360°無死角的聽感體驗。聲音往往可以引導(dǎo)人的注意力，有了VR全景聲效之后，用戶的注意力會大大提高，增加用戶的沉浸體感。
對于許多VR游戲玩家來說一個沒有VR全景聲的VR游戲是失敗的，VR設(shè)備的畫面往往可以將玩家?guī)胗螒虻氖澜绮⑶页两渲?。然而，失敗的音效表現(xiàn)卻將他們生生拉回到現(xiàn)實世界，因為所有的聲音都是從同一個聲源發(fā)出的，而且音效的表現(xiàn)非常僵硬。絲毫沒有體現(xiàn)諸如物體由遠(yuǎn)到近飛過，走進(jìn)建筑物時的附近的聲音變化等等的細(xì)節(jié)音效。
使得一款制作精美，情節(jié)優(yōu)良的游戲總是差這么一點(diǎn)“火候”。另外，聲音往往是營造環(huán)境氛圍的必要成分，但僅僅止步于營造氛圍嗎？能否在VR游戲中實現(xiàn)聲控人物角色,讓玩家更融合到游戲世界中，顯然，使用語言數(shù)據(jù)庫是個解決的方法。其實在VR里，VR聲效所表現(xiàn)的最重要的是位置信息，VR全景聲所表現(xiàn)的是聲音在VR空間的運(yùn)用與作用。
舉個例子，倘若使用VR設(shè)備玩反恐精英，你帶著游戲外設(shè)模擬的槍支，忽然附近傳來軍靴踩踏地面的腳步聲。找一個藏身之所！這是引起玩家行動的第一反應(yīng)。這樣的游戲是不是會讓你感覺到真正的身臨其境，緊張刺激猶如一個真正持槍者？由VR技術(shù)帶來的VR全景聲，無論是聲效的音質(zhì)還是聲距感都需要能夠完美表現(xiàn)出來，用戶在使用時能夠輕易“聽”到自身所處的位置。
VR全景聲的真實感受
在VR游戲里就有一個主題先天就有VR聲音指令的優(yōu)勢，即VR恐怖。每當(dāng)夜幕降臨的時候，氣氛及詭異的聲音渲染之下，鬼這個詞就會在心底按捺不住的滋生。當(dāng)人類對于未知的恐懼在VR環(huán)境中被無限放大時，你是否還會認(rèn)為這只是一個游戲？VR全景聲可以帶給你在空蕩蕩的房子里卻傳出樓上有腳步踩踏木質(zhì)地板的咯吱聲的感受。
VR全景聲效所帶來的其實就是視覺+聽覺的組合，區(qū)別于傳統(tǒng)的3D環(huán)繞聲效，全景聲可以打造出不同層次的聲音效果，體驗者甚至可以在其中感覺到超越耳朵靈敏度的體驗。筆者曾經(jīng)體驗過貞子紀(jì)念版本的VR電影，臨場驚悚！在VR中竟然可以聽到這種令人毛骨悚然的鬼聲，不僅近在眼前，更“近在耳前”。
