《Disney +》 迪士尼、Marvel、彼思、星球大戰…  《決勝時刻:先鋒》將於11月5日上市   碧藍幻想GRANBLUE FANTASY更新! 12月和多啦A夢合作!   東京「TOKYO eSPORTS FESTA 2022」確定舉辦!這回線上線下同步開跑!   《Destruction AllStars》訪談:PS5技術讓競技車手栩栩如生   OlliOlliWorld:新的炙岩生物群落現已揭曉,已確認PS5採用120fps   30名玩家規模的大逃殺遊戲《Hunter’s Arena》將於8月3日登陸PS4與PS5   魔物獵人崛起發售在即!3/8、3/9連續2日舉辦「魔物獵人」系列線上數位活動!   尊爵不凡!重現《勇者鬥惡龍 達伊的大冒險》大魔王巴恩的西洋棋軍隊「哈德拉禁衛騎團 銀製西洋棋組」發售確定! 

【專訪】愜意居家盡享劇院級音效:認識新世代3D音訊技術的領航者

科技

為使觀眾盡情享受電影、體育賽事、現場活動等內容,家用智慧顯示器除了應具備出色的畫質,震撼人心的音質亦不可或缺。業界一線大廠體認到這一關鍵,紛紛投入開發3D音效,提升娛樂體驗的沉浸感-使驚險的動作場景栩栩如生,並重現最細微的環境音。

 

簡言之,3D音效能使聽眾聲歷其境。過去僅電影院或錄音室等特定場所才配備3D音效,如今該項技術逐漸普及至一般住宅,讓觀眾透過令人耳目一新的方式,體驗最喜愛的影音內容。

 

自2020年起,三星旗下的前瞻研究機構-三星研究院,即致力推動3D音訊技術普及。為此,三星攜手Google開發沉浸式音訊模型和格式(IAMF),其為一種先進的3D空間音訊技術,並於2023年10月為開放媒體聯盟(AOM)(註一)所採用。三星新聞中心專訪IAMF技術幕後開發團隊,回顧該項技術的誕生歷程。

 

▲ 三星研究院視覺技術團隊引領音效技術標準的制定。
(左起)SungHee Hwang、JeongHoon Park與WooHyun Nam。

 

 

在家中享受3D音效的新途徑

環境音無所不在-從鞋子踩踏在人行道上的腳步聲,到汽車駛過路面低吟的隆隆聲。這些噪音並非媒體的必要元素,但卻是提升空間層次與臨場感的重要靈魂。3D音效的作用,在於將環境音與對話、其他音效無縫融合,交織出更生動逼真的娛樂體驗。

 

三星研究院視覺技術團隊成員WooHyun Nam表示:「3D音訊藉由調整聲音的強度、動向與振動,令人宛若置身場景之中。透過此方式,觀影者能享受豐富多層次音效,捕捉周圍世界的3D面向。」

 

▲三星研究院視覺技術團隊成員SungHee Hwang。

 

儘管3D音效獨具優勢,但由於技術限制,其難以應用於家庭音響設備。三星研究院視覺技術團隊成員SungHee Hwang表示:「影音內容的3D音效資訊,無法被電視揚聲器或sound bar等家用音響系統正確地解讀,導致最終的音效體驗無法百分百重現細節,帶有些許的美中不足。」

 

為解決此問題,三星與Google聯手開發全新的音效解決方案,將製片者的嘔心之作原汁原味呈現給觀眾。Nam說明:「若設備製造商可解讀3D音效數據,便能調整音訊裝置的聲音-使家中的智慧顯示器揚聲器或sound bar傳遞如臨實境的音效體驗。藉由配合家庭設備的配置環境調整音訊,聽者可一飽耳福,完整感受創作者的原始意念,毫無任何失真或音質減損。」

 

欲使創作者和設備製造商間順利地雙向傳送和接收音訊數據,有賴於雙方採用統一的標準。三星研究院執行副總裁暨視覺技術團隊負責人JeongHoon Park表示:「三星和Google各自在裝置和內容領域獨霸一方,使兩大巨擘成為催生IAMF技術的絕佳拍檔。為使消費者在家中也能享受3D音效,雙方合力開發前所未有的新技術,為實現此夢想奠定基石。」

 

 

IAMF技術的三大特點:垂直音效、AI音效、客製化音效

IAMF技術具備三大獨特功能強化音效體驗。

 

▲三星研究院視覺技術團隊成員WooHyun Nam。

 

1.垂直傳達聲音的能力

過去的開源音訊編解碼器僅支援水平方向的聲音傳遞。如今,在IAMF技術的支援下,音訊亦能以垂直方向傳遞,使聲音具有多重方向性。Nam談到:「IAMF技術讓聽者感受前方、後方、兩側以及上下方的聲音流動,營造更栩栩如生的音效。因此,當IAMF技術應用於家用顯示器揚聲器和sound bar時,它能讓聽者透過家用電視,聽見鳥兒振翅飛越頭頂的音效聲。」

 

2.AI場景分析與3D音效

IAMF技術利用AI和深度學習技術,分析場景並突顯內容的特定部份-調整音訊的輸出電平,便能在整個觀影過程強化聲音表現。Nam表示:「以電視和電影而言,配樂或背景音樂是某些場景的焦點。在這些情況下,此技術能平衡聲音表現。同樣地,出現人聲對話時,該項技術將微調音訊,使聽眾專注於對話內容。」

 

此外,不論設備的配置環境如何改變,IAMF技術都能提供最佳音效。Nam補充:「此技術可根據設備的配置環境調整場景分析的音訊數據,使聽者能夠在標準家用電視上享受內容的原始音質。」

 

3.高度客製化音訊

用戶可借助IAMF技術依個人喜好自由調整音效。無論觀眾希望強調動作場景的音效,或強化人物的對話聲,均能透過該技術靈活自訂內容的音訊表現,獲得更上層樓的個人化體驗。

 

▲IAMF技術可分析來自內容的數據,並能讓用戶調整、自訂音訊的設定值。
觀看體育賽事時,用戶可直接選擇強調賽評談話或賽場實況聲。

 

 

開源IAMF全面支援產業3D音效

欲建立一體適用的產業標準,開源至關重要。IAMF是AOM首次採納的開源音訊技術標準,這表示產業內的企業和獨立內容創作者,皆可使用該項技術並延伸應用範疇。

 

Nam說:「為了讓人們以3D音訊技術自由創作內容,相關技術應開放給所有人使用。從創作、交付到播放,為3D音訊建構完整的開源框架,將可實現多元化的音訊內容體驗。」

 

同樣地,Park強調IAMF技術對音訊產業未來態勢的深遠影響。他指出:「由於我們生活在內容創作主導的時代,IAMF技術將為3D音訊生態圈的走向、擴展與轉型注入動力。」

 

 

一加一大於二,合作締造雙贏

IAMF技術研究工作於2020年展開,歷時近四年完成。在堅持不懈的努力下,團隊抵達成功彼岸。

 

Hwang表示:「由於此專案執行涉及連日不間斷的作業,加上兩地辦公室的時差,有時我們需夜間加班。儘管遭遇這些挑戰,最終成果令我自豪不已。這是與異國開發人員合作的寶貴機會。」

 

一路走來,團隊建立起袍澤般的革命情誼,為雙方關係奠定互信互諒的堅實基礎。Park回憶道:「有位Google員工提到他與三星共事的經歷,是其至今最愉快的一次合作。此專案之所以能圓滿完成,全仰賴於雙方團隊建立的互信關係。我為雙方團隊成員的努力與合作默契,感到無比自豪與感謝。」

 

▲企業執行副總裁暨三星研究院視覺技術團隊負責人JeongHoon Park。

 

此外,各方團隊成員的獨特技能和專業素養,對於IAMF技術的創建功不可沒,Park對此給予高度肯定:「WooHyun Nam在提出技術開發理念方面發揮長才,而SungHee Hwang則以清晰的思路,歸納與記錄團隊提出的構思。」

 

 

擘畫Samsung Sound願景

隨著新技術的發布,三星研究團隊意識到3D空間音訊的標準化,揭開了音效技術的新紀元。

 

Nam提到:「歸功於IAMF,我們得以展開技術研究,為音訊領域的發展開啟無限的可能性。」三星研究院團隊亦朝相同方向邁進,為該項技術在行動裝置、元宇宙、電玩等各領域的未來應用,如火如荼開發IAMF技術的進階版本。

 

▲結合眾人堅持不懈的努力,三星研究院視覺技術團隊成功制定3D音訊的新標準。

 

IAMF技術的成功經驗,激勵三星研究團隊百尺竿頭、更進一步,為消費者打造更卓越的音訊技術。每位團隊成員分享其對3D音訊懷抱的未來願景。

 

Nam以追求更具臨場感的音訊技術為職志,他指出:「我想創造一項更先進的3D音訊技術,讓用戶感覺彷彿走進電影、電視節目或現場活動的情境中。我也希望繼續此項研究,直至3D音訊技術應用於三星智慧型手機。」

 

Hwang則從更廣的層面,闡述他期望三星能打造出無與倫比的音訊技術,躋身一流音響品牌行列。他談到:「我的目標是開發一種高辨識度、讓消費者一聽便知是『Samsung Sound』的技術。我樂觀地認為,IAMF標準是實現此夢想的墊腳石。」

 

Park如此表示:「我希望三星的音效技術,能讓消費者享受與當前視覺效果相得益彰的升級音效體驗。我希望內容創作者能善用三星的音訊技術,使配備3D音訊的內容變得更普及。此外,我們志在提供研究人員堅強的後盾,使其勇於接受大膽、令人興奮的挑戰,例如擴展三星的音效技術。」

 

諸如IAMF等技術標準,將使觀眾享受更「聲」臨其境的娛樂。三星研究團隊亦積極投入相關技術研究,為未來的創新變革鋪路。

 

 

註一:非營利性的產業聯盟,旨在於開發與分享多媒體傳輸技術,使創作者得以利用該項技術,擺脫成本的後顧之憂。該聯盟由三星電子、Google、Amazon、Apple和Meta等38家企業共同營運。

Samsung

隨機科技新聞

Disney Plus