打開網(wǎng)易新聞 查看精彩圖片

新的 VR 音樂技術(shù)讓音樂家可以使用逼真的頭像和智能手機同步、無延遲地一起演奏。

打開網(wǎng)易新聞 查看精彩圖片

一個新平臺讓音樂家們可以在虛擬現(xiàn)實中一起排練和表演,并擁有實時同步和富有表現(xiàn)力的虛擬形象。(圖片來源:ARME 項目)

如今,世界各地的音樂家們距離實時同臺演出的激情又近了一步——無需身處同一房間。一項新技術(shù)正在改變音樂的創(chuàng)作、練習和教學方式,它將視頻錄制轉(zhuǎn)化為栩栩如生的虛擬表演。

這一突破將現(xiàn)場音樂的節(jié)奏與虛擬現(xiàn)實的力量融為一體,帶來超越物理界限的生動而個性化的音樂體驗。

一起演奏音樂的新方式

聯(lián)合活躍音樂會議(簡稱 JAMS)是一個虛擬音樂平臺,旨在讓遠程演出更具真實感。該平臺由一個研究團隊開發(fā),允許音樂家使用虛擬角色在虛擬空間中排練、表演和教學。這些數(shù)字角色模擬真實人類的動作和表現(xiàn)力,讓藝術(shù)家能夠像在現(xiàn)場一樣進行互動。

打開網(wǎng)易新聞 查看精彩圖片

庫爾四重奏樂隊在弦樂器上演奏時,使用了動作捕捉標記。他們周圍環(huán)繞著動作捕捉攝像機。(圖片來源:瑪麗亞·維泰克)

要加入演奏會,音樂家只需一部智能手機錄制自己的演奏,并戴上虛擬現(xiàn)實耳機。軟件會將視頻轉(zhuǎn)換成虛擬形象,與其他用戶完美同步演奏。音樂家們可以在恰當?shù)臅r機看到彼此的動作——例如小提琴手琴弓的傾斜或關(guān)鍵的手勢。

這種精準的協(xié)調(diào)至關(guān)重要。在現(xiàn)場音樂中,演奏者之間哪怕是最輕微的延遲都可能打亂節(jié)奏和注意力。這種延遲,也就是所謂的“延遲”,即使只有10毫秒,也可能會造成問題。但JAMS徹底解決了這個問題。

“延遲是指聲音從發(fā)出到到達聽眾之間的延遲,”該平臺的創(chuàng)始人之一、伯明翰大學的馬克斯·迪·盧卡博士說道?!氨硌菡呱踔習惺艿降椭?10 毫秒的延遲的影響,這會讓他們節(jié)奏失調(diào)、注意力分散,或者讓他們無法專注于演奏的技術(shù)細節(jié)。”

有了 JAMS,每一次節(jié)奏都恰到好處,每一次眼神交流和動作都自然流暢,每一次會議都如同親臨現(xiàn)場般輕松愜意。體驗流暢自然,無任何中斷或延遲。

捕捉現(xiàn)場演奏的感覺

JAMS 遠不止簡單的視頻分享。它使用能夠?qū)崟r響應的虛擬形象,為表演者提供重要的視覺提示。這包括一些細微卻重要的元素——例如眼神交流或肢體語言——幫助音樂家在演奏時保持同步并進行交流。這種共同臨場感是音樂的核心。

與傳統(tǒng)的視頻通話不同,VR 頭戴設(shè)備能夠提供高度沉浸式的體驗。它將音樂家置于一個共享的虛擬空間中,他們的虛擬形象可以像身處舞臺或排練室一樣進行互動。即使將面部與視線齊平,也能增強表演者之間的聯(lián)系。

這種視覺精準度不僅提升了真實感,還能促進學習。近距離觀察技藝精湛的音樂家的演奏,可以幫助經(jīng)驗不足的演奏者更快地提高水平?!澳憧梢哉{(diào)整其他人演奏的虛擬形象,或者通過與大師練習來提高演奏水平,”迪·盧卡博士說道。

打開網(wǎng)易新聞 查看精彩圖片

計算機展示了 ARME 中栩栩如生的
虛擬形象的數(shù)字化創(chuàng)作過程。(圖片來源:Maria Witek)

為音樂家建立社交網(wǎng)絡

JAMS 的愿景遠不止于虛擬練習課程。它旨在打造一個數(shù)字空間,讓音樂家們能夠相互交流、表演、教學,并作為一個社群不斷成長。它或許會成為類似 Spotify 或 Myspace 的音樂版,人們可以在這里相聚創(chuàng)作音樂、分享作品,甚至為更廣闊的虛擬觀眾表演。

該平臺專為音樂人打造——無論他們是經(jīng)驗豐富的專業(yè)人士還是初出茅廬的新手。這種包容性正是 JAMS 的優(yōu)勢之一。它為初學者提供了提升的空間,同時也為高級演奏者提供了專業(yè)演奏的工具。

這些虛擬形象并非只是擺設(shè)——它們是利用增強現(xiàn)實音樂合奏團 (ARME) 項目期間創(chuàng)建的特殊算法構(gòu)建的。該項目匯集了心理學、計算機科學、工程學、音樂、運動科學和數(shù)學等多個領(lǐng)域的專家。

他們共同構(gòu)建了一個模型,能夠捕捉真實音樂家復雜的節(jié)奏和動作。最終,他們打造出了一個反應靈敏的虛擬形象,能夠以驚人的精準度匹配人類對應的肢體動作。

從練習室到重大機遇

JAMS 不僅僅是一個練習工具,它還開啟了許多其他用途的大門。它可以調(diào)整用于電視或電影中的唇形同步和配音。它還能收集表演數(shù)據(jù),用于創(chuàng)建音樂家的數(shù)字“孿生”。這些數(shù)字版本可以授權(quán)用于游戲、動畫或虛擬音樂會,為藝術(shù)家提供更多分享和獲利的方式。

這也可能改變音樂版權(quán)的處理方式。數(shù)字化身演繹真實作品或許能讓音樂以新的方式跨平臺分享,為出版商提供更多控制權(quán)和發(fā)行選擇。

教育發(fā)展方面也蘊藏著巨大的潛力。音樂教師可以使用 JAMS 為學生創(chuàng)建練習伙伴,幫助他們提升節(jié)奏感、技巧和音樂表達能力。學生可以與以著名演奏家為原型的虛擬人物互動,讓學習更加有趣,更具親和力。

打開網(wǎng)易新聞 查看精彩圖片

激光雷達(LiDAR)捕捉音樂家的3D數(shù)據(jù),為虛擬現(xiàn)實和增強現(xiàn)實表演創(chuàng)建逼真的虛擬形象。(圖片來源:Maria Witek)

邁向音樂的未來

JAMS 的優(yōu)勢在于它能夠重現(xiàn)現(xiàn)場音樂的情感和技術(shù)體驗。通過消除延遲、捕捉肢體語言并提供交互式虛擬世界,它可以幫助音樂家感受到真正的聯(lián)系——無論他們相距多遠。

這個平臺不僅僅是一個科技項目,更是一場邁向未來的運動,人們將以前所未有的方式創(chuàng)作和分享音樂。無論是通過遠程即興演奏、虛擬教學,還是大型數(shù)字音樂會,JAMS 都在重塑音樂世界。

正如迪盧卡博士所解釋的那樣,“我們的目標是將親身演奏音樂的魔力帶入虛擬世界。”

免責聲明:

本文所發(fā)布的內(nèi)容和圖片旨在傳播行業(yè)信息,版權(quán)歸原作者所有,非商業(yè)用途。 如有侵權(quán),請與我們聯(lián)系。 所有信息僅供參考和分享,不構(gòu)成任何投資建議。投資者應基于自身判斷和謹慎評估做出決策。 投資有風險,入市需謹慎。

關(guān)注我們,一起探索AWM!

2025-04-03

2025-04-02

2025-04-02