跳到主要內容區

用鋼琴彈出一棵樹 中山大學首創音樂作畫

觸動琴鍵,螢幕上居然慢慢長出一株小草?!國立中山大學音樂學系教授應廣儀和機械與機電工程學系教授程啟正首創跨領域「音樂作畫」,透過偵測樂器的頻率、振幅與漸強漸弱等聲音參數,利用演算法轉換成視覺上的點、線、面;在樂曲演奏時藉由「觸發音」同步呈現動畫,讓音樂與畫作合而為一。這項跨域合作未來可望應用於互動遊戲、醫療復健與藝術治療等領域。

「音樂作畫」跨域合作為國內數位科技與互動藝術跨界一大創舉。中山音樂系與機電系合組的研究團隊先作曲、構思故事內容,接著用電腦畫出500張圖,其中31張圖需透過一個小節的音串觸發,靠著數學方式「快速傅立葉轉換」(Fast Fourier Transform, 簡稱FFT)辨識音串。「鋼琴只要彈到某些段落旋律,樹長出來、打雷、雲朵飄等這些動畫就被啟動!」中山機電系教授程啟正說。

中山大學跨域研究團隊投入半年終能展示成果。團隊中,機電系大四學生徐浩崴本身對「錄音工程」就很有興趣,還在校外自組搖滾樂團。大三時他因修習程啟正教授的「機電實作專題研討」得知這項跨域合作,自告奮勇加入。徐浩崴表示,「音樂作畫」最困難的部份就是錄音品質,因為每台鋼琴的琴音都不同,另外像是收音時麥克風的高度、鋼琴當時擺放的位置,只要稍微不一樣,電腦接收到的品質就不同。「有時演奏者也會彈錯一兩個音」,徐浩崴說,這些微小誤差都會成為啟動動畫的障礙。

「這是非常創新的嘗試」,中山音樂系教授應廣儀指出,目前許多聲音與影像的結合,是將現成的音樂用後製的方式搭配影像播放,並非當下體驗;即便有當下體驗的視覺效果,但都非常抽象,無法具體呈現一個敘述性的情節。本次由音樂團隊負責樂曲的創作與演出,科技團隊則主導音樂元素的採集、偵測與互動程式設計,每個蒐集到的聲音參數就像一支畫筆,代表不同的元素在畫布上構圖,隨著音樂進入不同橋段而有不同的情感與視覺效果,兼具互動藝術的內涵及趣味。
發佈日期: 2017-09-11
瀏覽數: