用面板“聽”音樂,網友戴上這款裝備聽音樂會:彷彿住在鋼琴裡

語言: CN / TW / HK

貝多芬失聰後繼續創作的故事相信大家都聽過。

《致愛麗絲》、《英雄交響曲》、《田園交響曲》等等作品都堪稱經典。

那你有沒有想過,他究竟是如何做到的?

初中物理課上,老師告訴我們:失去聽力的貝多芬,用牙咬住木棒一端,另一端頂在鋼琴上,以此感受鋼琴的震動,堅持創作。

而現在,科學家的最新研究恰好也證實了這一點: 音樂不僅可以聽,還能摸

甚至,聾人音樂家們還能通過觸覺,理解音樂傳遞的複雜情感。

聽不見也能享受音樂

對於聽力正常的人來說,當特定頻率的振動(20Hz-20000Hz)通過空氣傳播,並被耳蝸中的微小感官細胞捕獲時,我們就能聽到聲音。

但其實,聲音也可以通過觸覺來感受。如果你去過狂熱的音樂會現場,就能感覺到:那些刺激的音樂不僅衝擊著你的耳膜,甚至能帶動你身體跟著搖擺。

沒錯,面板能直接感受到聲波產生的壓力,同時聲波也能通過吉他撥片、舞臺地板等中介,傳遞到人的手、腳、身體,甚至可以深入骨骼和內腔壁(如肺和胸部)之間的膜。

因此,有些聽障人士在聽音樂會時,會用手扣緊氣球表面,通過薄橡膠的震動更好地感受音樂。

多倫多城市大學心理學教授、音樂家 Frank Russo 在研究中還發現: 耳朵聽不到的人觸覺往往更敏感

在聽障人士的大腦中,聽覺皮層經常以另外的方式被重新利用,它會重新連線來自其他感官的訊號,比如觸覺和視覺。

尤其對於那些後天性耳聾的人來說,整個大腦會重新調整,以適應聽力損失。例如,一個涉及注意力的神經網路被發現與協調運動反應、視覺系統和記憶力的神經網路聯絡更緊密。

而通過觸覺感受音樂的好處是,觸覺能有效地傳遞節奏。Russo 通過腦電圖的對比發現,無論是通過耳朵聽還是觸覺摸, 兩者感受到的音樂節奏都是基本相同的

不僅如此,觸控還可以感受到音樂中的其他資訊,比如可以通過振幅大小感受音量變化。

至於能否感受到音樂中的複雜情感,Russo 表示: 絕大部分可以感受到 。具體來說,低頻振動傳遞的情感更多,高頻振動則聽上去沒什麼情感。

來自馬拉加大學的 Byron Remache-Vinueza 形象地描述了這一感覺:

把音樂從聲音切換到振動,就像把一道媽媽做的最好吃的菜換成了湯,兩者只是一種不同的體驗罷了。

值得一提的是,截至目前,用觸覺感受音樂的方法已經改變了很多聽障人士的生活。

改變人生的技術

利物浦大學的音樂振動專案 (Musical Vibrations) 是一個專門提供將音樂轉化為振動的裝置的組織,該組織曾把他們的技術提供給聾啞說唱歌手 SignKid。

研究團隊將他的一首歌曲匯入裝置中, 將吉他、踢踏鼓和小軍鼓的聲音轉換為振動 ,讓 SignKid 光腳踩在兩個振動器上,通過他的腳跟和前腳來感受音樂。

“我喜歡這個,”SignKid 告訴音樂振動團隊,“這真的能給我自信。”

最後,SignKid 用該團隊借給他的裝置, 製作了他的個人 EP《視覺體驗》

震動器還只是簡單的操作,一家醫療保健公司設計了一款可穿戴裝置 —— 把一系列感測器綁在人的背部、肩膀、腰部、腳踝以及手腕處,外表看起來像安全帶和揹包的組合, 可以用於放大和傳輸不同頻率的振動

這套裝備已經在拉斯維加斯市中心的一場音樂會上進行過測試,參加測試的聽障人士都表示,他們感覺身體變成了樂器,音樂正在通過這些樂器被演奏出來。

▲ 來自 [email protected] Impossible

一位聽障人士在佩戴裝置體驗了貝多芬的《月光奏鳴曲》第三樂章後,說自己就像是“ 住在鋼琴裡 ”。

但是,儘管通過觸覺感受音樂已經得到了驗證,在這個過程中還是遇到了一些問題。

仍需改進

想要用觸覺感受音樂,遇到的第一個問題是: 音樂的頻率和振動的頻率並不能完全對應

相比於我們的耳朵對 2000Hz-5000Hz 的聲音最敏感,振動傳遞的聲音範圍卻通常在 5Hz-1000Hz 之間。

這意味著,許多耳朵能聽到的高音不能被觸覺捕捉到,或者說不能被精確地識別。相反,我們可以用觸覺感覺到某些低音,即使我們聽不到它們。

而將現有音樂轉換成振動的第二個障礙是 如何區分不同的聲音

南安普頓大學聲音與振動研究所的 Mark Fletcher 表示,目前的許多技術只能處理已被劃分成不同樂器的獨立音軌的音樂, 而很難很好地“分解”複雜音樂

即使是最先進的演算法,現在也難以解決更強烈的振動會掩蓋其他振動 ,以及不同的樂器在一首歌中音量會隨時變化等問題。

如果沒有強有力的方法將不同的樂器分開,並以振動的形式編譯出平衡的訊號,將無法僅從振動中識別音樂的細微差別。

有一說一,儘管這些技術上的難題仍待解決,但這項技術的發明給聽障人士生活帶來的變化是實打實的。利物浦大學的研究團隊曾把他們的振動裝置帶到了一所聾啞學校。

老師們這樣回饋道:

學生們在音樂課上更投入了,孩子們真的很喜歡,一個男孩總是在休息時間回來敲門問:“我可以再玩一次嗎?”

參考連結:

[1] https://nautil.us/how-the-brain-allows-the-deaf-to-feel-music-22197/

[2] https://direct.mit.edu/jocn/article-abstract/33/4/635/97411/Neural-and-Behavioral-Evidence-for-Vibrotactile?

[3] https://www.sohu.com/a/277841760_100163655

[4] https://www.musicalvibrations.com/signkid/

[5] https://www.researchgate.net/publication/348669717_Neural_and

[6] https://www.youtube.com/channel/UCeBCj0wtkliFdOqEN4jC_4Q

「其他文章」