玉林实硕医疗科技有限公司

文字生成音樂!Meta剛剛發布了“音樂界的ChatGPT”,還是“開源的”!-今日視點

從AI孫燕姿到MusicGen,從演唱到創作,AI已經全面入侵音樂領域。

近日,Meta在Github上開源了AI模型MusicGen,引發外界關注。

顧名思義,MusicGen是有一個音樂生成AI模型,可以根據文本和旋律提示創作音樂。


(資料圖)

該模型基于谷歌2017年推出的Transformer模型,并采用Meta的EnCodec編譯器將音頻數據分解為小單元處理。

上周晚些時候,Meta人工智能研究工程師Felix Kreuk在Twitter上展示了MusicGen的功能。

在視頻演示中,MusicGen分別將兩個古典音樂片段改編成80年代的流行音樂和現代嘻哈音樂,它還根據提示加入了樂器、電子音等元素。

根據Meta的介紹,MusicGen接受了20000小時的音樂訓練,相當于人不吃不喝不睡覺訓練833天。

該模型還使用了來自媒體內容服務商ShutterStock和Pond5 10000首“高質量”授權音樂和390000首純音樂。

那么,練習時長兩年半的MusicGen,夠格出道嗎?

Meta自己將MusicGen與市面上已有的音樂創作軟件MusicLM(谷歌旗下)、Riffusion以及Mousai進行了比較。

對此,華爾街見聞挑選了其中三個例子:

提示1. 創作一首流行舞曲,要求旋律朗朗上口,加入熱帶打擊樂因素,節奏歡快,適合沙灘場景。

提示2. 編一首氣勢宏偉的管線交響樂曲,加入雷鳴般的打擊樂器、有史詩感的銅管樂和高昂的弦樂,創造一個適合英雄戰斗的電影背景音樂。

提示3. 創作一首經典雷鬼音樂,加入電吉他獨奏。

不難聽出,MusicGen的表現似乎更加驚艷。

據Meta稱,無論在與文本的匹配度上,還是在作曲的可信度上,MusicGen在四者之間的表現都更勝一籌。

為了驗證MusicGen是不是真有那么好,科技媒體Techcrunch記者Kyle Wiggers親身試用了MusicGen和MusicLM,對比兩位AI音樂家的作品。

先說他的結論:

我得說,(MusicGen )還不至于讓人類音樂家丟了工作,但它創作的音樂相當優美,至少對于“環境音樂”這樣的基本提示語來說是這樣,而且在我聽來,它與谷歌的AI音樂生成器MusicLM相比,不分伯仲(如果不是稍微好一點的話)。

Wiggers先是拋出了一個簡單的提示語:爵士、電梯音樂。

MusicGen和MusicLM拿出了以下作品:

MusicGen

然后,Wiggers增加考試難度,AI創作一首低保真、慢節奏的Electro Chill(一種融合了電子音樂和放松氛圍的音樂風格)音樂,要求使用自然、真實的聲音。

兩大模型作品如下:

對于第二個提示,Wiggers發現,MusicGen在音樂連貫性方面出人意料地勝過MusicLM,其作品很容易在YouTube上的一個音樂全天直播頻道Lofi Girl上找到來源。

最后,Wiggers嘗試讓MusicGen和MusicLM創作具有知名作曲家George Gershwin風格的鋼琴小曲。

他發現,谷歌在MusicLM的公開版本中嵌入了一個過濾器,阻止用戶提示特定藝術家,以保護作者版權。

相比之下,MusicGen就沒有這樣的過濾器,最終創作出了所謂George Gershwin風格的鋼琴曲。

但在Wiggers看來,這首曲子并沒有那么好。

值得一提的是,目前市面上存在許多文本、語音、圖片甚至是視頻生成模型,但優質的音樂生成模型少之又少。

根據在線科學預印本存儲庫arXiv中找到的研究文件,音樂生成的主要挑戰之一是需要運行全頻譜,這需要更密集的采樣,更不用說復刻音樂的復雜結構和樂器的配合了。

MusicGen能否成為一款優秀的音樂生成模型,還有待更多用戶的驗證。

用戶可以通過Hugging Face的API體驗MusicGen,但生成音樂可能需要一些時間,具體取決于同時在線的用戶數量。

目前,Meta尚未提供用于訓練模型的代碼,但提供了預訓練模型。

風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。

關鍵詞: