Stability AI 近日宣布推出全新開源模型 Stable Audio Open，這是一個專為生成短音頻樣本、音效和製作元素而優化的文本轉音頻模型。這一發布是開放生成音頻里程碑，只要使用文字就可以生成不同音頻。
什麼是 Stable Audio Open？
Stable Audio Open 讓任何人都可以從簡單的文本提示生成長達 47 秒的高質量音頻數據。其專門的訓練使其特別適合創建鼓點、樂器片段、環境聲音、擬音錄音和其他用於音樂製作和音效設計的音頻樣本。
主要特點
- 高質量音頻生成：可生成長達 47 秒的音頻樣本。
- 多樣化應用：適用於鼓點、樂器片段、環境聲音和製作元素。
- 開放源碼：用戶可以基於自己的音頻數據微調模型，例如鼓手可以用自己的鼓聲樣本生成新的鼓點。
與 Stable Audio 的區別
Stable Audio 是商業產品，能夠生成高質量、結構連貫的完整音樂曲目，長度可達三分鐘，並具備音頻轉音頻生成功能及多段音樂合成能力。而 Stable Audio Open 則專注於音頻樣本、音效和製作元素。儘管它也能生成短音樂片段，但並不適用於完整的歌曲、旋律或人聲。這一開源模型提供了一個對聲音設計生成AI的初步探索，同時強調與創意社群共同推進負責任的開發。
訓練數據
新模型基於 FreeSound 和 Free Music Archive 的音頻數據進行訓練，號稱尊重創作者權利的同時創建開放音頻模型。
如何開始使用 Stable Audio Open
Stable Audio Open 模型權重已在 Hugging Face 平台上提供，有興趣的朋友可以嘗試一下。
