微軟研究團隊近期發布了VibeVoice-1.5B，一款突破性的開源文字轉語音模型。這項技術不僅能產生長達90分鐘的對話音檔，更支援多達4位不同說話者的自然互動，為播客、對話式內容創作和語音合成領域帶來重大變革。
核心技術創新：超低幀率與擴散框架
VibeVoice採用了前瞻性的技術架構，其核心創新在於使用連續語音標記器，包括聲學標記器和語義標記器，運作頻率僅為7.5Hz。這種超低幀率設計既保持了音訊保真度，又大幅提升了處理長序列的計算效率。
該模型採用次令牌擴散框架，結合大型語言模型來理解文本脈絡和對話流程，並透過擴散頭生成高保真度的聲學細節。此項技術突破使VibeVoice能夠合成長達90分鐘的語音內容，並支援多達4位不同說話者，遠超傳統模型通常只支援1至2位說話者的限制。
技術架構詳解
VibeVoice基於Transformer的大型語言模型架構，整合了專門的聲學和語義標記器，以及基於擴散的解碼頭。該系統使用Qwen2.5-1.5B作為基礎LLM，配備複雜的標記器系統：
聲學標記器採用σ-VAE變體，具有鏡像對稱的編碼器-解碼器結構，包含7個階段的修改版Transformer區塊，可從24kHz輸入實現3200倍下採樣。編碼器和解碼器組件各有約3.4億個參數。語義標記器則鏡像聲學標記器的架構設計，透過ASR代理任務進行訓練。
擴散頭是一個輕量級模組，僅有4層約1.23億個參數，基於LLM隱藏狀態進行條件化處理。該模組使用去噪擴散概率模型預測聲學VAE特徵，並在推理過程中使用無分類器指導和DPM求解器。
訓練策略與長序列處理能力
VibeVoice採用了漸進式課程學習策略，訓練脈絡長度最多可達65,536個令牌。訓練過程分為兩個主要階段：首先預訓練聲學和語義標記器，然後凍結預訓練標記器，僅訓練LLM和擴散頭參數。
該系統採用輸入序列長度的課程學習策略，從4K逐步增加到16K、32K，最終達到64K。這種漸進式訓練方法確保了模型能夠處理極長的對話序列，為生成長篇對話內容奠定了基礎。
應用場景與使用限制
VibeVoice主要設計用於研究目的，專注於探索高度逼真的音訊對話生成技術。該模型特別適合生成播客等長篇對話式內容，能夠在保持說話者一致性的同時實現自然的輪流對話。
技術限制與風險管控
微軟明確指出VibeVoice僅支援英文和中文資料訓練，其他語言可能產生無法理解或冒犯性的輸出。該模型專注於語音合成，不處理背景噪音、音樂或其他音效，也無法生成重疊語音段落。
為防範濫用風險，微軟在每個合成音訊檔案中嵌入了可聽見的免責聲明，例如「此段落由AI生成」。同時添加了不可感知的浮水印，讓第三方能夠驗證VibeVoice的來源。該團隊還記錄推理請求的雜湊值，用於濫用模式偵測，並每季發布統計資料。
禁止使用場景
微軟嚴格禁止在以下場景使用VibeVoice：未經明確錄音同意的語音模仿、虛假資訊或冒充行為、即時或低延遲語音轉換應用。該模型不得用於創建偽造真實人物或事件錄音的音訊內容。
下載數據與開源影響
根據Hugging Face平台數據，VibeVoice-1.5B在上個月已獲得2,339次下載。這個數字反映出研究社群對這項技術的高度關注，也預示著開源語音合成技術的新發展方向。
該模型採用MIT授權條款釋出，為學術研究和技術開發提供了寶貴資源。微軟研究團隊透過[email protected]電子信箱歡迎回饋與合作，並承諾在收到不當行為報告或發現問題時，會及時更新儲存庫並提供適當緩解措施。
參考來源：https://huggingface.co/microsoft/VibeVoice-1.5B?_bhlid=6ac2b260787f2bb6d173a46a7c45cb1f57d241b0
