影視後期製作中，移除影片中的特定物件並填補背景，一直是技術上的難題。Netflix與保加利亞索非亞大學智慧系統研究所（INSAIT）的研究團隊近日發表了一項名為VOID（Video Object and Interaction Deletion）的新框架，專門處理物件移除後場景中的物理互動修正問題。這項研究已發表於學術論文平台arXiv。
現有技術的限制
研究團隊指出，現有的影片物件移除方法在填補物件背後的內容，以及修正陰影、反射等外觀層面的瑕疵方面已有不錯表現。然而，當被移除的物件與場景中其他物體存在較顯著的互動關係，例如碰撞，現有模型往往難以進行合理修正，產生不合邏輯的結果。
舉例而言，若移除畫面中一顆正在彈跳的籃球，傳統方法可能只會填補籃球原本所在的位置，卻忽略籃球與地面接觸後的彈跳軌跡，以及可能影響到的其他物體動向，導致畫面出現物體浮空或不合理移動的情況。
VOID框架的創新之處
VOID框架的核心設計是利用視覺語言模型（VLM）識別場景中受移除物件影響的區域範圍。研究人員採用所謂的「quadmask」機制，將這些受影響區域編碼後，用以引導影片擴散模型（video diffusion model）生成符合物理規律的「反事實」結果。
系統運作流程分為多個步驟：首先，使用者點選想要移除的物件；接着，系統的分析模組會判斷畫面中哪些區域會因該物件消失而受到因果影響，包括可能倒塌、碰撞或改變軌跡的物體；最後，模型會生成一段移除物件及其互動關係後，物理上合乎邏輯的替代影片內容。
訓練數據與驗證
為訓練模型，研究團隊使用Kubric及HUMOTO兩個數據集生成配對的反事實移除範例。Kubric負責合成場景的物件互動，而HUMOTO則提供人體動作數據。每個訓練樣本包含輸入影片、quadmask以及移除物件後的「地面事實」輸出影片。
研究人员在合成數據及真實場景上進行實驗比較，結果顯示VOID在物件移除後的場景動態一致性維持方面，優於其他現有影片物件移除方法。
第二遍修正機制
VOID框架還配備了第二遍修正功能。研究團隊提到，小型影片擴散模型在處理某些場景時可能出現物件形變的情况。當系統偵測到此類問題時，會利用第一遍生成的畫面資訊，透過光流變形噪聲（flow-warped noise）重新執行推論，使沿新軌跡生成的物件形狀更加穩定。
結語
VOID的問世為影片後期製作提供了一種新的技術方向。該框架展示了如何結合視覺語言模型的推理能力與影片擴散模型的生成能力，在複雜場景中實現更符合物理規律的物件編輯效果。研究團隊已公開論文及相關資源，供學術界及產業界進一步參考與應用。
