Decart與Etched公司聯合發布了一項突破性研究成果「OASIS」,這是全球首個可實時運行、完全由AI生成的開放世界遊戲系統。該新系統無需傳統遊戲引擎,僅透過基礎模型就能接收用戶的鍵盤輸入,即時生成包括物理、遊戲規則和圖像在內的所有遊戲內容。玩家可以在遊戲中自由移動、跳躍、拾取物品及破壞方塊等。
OASIS採用了兩個主要組件:空間自動編碼器和潛在擴散骨幹網絡,兩者都基於Transformer架構。系統能以每秒20幀的速度生成即時輸出,比現有最先進的文本到視訊模型快100多倍,首次實現了真正的即時互動性。
系統展現出優秀的遊戲機制理解能力,能處理建造、光照物理、庫存管理等複雜功能,並能生成多樣化的場景、位置和物件。這種多樣性表明OASIS有潛力通過有限的額外訓練,適應生成更廣泛的新地圖、遊戲、功能和修改。
研究團隊表示,當Etched公司開發的Transformer ASIC晶片Sohu發布後,OASIS將能以4K解像度運行,並支援超過1000億參數的大型模型。這將為生成式視訊技術帶來新的可能性。
不過系統目前仍存在一些待改進之處,包括遠處視訊模糊、物件時序一致性、跨域泛化等問題。研究團隊認為,這些問題可通過擴大模型規模和數據集得到解決,他們正在開發更大規模模型的優化技術。