xAI公司近日宣布推出其最新AI語言模型Grok-2及其精簡版Grok-2 mini,標誌著該公司在人工智能技術發展上邁出重要一步。這兩款模型目前已在X平台(前身為Twitter)上向用戶開放測試使用。
聲稱性能超越競品
根據xAI公布的數據,Grok-2在LMSYS聊天機器人競技場中以化名”sus-column-r”參與測試,其整體Elo評分已超越Claude 3.5 Sonnet和GPT-4-Turbo等競品模型。據他們內部評估中,Grok-2在遵循指令和提供準確信息方面都有顯著提升。特別是在處理檢索內容、使用工具、識別缺失信息、推理事件序列等方面表現出色。
多項基準測試成績亮眼
xAI對Grok-2進行了一系列學術基準測試,涵蓋推理、閱讀理解、數學、科學和編程等領域。測試結果顯示,Grok-2在研究生水平的科學知識(GPQA)、通用知識(MMLU, MMLU-Pro)和數學競賽問題(MATH)等方面達到了與頂級模型相當的水平。在視覺相關任務中,Grok-2更是表現出色。在視覺數學推理(MathVista)和基於文檔的問答(DocVQA)測試中,Grok-2均達到了業界領先水平。
API即將開放
Grok-2不僅在性能上有所突破,在功能上也有新的拓展。X平台的付費用戶現可使用Grok-2和Grok-2 mini兩個版本。相比前代產品,Grok-2在直觀性、可控性和多樣性方面都有所提升,能夠更好地應對各種任務需求。xAI還計劃在本月晚些時候向企業開放API接口,讓開發者能夠利用Grok-2的能力進行應用開發。新的API平台將提供多區域推理部署、增強的安全功能以及詳細的計費分析等特性。
未來展望
xAI表示,他們正在致力於進一步提升Grok的核心推理能力。公司計劃在不久的將來為X平台和API用戶推出多模態理解預覽版本,進一步擴展Grok的應用範圍。