Google 早前公布用於訓練人工智慧(AI)模型超級電腦資料,宣稱他們的系統比Nvidia 同類系統更快更節能。其建基的TPU產品除了用作超級電腦,也可能會成為未來個人裝置強化AI應用的重要AI硬件。
Google 自行設計,名為 Tensor Processing Uinit(TPU)的專屬晶片,用於該公司大多AI訓練工作,如通過模型輸入資料,成為人性化對話或生成圖像。
Google TPU 目前已經更新到第四代。Google 周二發表一份論文,詳細說明如何利用自行研發的光訊號交換器將超過 4,000 個 Google TPU 串聯起來,形為一部超級電腦。
像Google 的 Bard 或 OpenAI 的 ChatGPT等大型語言模型規模太大,已非單一晶片足以應付,既無法存在單一晶片上,這些模型就得分散成千上萬個晶片,然後合力運算來訓練模型。Google 的 PalM 模型是目前所公開最大的語言模型,由分成兩個各由 4,000 個晶片組成的超級電腦來進行訓練,耗時長達 50 天。
在論文中,Google表示,就規模相當的系統來比較,他們晶片的速度比基於Nvidia A100晶片(上圖)的系統快1.7倍,功耗效率高1.9倍。A100大約和第四代TPU同時問世。