生成式AI是人工智能的一種，能夠創造新內容和想法，包括對話、故事、圖像、影片和音樂。與所有人工智能技術一樣，生成式AI的能力由機器學習模型提供。這些模型是基於大量數據進行預先訓練的大模型，通常被稱為基礎模型（Foundation Models）。機器學習的最新進展（特別是基於Transformer的神經網絡架構的發明）直接帶來一種模型的爆發式增長，這種模型通常包含數十億個參數或變數。這是怎樣一個數量變化呢？2019年最大的預訓練模型是3.3億個參數。現在，最大的模型包含的參數超過5千億個，相當於幾年間增加了1,600倍。如今的基礎模型，例如大型語言模型GPT3.5或BLOOM，以及由Stability AI開發的文生圖模型Stable Diffusion，可以執行跨多個領域的多種任務，例如撰寫博客文章、生成圖像、解決數學問題、對話聊天、基於文檔回答問題等。基礎模型的規模和通用場景的性質使其不同於傳統的機器學習模型，後者通常僅執行特定的任務，例如分析文本觀點、分類圖像和預測趨勢等。
基礎模型包含大量參數，能夠學習複雜的概念，因此可以執行更多任務。透過基於互聯網規模的、各種形式和模式的海量資料進行預先訓練，基礎模型學會在各種語境中應用所習得的知識。儘管預訓練基礎模型所帶來的功能和可能性已足夠令人驚歎，而真正讓客戶為此興奮不已的是，這些通用模型也可以被客製化加工，執行專屬於其業務領域的特定功能，幫助業務建立差異化競爭優勢，與從零開始訓練模型相比，僅需使用一小部分資料和運算資源。客製化的基礎模型可以帶來獨特的顧客體驗，體現公司的觀點、風格和服務，適用於眾多消費者產業，如金融銀行、旅遊和醫療等。例如，一家金融公司如果需要將所有相關交易自動生成每日報告以供內部流通，它可以使用包括既往報告在內的專有資料來客製化模型，以便基礎模型了解如何閱讀報告和使用哪些資料來生成日報。
ChatGPT率先吸引了客戶對生成式AI的關注。對生成式AI展開研究的人很快意識到，多家公司已經在基礎模型上耕耘多年，可用的基礎模型也有很多，且各有各的優勢和特點。在過去的數年間，經歷了技術的快速發展，機器學習的演進也是日新月異。期待未來會湧現全新的體系和架構，而基礎模型的多樣化會推動新一波的創新浪潮。
AWS 生成式AI 新工具 Amazon Bedrock和Amazon Titan模型：借助基礎模型建構和擴充生成式AI應用程式的最簡單途徑
AWS宣布推出Amazon Bedrock。這項新服務允許使用者透過API存取來自AI21 Labs、Anthropic、Stability AI和亞馬遜的基礎模型。Bedrock是客戶使用基礎模型建構和擴充生成式AI應用程式的最簡單方法，為所有開發者降低使用門檻。在Bedrock上，用戶可以透過可擴充、可靠且安全的AWS託管服務，存取從文本到圖像的一系列強大的基礎模型，以及Amazon Titan基礎模型。Amazon Titan基礎模型目前包括了兩個全新的大語言模型。憑藉Bedrock所帶來的無伺服器體驗，客戶可以輕鬆找到適合自身業務的模型，快速上手，在確保資料安全和私隱保護的前提下，使用自有資料基於基礎模型進行客製化，並使用他們已經熟悉的AWS工具和能力，將客製化模型整合並部署到他們的應用程式中，同時無需管理任何基礎設施。比如，客戶可以將基礎模型與Amazon SageMaker機器學習功能整合，使用Amazon SageMaker Experiments測試不同模型和使用Pipelines大規模管理基礎模型等。
客戶也可使用Bedrock存取一些目前最領先的可用基礎模型。這將包括AI21 Labs開發的Jurassic-2多語種大語言模型系列，能夠根據自然語言指令生成文本內容，目前支援西班牙語、法語、德語、葡萄牙語、義大利語和荷蘭語。還有Anthropic開發的大語言模型Claude，它是基於Anthropic對於訓練誠實和負責任的AI（responsible AI）系統的大量研究，能夠執行多種對話和文本處理任務。客戶還可以透過Bedrock輕鬆存取Stability AI開發的文生圖基礎模型Stable Diffusion，這是文生圖領域目前最流行的模型，能夠生成獨特、寫實、高品質的圖像、藝術作品、商標和其它設計圖。
Bedrock最重要的能力之一是極其容易客製化模型。客戶只需向Bedrock展示Amazon S3中的幾個標註好的資料範例，Bedrock就可以針對特定任務微調模型，最少僅需20個範例即可，且無需標註大量資料。假設一位時裝零售產業的內容營銷經理，想為即將推出的手提包新品系列開發新穎且使用者導向的廣告創意。他向Bedrock提供了一些表現最佳的過往營銷廣告示例，以及新品的相關描述，Bedrock將能自動為這些新品生成有效的社交媒體內容、展示廣告和產品網頁。沒有任何客戶資料被用於訓練底層模型，所有資料都進行了加密，且不會離開客戶的虛擬私有雲（Virtual Private Cloud，VPC），確保客戶的資料安全和私隱保護。
Bedrock目前提供有限預覽，Coda.IO等客戶的開發團隊對使用Bedrock充滿期待。Coda.IO的聯合創始人兼CEO Shishir Mehrotra表示：「作為AWS的長期客戶，我們對Amazon Bedrock帶來的高品質、可擴充性和效能充滿期待。我們所有的數據已經儲存在AWS上，我們能夠利用Bedrock快速採用生成式AI，並能充分保證我們數據的安全和私隱。目前，包括Uber、紐約時報、Square在內的成千上萬個團隊都在採用Coda，因此，可靠性與可擴充性十分重要。」
亞馬遜的Titan基礎模型，在未來幾個月內，進一步擴充其可用範圍。第一個是針對總結、文本生成（如原創博客文章）、分類、開放式問答和資訊擷取等任務的生成式大語言模型。第二個是文本嵌入（embeddings）大語言模型，能夠將文本輸入（字詞、短語甚至是大篇幅文章）翻譯成包含語義的數值表示（即embeddings 嵌入編碼）。雖然這種大語言模型不生成文本，但對個性化推薦和搜尋等應用程式卻大有裨益，因為相對於匹配文字，對比編碼可以幫助模型產生更相關、更符合情境的結果。實際上，Amazon.com的產品搜尋能力就是採用了類似的文本嵌入模型，能夠幫助客戶更好地查找所需的商品。為了持續推動負責任使用AI的最佳實踐，Titan基礎模型可以識別和刪除客戶提交給客製模型之資料中的有害內容，拒絕使用者輸入不當內容，也過濾模型輸出結果中的不當內容，如仇恨言論、髒話和語言暴力。
任何規模的企業都可以透過Bedrock存取基礎模型，加速機器學習在組織內部的應用，並憑藉其輕鬆上手的特性，建構自己的生成式AI應用程式。我們相信，Bedrock將是基礎模型普及化過程中的一大步。埃森哲、德勤、Infosys和Slalom等合作夥伴都在建構最佳實踐，幫助企業借助生成式AI實現快速發展。C3AI和Pega等獨立軟體發展商（ISV）對於利用Bedrock輕鬆存取大量基礎模型，兼具安全性、私隱性和可靠性充滿期待。
宣布Amazon EC2 Trn1n和Amazon EC2 Inf2執行個體正式可用：最具成本效益的生成式AI雲端基礎設施
無論執行、建構還是客製化基礎模型，客戶都需要高效能、低成本且為機器學習專門建構的基礎設施。過去五年，AWS持續加大投入自研晶片，不斷突破效能和價格的極限，以支持對此有極高要求的機器學習訓練與推論等工作負載。AWS Trainium和Inferentia晶片可以提供在雲上訓練模型和執行推論的最低成本。在成本和效能方面的優勢，像 AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI 等領先的AI新創公司都選擇執行在AWS上。
由Trainium支援的Trn1執行個體與其他任何EC2執行個體相比，都可以節省高達50%的訓練成本，並經過優化，可以在與高達800Gbps的第二代EFA（彈性結構適配器）網絡相連的多個伺服器上分發訓練任務。客戶可以在超大規模叢集（UltraClusters）中部署Trn1執行個體，數量可以擴充到在同一可用區中3萬個Trainium晶片，相當於超過6 exaflops的運算能力，並具有PB級網絡。許多AWS客戶，包括Helixon、Money Forward和亞馬遜的搜尋團隊，都使用Trn1執行個體將訓練最大規模的深度學習模型所需的時間從幾個月縮短到幾周甚至幾天，並且降低了成本。網絡優化型Trn1n執行個體正式可用，它可以提供1600 Gbps的網絡頻寬，專為大型網絡密集型模型設計，其效能比Trn1高出20%。
現今基礎模型花費的時間和金錢主要用於訓練，這是因為許多客戶才剛剛開始將基礎模型部署到生產中。但是，未來，當基礎模型進入大規模部署時，大部分成本將用於執行模型和進行推論。客戶通常會定期訓練模型，於是生產應用程式會不斷生成預測（稱為推論）——每小時可能生成數百萬預測。而且這些預測需要即時發生，這就需要極低延遲和高輸送量的網絡。Alexa就是一個典型的例子，它每分鐘都會接受數百萬次請求，處理這些請求佔所有運算成本的40%。
2018年，AWS發布了首款推論專用晶片Inferentia。每年，亞馬遜都運用Inferentia執行數萬億次推論，並節省數億美元成本。這是十分顯著的成果，然而我們認為繼續創新的空間依然很大，因為隨著越來越多的客戶將生成AI整合到他們的應用程式中，工作負載的規模和複雜性只會越來越大。
由AWS Inferentia2提供支援的Inf2執行個體正式可用，這些執行個體專門針對執行數千億個參數模型的大規模生成式AI應用程式進行了優化。與上一代相比，Inf2執行個體不僅輸送量提高了4倍，延遲降低了10倍，還可實現加速器之間的超高速連接以支持大規模分散式推論。與同類Amazon EC2執行個體相比，這些能力將推論性價比提高了40%，並把雲中的推論成本降到最低。與同類Amazon EC2執行個體相比，Runway等客戶有望利用Inf2將部分模型的輸送量提升至原來的兩倍。受益於高效能和低成本的推論，Runway能夠引入更多功能，部署更複雜的模型，並最終為自己的數百萬用戶提供更優質的體驗。
宣布CodeWhisperer正式可用，並針對個人開發者免費開放
可以預見，程式設計將是生成式AI技術可快速應用的領域之一。現今，軟件開發者需要花費大量時間編寫相當淺顯和無差別的程式碼。他們還需要花費不少時間學習複雜的新工具和技術，而這些工具和技術總在不斷演進。因此，開發者真正用於開發創新的功能與服務的時間少之又少。為應對這一難題，開發者會嘗試從網上複製程式碼片段再進行修改，但可能無意中就複製了無效程式碼、有安全隱患的程式碼、或對開源軟件的使用沒有進行有效的追溯。而且這種搜尋和複製的方式也浪費了開發者用於創新的時間。
生成式 AI 可以透過「編寫」大部分無差別的程式碼來大大減少這種繁重的工作，讓開發人員能夠更快地編寫程式碼，同時讓他們有時間專注在更具創造性的程式設計工作上。 去年宣布推出了 Amazon CodeWhisperer 預覽版，這是一款 AI 程式設計助手，透過內嵌的基礎模型，可以根據開發者用自然語言描述的注釋和整合式開發環境（IDE）中的既有程式碼即時生成程式碼建議，從而提升開發者的生產效率。開發人員只需要向 CodeWhisperer 提出任務命令，例如「解析一個含有歌曲資訊的 CSV 字串」，並要求它回傳一個基於藝術家、標題和排行榜最高排名等資料的結構化清單，CodeWhisperer 就可以解析字串並回傳指定的清單，從而大幅提升工作效率。CodeWhisperer 預覽版發布後得到了開發者們的熱烈回應，幫助開發人員編寫程式碼可能成為未來幾年生成式 AI 得以發揮巨大效力的應用場景之一。 AWS進行了一項生產力測試，與未使用 CodeWhisperer 的參與者相比，使用 CodeWhisperer 的參與者完成任務的速度平均快57%，成功率高 27%。這是開發人員生產力的巨大飛躍，而我們相信這才僅僅是個開始。
Amazon CodeWhisperer正式可用，在適用 Python、Java、JavaScript、TypeScript 和 C#之外，新增支持Go、Kotlin、Rust、PHP 和 SQL等10 種開發語言。開發者可以透過在VS Code、IntelliJ IDEA、AWS Cloud9等整合式開發環境中的AWS Toolkit IDE外掛程式使用 CodeWhisperer。 CodeWhisperer 也可在AWS Lambda控制台中使用。除了從數十億行公開程式碼中學習之外，CodeWhisperer 也基於亞馬遜的程式碼進行了訓練。 我們相信 CodeWhisperer 是目前為AWS（包括 Amazon EC2、AWS Lambda和Amazon S3）生成程式碼的最準確、最快和最安全的方式。
如果生成式 AI 工具建議的程式碼包含隱藏的安全性漏洞或未能負責任地處理開原始程式碼，開發人員則無法真正提高工作效率。CodeWhisperer是唯一具有內建安全掃描功能（透過自動推論實現）的 AI 程式設計助手，用於查找難以檢測的漏洞並提出補救建議，例如十大開放式Web應用程式安全專案（OWASP）中的漏洞，以及不符合加密庫最佳實踐的漏洞等。為了幫助開發人員以負責任的方式開發程式碼，CodeWhisperer會過濾掉可能被認為有偏見或不公平的程式碼建議，同時，由於客戶可能需要參考開源程式碼或獲得其使用許可，CodeWhisperer 是唯一可以過濾和標記類似開源始程式碼之生成結果的程式設計助手。
我們相信生成式AI將改變開發者的遊戲規則，因此希望它能盡可能被更多人所用。 所以，CodeWhisperer將開放所有個人用戶免費使用，並不設任何次數或使用時間的限制！任何人都可以透過email帳戶在幾分鐘內註冊 CodeWhisperer進行使用，而無需具備AWS帳號。對於企業客戶，則提供了CodeWhisperer 專業版，其中包括更多高級管理功能，如整合了AWS Identity and Access Management（IAM）身份與存取管理服務的單點登入（single sign-on，SSO），以及使用更高程度的安全掃描。
建構像 CodeWhisperer 這樣強大的應用程式，對開發人員和用戶來說，都帶來巨大的變革性。未來還有更多創新的產品在規劃中，也期待更多的客戶和開發者在AWS上建構更加創新和顛覆性的生成式AI應用。
