微軟砸下數億美元,專門為訓練ChatGPT打造了一台超級電腦——上萬張NVIDIA A100晶片打造,甚至專門為此調整了伺服器架構,只為給ChatGPT和新必應AI提供更好的算力。
不僅如此,微軟還在Azure的60多個資料中心部署了幾十萬張GPU,用於ChatGPT的推理。
還有網友調侃,微軟資料中心伺服器終於多了個新用途:
微軟為什麼打造這個超級電腦?
事實上,這台超級電腦並非最近才開始打造。
據微軟表示,他們為OpenAI提供這台超級電腦已經有3年之久,而ChatGPT也正是基於這台超級電腦提供的算力訓練的。
這是因為,OpenAI在最初商量與微軟合作時,曾經就算力方面的事情進行過協商。
OpenAI認為,如果微軟想為自己提供算力,就必須在Azure雲端運算平臺上「挪出」一部分巨大的算力單獨給它們使用,且確保它們不與Azure提供的其他服務產生衝突。
微軟答應了這一條件,特意給OpenAI提供了一台超級電腦,用於各種大模型訓練。
當然,微軟也不是白白為OpenAI提供超級電腦服務的,背後一定有自己的考量。
其一,吸引更多企業來使用Azure訓練自己的大模型。微軟執行副總裁Scott Guthrie表示:
雖然它是OpenAI的定製版,但同樣具備某種通用性,任何企業都可以基於這種方式來訓練自己的大語言模型。
其二,直接在Azure中提供OpenAI模型服務(Azure OpenAI Service)。
此前包括GPT-3、Codex和DALL·E 2等模型,都已經接入Azure。
至於納德拉1月份立的“要把ChatGPT加入Azure服務”flag,目前也已經實現。
ChatGPT is coming soon to the Azure OpenAI Service, which is now generally available, as we help customers apply the world’s most advanced AI models to their own business imperatives. https://t.co/kQwydRWWnZ
— Satya Nadella (@satyanadella) January 17, 2023
官網還特意給ChatGPT相關服務貼了個醒目的標籤:
這波屬實是微軟用ChatGPT,再次宣傳了一波自己的雲端服務。 當然,基於NVIDIA A100打造的超級電腦也不是微軟Azure的最新技術。 據微軟表示,他們還將基於NVIDIA H100和網路技術,推出Azure最新的AI虛擬機器產品。
資料來源:
- Azure OpenAI Service
- ChatGPT is now available in Azure OpenAI Service
- How Microsoft’s bet on Azure unlocked an AI revolution
- Microsoft spent hundreds of millions of dollars on a ChatGPT supercomputer