光纖連接如何推動生成式人工智能革命

  當你想到人工智能時，腦中會浮現(xiàn)什么??

  GENERATIVE AI

  早在半年前，ChatGPT就能夠像人類一樣提供答案，這些答案既符合語境，又具有技術(shù)上的合理性。但人工智能局限性也很明顯，它會以要點形式給出回答，但實際上只是一個AI模型。

  現(xiàn)在，當在ChatGPT上輸入一個問題時，它的反應(yīng)已經(jīng)十分迅速，對此，ChatGPT的創(chuàng)建者們實現(xiàn)了哪些改變?

  最有可能的情況是，為滿足超過1億用戶的需求，OpenAI擴展了其人工智能集群的推理能力。據(jù)報道，在人工智能芯片制造商中處于領(lǐng)先地位的英偉達(NVIDIA)已供應(yīng)大約20,000個圖形處理單元(GPU)，用于支持ChatGPT的開發(fā)，且有大幅增加圖形處理單元使用的計劃。有人推測，他們即將推出的人工智能模型可能需要多達1000萬個圖形處理單元。

  GPU集群架構(gòu)：

  生成式人工智能的基礎(chǔ)

  - GPU cluster architecture —

  the foundation of generative AI -

  理解20,000個GPU的概念是容易辦到的，但通過1000萬個GPU的光連接來執(zhí)行智能任務(wù)很具有挑戰(zhàn)性。

  如何先配置好較小的單元，逐漸將其擴大至包含數(shù)千個GPU的集群?我們以基于傳統(tǒng)的超算(HPC)網(wǎng)絡(luò)而編寫的英偉達設(shè)計指南為例。

  根據(jù)設(shè)計指南的建議，該過程使用多個具有256個GPU pod的較小單元(可擴展單元)來構(gòu)建大量GPU集群。每個pod由8個服務(wù)器機架和2個網(wǎng)絡(luò)機架(位于一排機柜中間位置)組成。這些pod內(nèi)部以及相互之間的連接通過InfiniBand(部署在英偉達的Quantum-2交換機上的高速、低延遲交換協(xié)議)協(xié)議建立。

  當前的InfiniBand交換機使用32個800G OSFP收發(fā)器，采用400G(NDR)雙端口。每個端口使用8芯光纖，因此每臺交換機有64x400G端口。且即將到來的新一代交換機，很大可能將采用XDR端口。這意味著每臺交換機將有64x800G端口，每個端口也使用8芯光纖(主要是單模光纖)。

  如表1所示，該4通道(8芯光纖)模式在InfiniBand路線圖中反復(fù)出現(xiàn)，且未來將使用更快的速度。

  * 在4X(4通道)以Gb/s為單位表示鏈路速度

  就布線而言，在超算(HPC)領(lǐng)域普遍采用的最佳做法是：采用點對點有源光纜(AOC)。然而，隨著(MPO)光纖連接器接口的最新NDR端口的推出，點對點連接的情形已從AOC光纜轉(zhuǎn)變?yōu)镸PO-MPO無源跳線。在考慮單個具有256個GPU的pod時，利用點對點連接沒有什么大問題。但是在追求更大的規(guī)模時就遇到了問題，例如16k GPU需要64個具有256個GPU的pod實現(xiàn)互連。這些高性能GPU集群使用的計算結(jié)構(gòu)對于線路路由優(yōu)化有極高的要求。在線路路由優(yōu)化設(shè)置中，來自每個計算系統(tǒng)的所有主機通道適配器(HCA)均連接至同一個葉交換機(leaf switch)。

  據(jù)說該設(shè)置對于最大限度提高深度學習(DL)訓(xùn)練性能至關(guān)重要。一個標準的H100計算節(jié)點配備4個雙端口OSFP，轉(zhuǎn)換為8個上行鏈路端口(每個GPU一個獨立上行鏈路)與八個不同的葉交換機連接，由此建立一個8條線路優(yōu)化結(jié)構(gòu)。

  該設(shè)計在處理單個具有256個GPU的pod時可以無縫工作。但如果目標是構(gòu)建一個包含16,384個GPU的集群時該怎么辦?在這種場景中，有必要增加兩個交換層：來自每個pod的第一個葉交換機與脊交換機組一(SG1)中的每個交換機連接，每個pod內(nèi)的第二個葉交換機與脊交換機組二(SG2)中的每個交換機連接，以此類推。為取得完全實現(xiàn)的胖樹(fat-tree)拓撲結(jié)構(gòu)，必須加入第三層核心交換組(CG)。

  讓我們回顧一下16,384個GPU集群的光纜連接數(shù)量。計算節(jié)點和葉交換機之間建立連接需要16,384根光纜，每個pod有256根MPO跳線。在開始網(wǎng)絡(luò)拓展的過程時，建立葉-脊連接和脊-核心連接的任務(wù)變得更具有挑戰(zhàn)性。涉及到先捆扎多根MPO跳線，然后將其敷設(shè)50米至500米不等的距離。

  有沒有更高效的運營方式?一個建議是采用結(jié)構(gòu)化布線系統(tǒng)，該系統(tǒng)采用兩個接線板設(shè)計，利用大芯數(shù)MPO干線，可能采用144根光纖。這樣就能把18根MPO跳線(18x8=144)合并成一根干線光纜，一次敷設(shè)完成。通過在端點使用合適的MPO適配器面板，可將它們拆開為多根8芯光纜，并與恰當?shù)木€路連接，避免捆綁多根MPO跳線帶來的復(fù)雜度。

  對于一個非阻塞結(jié)構(gòu)，每個pod需要256條上行鏈路。我們可選擇從每個pod拉出15x144根光纖干線，產(chǎn)生270(15x18)上行鏈路(只需使用15個大芯數(shù)線纜)。另外，該設(shè)置提供14(270-256)個備用連接，可作備份或用于存儲或管理網(wǎng)絡(luò)連接。

  人工智能在理解問題方面取得了重大進展。就實現(xiàn)這種轉(zhuǎn)變而言，尋求能夠支持廣泛GPU集群(包括16K GPU或24K GPU)的布線解決方案，是這一難題的重要組成部分，也是光連接行業(yè)面臨的挑戰(zhàn)。

關(guān)于作者

Mustafa Keskin

康寧光通信

應(yīng)用解決方案經(jīng)理

  在光纖行業(yè)擁有19年的經(jīng)驗，擅長根據(jù)行業(yè)趨勢和客戶洞察研究，為數(shù)據(jù)中心和運營商中央辦公空間確定架構(gòu)解決方案。

  此前，作為全球團隊的一員，他在數(shù)據(jù)中心EDGE8光纜系統(tǒng)的開發(fā)中發(fā)揮了重要作用;