Ċentri tad-dejta AI attwali jiffaċċjaw żewġ bottlenecks tal-qalba fl-iskalar, u skala tradizzjonali - up u skala - mudelli barra qed jitħabtu biex jilħqu l-iskala ta 'Giga - Skala AI:
Skala - Limitazzjonijiet up: Miksub bl-aġġornament ta 'sistemi jew xtillieri singoli (eż., Żieda fl-għadd tal-GPU jew ittejjeb il-prestazzjoni tal-apparat single -), iżda limitata mis-soqfa tal-enerġija mill-infrastruttura bħat-tkessiħ tal-ilma. Iċ-ċentri tad-dejta eżistenti għandhom limiti fiżiċi għall-input tal-enerġija u d-dissipazzjoni tas-sħana, li jipprevjenu żidiet infiniti fid-densità tal-kalkolu għal kull rack jew ċentru tad-dejta.
Skala - Limitazzjonijiet barra: Estiż billi żżid xtillieri u servers ma 'raggruppamenti ta' skala, iżda limitati mill-ispazju fiżiku f'post wieħed, li jimponu tappijiet iebsin fuq il-kapaċità tat-tagħmir.
Biex tingħeleb din id-dilemma, NVIDIA tipproponi d-dimensjoni l-ġdida ta '"Skala - madwar," l-ottimizzazzjoni tal-komunikazzjoni tan-netwerk bejn ċentri ta' dejta mxerrda ġeografikament biex jagħmlu raggruppamenti AI mqassma jikkollaboraw bħala wieħed. Il-fundatur u l-Kap Eżekuttiv tal-NVIDIA Jensen Huang jiddeskrivi din is-salib - Super Factory Reġjonali bħala infrastruttura ewlenija għar-Rivoluzzjoni Industrijali AI, bi Spectrum {- XGs bħala l-Enabler tat-Teknoloġija tal-Qalba.
Core Technologies of Spectrum - xgs
Spectrum - xgs mhix pjattaforma ta 'ħardwer kompletament ġdida iżda evoluzzjoni tal-ispettru eżistenti ta' NVIDIA - x Ethernet Ecosystem. Mit-tnedija tal-2024 tagħha, l-Ispettru - X ta l-prestazzjoni tan-netwerk AI ġenerattiva 1.6x ogħla minn Ethernet tradizzjonali permezz tal-ispettru - 4 Architecture's Sn5600 Swiċċijiet u Bluefield -} 3 DPUs, li qed isiru l-għażla mainstream għal NVIDIA GPUs. L-avvanz fl-Ispettru-XGs jinsab fi tliet innovazzjonijiet algoritmiċi u sinerġiji tal-ħardwer li jindirizzaw l-isfidi tal-latenza tal-komunikazzjoni, konġestjoni u sinkronizzazzjoni fi raggruppamenti trans-reġjonali tal-GPU.
1.Core Algoritmi: Adattament Dinamiku għal Twil - Karatteristiċi tan-Netwerk tad-Distanza
Spectrum - XGS Il-qalba hija sett ta '"distanza - algoritmi ta' ottimizzazzjoni tan-netwerk konxji" li janalizzaw il-parametri ewlenin ta 'cross - data {{-} komunikazzjoni ċentrali fil-ħin reali - metri (xejriet tat-traffiku, livelli ta' konġestjoni, livelli ta 'kongestjoni, livelli ta' kongestjoni, metriċi tal-prestazzjoni) u metriki ta 'prestazzjoni dinamikament
Distanza - Kontroll tal-konġestjoni adattiva:B'differenza mit-trattament uniformi ta 'Ethernet tradizzjonali tal-konnessjonijiet kollha, l-algoritmi Spectrum - XGS jaġġustaw awtomatikament il-limiti ta' konġestjoni bbażati fuq distanzi attwali bejn ċentri tad-dejta (attwalment jappoġġjaw skjeramenti sa mijiet ta 'kilometri), billi tevita telf ta' pakketti jew akkumulazzjoni fi- trasmissjonijiet fuq distanza.
Ġestjoni preċiża tal-latenza:Permezz ta 'kull - pakkett fin - rotta adattattiva tal-qamħ, hija telimina l-latenza jitter mill-ġdid mill-pakketti ta' ritransmissjonijiet fin-netwerks tradizzjonali. Jitter huwa periklu kritiku fi raggruppamenti AI: jekk GPU wieħed jibqa 'minħabba dewmien, il-GPUs kollha li jikkollaboraw għandhom jistennew, u jolqtu direttament il-prestazzjoni ġenerali.
Tmiem - sa - End Telemetry: Real - Ġbir ta 'ħin ta' data sħiħa - link ta 'prestazzjoni minn GPUs għal swiċċijiet u cross - data - Center Links jipprovdi millisekonda -} livell ta' feedback għal aġġustamenti algoritmiċi, li jiżgura tqabbil dinamiku ta 'l-istat ta' xogħol ta 'xogħol AI.
2. Sinerġiji tal-ħardwer: L-ispettru tal-ingranaġġ - x Ecosystem's High - Foundation Bandwidth
Spectrum - xgs jikseb prestazzjoni ottimali meta kkombinat ma 'ħardwer NVIDIA speċifiku:
Spectrum - x Swiċċijiet: Bħala s-sinsla tan-netwerk sottostanti, li tipprovdi densità għolja tal-port u l-livell baxx - Latency.
ConnectX-8 Supernic: 800 GB / S ai - Adapter tan-netwerk iddedikat għal trasferiment ta 'dejta b'veloċità għolja- bejn GPUs u swiċċijiet.
Blackwell Architecture Hardware: Bħal B200 GPUs u GB10 Superchips, integrati profondament ma 'Spectrum - xgs biex tnaqqas it-tarf - għal {- latenza tat-tarf. Nvidia validat permezz ta 'nccl (librerija tal-komunikazzjonijiet kollettivi) Benchmarks: Spectrum - xgs tagħti spinta lill-prestazzjoni tal-komunikazzjoni bejn is-salib -} data {- center gpus minn 1.9x waqt li tikkontrolla t-tmiem - għal - latenza finali f'madwar 200 millisecond { Tħoss li tirrispondi u toqgħod - b'xejn għall-interazzjonijiet tal-utent, tissodisfa r-rekwiżiti ta 'ħin reali - għall-inferenza AI.
Sħiħ - Ottimizzazzjoni tal-munzell għal taħriġ AI u effiċjenza ta 'inferenza bi spettru - xgs
Spectrum - xgs mhix teknoloġija iżolata iżda żieda ewlenija għall-ekosistema sħiħa ta 'NVIDIA - Stack AI. F'dan ir-rilaxx, NVIDIA żvela wkoll softwer - Titjib tal-prestazzjoni tal-livell li sinerġizza ma 'Spectrum - xgs għall-hardware {- algoritmu - kollaborazzjoni tas-softwer:
Aġġornament tas-softwer Dynamo: Ottimizzat għall-arkitettura ta 'Blackwell (eż. Sistemi B200) biex tingħata spinta lill-prestazzjoni ta' inferenza tal-mudell AI sa 4x, tnaqqas b'mod sinifikanti l-konsum tal-kalkolu għal inferenza ta 'mudell kbir.
Teknoloġija ta 'dekodifikazzjoni spekulattiva: Juża mudell ta 'abbozz żgħir biex ibassar it-token tal-produzzjoni li jmiss tal-mudell AI ewlieni bil-quddiem, inaqqas il-komputazzjoni tal-mudell prinċipali u jsaħħaħ il-prestazzjoni ta' inferenza b'35% addizzjonali. Dan huwa adattat b'mod speċjali għal xenarji ta 'inferenza ta' konversazzjoni f'mudelli ta 'lingwa kbira (LLMS).
Id-Direttur tad-Dipartiment tal-Kompjuter Aċċellerat ta 'NVIDIA Dave Salvator iddikjara li l-għan ewlieni ta' dawn l-ottimizzazzjonijiet huwa li jiġu skalati applikazzjonijiet ta 'AI aġentiċi ambizzjużi. Sew jekk taħriġ ta 'triljun - parametru mudelli kbar jew li jappoġġjaw servizzi ta' inferenza AI għal miljuni ta 'utenti simultanji, il-kombinazzjoni ta' Spectrum - xgs u l-ekosistema tas-software tagħti prestazzjoni prevedibbli.
Applikazzjonijiet Bikrija u Impatt tal-Industrija tal-Ispettru - xgs
L-Ewwel Utenti: CoreWeave Pioneers Cross - Dominju AI Super FactoryIl-fornitur tas-servizz tal-GPU Cloud CoreWeave huwa fost l-ewwel adottaturi ta 'Spectrum - xgs. Il-fundatur tal-kumpanija CO - u CTO Peter Salanki nnota li din it-teknoloġija se tippermetti lill-klijenti tagħha jaċċessaw il-kapaċitajiet ta 'Giga - Skala AI, li jaċċeleraw l-avvanzi fl-industriji kollha. Pereżempju, l-appoġġ ta 'Ultra - kbar - Skala AI proġetti bħall-Inizjattiva Stargate minn Oracle, Softbank, u OpenAI.
Xejriet tal-Industrija: Ethernet li tissostitwixxi Infiniband bħala netwerk AI mainstreamGħalkemm Infiniband kellu madwar 80% tas-suq tan-netwerk ta 'backend AI fl-2023, l-industrija qed tbiddel malajr għal Ethernet. L-għażla ta 'NVIDIA li tiżviluppa Spectrum - XGS fuq Ethernet tallinja ma' din ix-xejra:
Kompatibilità u vantaġġi ta 'spejjeż:Ethernet huwa l-istandard universali għaċ-ċentri tad-dejta globali, aktar familjari għall-inġiniera tan-netwerk, u orħos biex jintuża minn Infiniband.
Projezzjonijiet fuq skala tas-suq:Id-dejta tal-grupp Dell'oro turi li s-suq tal-Iswiċċ tad-Dejta tad-Dejta Ethernet se jilħaq kważi $ 80 biljun matul il-ħames snin li ġejjin.
It-tkabbir stess ta 'Nvidia: 650 Rapporti tal-Grupp jindikaw NVIDIA bħala l- "iktar mgħaġġel - bejjiegħ dejjem jikber" fis-suq tal-iswiċċ tad-dejta tal-2024, bid-dħul tan-negozju tan-netwerking tiegħu jilħaq $ 5 biljun fi Q 2 2024 (li jintemm is-27 ta 'April), sa 56% sena - aktar - sena.
It-tnedija ta 'Spectrum - xgs testendi l-istrateġija sħiħa ta' NVIDIA - Stack Monopoly fl-infrastruttura AI, filwaqt li tqanqal dinamika kompetittiva ġdida:
Nvidia's Full - tqassim tal-munzell: Minn GPUs (Blackwell), interkonnessjonijiet (nvlink / swiċċ nvlink), netwerks (spettru - x / spettru - xgs, quantum {- x infiniband) għal softwer (cuda, Tensorrt - llm, iffurmat linja magħluqa li tkopri "Ikkalkula - Qabbad - software" għall-infrastruttura AI. Spettru - xgs sinergizes ma 'nvlink għal tliet - livell ta' skala: intra - rack (nvlink), intra - data {- center (spettru {{12} x), u Cross - Data - Centre (Spectrum - xgs).
Tweġibiet tal-kompetituri: It-teknoloġija ta 'Sue preċedenti ta' Broadcom taqsam għanijiet simili ma 'Spectrum - XGS, bil-għan li ttejjeb il-prestazzjoni Ethernet biex tagħlaq id-distakk ma' Infiniband. Barra minn hekk, bejjiegħa bħal Arista, Cisco, u Marvell qed jaċċeleraw l-AI - swiċċijiet Ethernet iddedikati, bil-kompetizzjoni tiffoka fuq il-prestazzjoni - spiża - kompatibilità tal-ekosistema.
Il-valur ewlieni tal-ispettru - xgs jinsab fl-imbuttar tal-iskalar taċ-ċentru tad-dejta AI minn "single - restrizzjonijiet tas-sit" għal "cross - kollaborazzjoni reġjonali." Hekk kif il-qawwa u l-art isiru limiti iebsa għal ċentri ta 'dejta singoli, cross - belt u cross - Pajjiż AI Super fabbriki se jsiru l-forma tal-qalba li tappoġġja li jmiss - Ġenerazzjoni AI Applikazzjonijiet (eż., Intelliġenza artifiċjali ġenerali, kbar - raggruppamenti ta' aġent ta 'skala).
Bħala d-Dipartiment tan-Netwerking ta 'NVIDIA Il-Viċi President Anzjan Gilad Shainer preview fil-konferenza Hot Chips: "Cross - data - Ċentru tal-fibra ottika netwerks fiżiċi ilhom jeżistu, iżda algoritmi ta' softwer bħall-ispettru - XGs huma l-muftieħ biex jinfetħu l-prestazzjoni vera ta 'dawn l-infrastruttura fiżika."
