vedomosti

Dezagregácia dátového centra oddeľuje výpočtovú techniku, pamäť, úložisko a sieť do nezávislých združených zdrojov namiesto toho, aby ich uzamykala v rámci pevných hraníc servera. Toto oddelenie vytvára novú architektonickú závislosť: prepojovacia vrstva medzi týmito fondmi musí poskytovať dostatočnú šírku pásma, dostatočne nízku latenciu a dostatočný dosah, aby sa celý systém správal ako jedna koordinovaná štruktúra. Optické prepojenie je prenosová technológia, ktorá čoraz viac plní túto úlohu - najmä tam, kde medené spojenia narážajú na fyzické limity vzdialenosti, výkonu a integrity signálu.

Tento článok vysvetľuje, ako optické prepojenie podporuje rozčlenené architektúry, kde prekonáva meď, ako súvisí s CXL a spolu{0}}balenou optikou a kedy má praktický zmysel ho prijať.

Čo je dezagregácia dátového centra?

V tradičnom serverovom{0}}modele sú CPU, pamäť, úložisko a sieť združené v jednom šasi. Kúpite si server a získate pevný pomer všetkých štyroch - bez ohľadu na to, či vaše pracovné zaťaženie tento pomer vyžaduje alebo nie. Disagregácia dátového centra prelomí tento zväzok. Každý typ prostriedku je usporiadaný do vlastného fondu a pracovné zaťaženia čerpajú z každého fondu cez zdieľanú štruktúru iba to, čo potrebujú.

To je dôležité, pretože moderné pracovné zaťaženie je zriedkavo vyvážené. Rozsiahla úloha školenia jazykového modelu môže nasýtiť pamäť GPU a východ-západnú šírku pásma, pričom sa sotva dotkne miestneho úložiska. Analytický kanál-v reálnom čase môže vyžadovať veľkú kapacitu pamäte, ale iba priemerný výpočet. V dizajne orientovanom na server- vedie tento nesúlad k uviaznutiu zdrojov: nečinné cykly CPU sediace vedľa vyčerpanej pamäte alebo úložnej kapacity, ktorú nevyužíva žiadna pracovná záťaž.

TheOpen Compute Project (OCP)od polovice roku 2010 riadi návrhy rozčlenených stojanov a hyperškálovače ako Meta a Microsoft nasadili rozčlenené úložiská a siete vo veľkom rozsahu. VznikCompute Express Link (CXL)rozšíril túto víziu na dezagregáciu pamäte, vďaka čomu je architektúra čoraz praktickejšia pre širší rozsah prostredí.

Prečo tradičné serverové-návrhy narážajú na stenu

Dve sily tlačia tímy infraštruktúry k dezagregácii: tlak na využitie a tlak na šírku pásma.

Na strane využitia vytvárajú pevné serverové balíky odpad vo veľkom rozsahu. Prieskum v priemysle naznačuje, že približne 25 % kapacity DRAM konvenčných serverov sa v priemere nevyužíva, aj keď pamäť predstavuje takmer polovicu celkových nákladov servera. Táto uviaznutá kapacita, vynásobená tisíckami uzlov, predstavuje značné kapitálové a energetické zaťaženie.

Na strane šírky pásma školiace klastre AI a vysokovýkonná{0}}analýza generujú vzorce návštevnosti, ktoré sa výrazne líšia od tradičných zaťažení poskytovaných na severe-juhu{2}}. Tieto pracovné záťaže vytvárajú veľkú premávku z východu-západu - GPU-do-GPU, akcelerátora-do-pamäte a uzla{10}}k-uzlu - naprieč stovkami alebo tisíckami koncových bodov. Tradičné serverové{14}}centrické topológie s krátkymi medenými vedeniami medzi pevnými boxmi neboli navrhnuté pre tento vzor. Ako rýchlosť spojenia stúpa zo 400 G na 800 G a viac, elektrické obmedzenia medi sa stávajú ťažšie.

Ako funguje optické prepojenie v disagregovanom dátovom centre?

Keď sa výpočtové, pamäťové a urýchľovacie prostriedky umiestnia do samostatných oblastí, štruktúra spájajúca tieto oblasti sa stane-kritickou vrstvou výkonu. Optické prepojenie slúži tejto vrstve tým, že konvertuje elektrické signály na svetlo a prenáša dátajeden-režimalebomultimódové vláknoa konverziu späť na elektrickú na prijímacom konci.

Fyzika optického transportu mu dáva štrukturálne výhody pre túto prácu. Svetelné signály vo vlákne zažívajú oveľa menší útlm na meter ako elektrické signály v medi, čo znamená, že optické spojenia dokážu udržať kvalitu signálu na väčšie vzdialenosti bez úpravy signálu náročného na energiu (retimery, DSP, ekvalizéry), ktorú vyžaduje meď pri vyšších rýchlostiach. Pri rýchlosti 800 Gbps je pasívna meď praktická až do vzdialenosti približne 3 až 5 metrov. Aktívne elektrické káble to predlžujú možno na 7 metrov. Optické spojenia bežne presahujú 100 metrov až 2 kilometre pri rovnakej dátovej rýchlosti a koherentná optika môže dosiahnuť desiatky kilometrov.

V dezagregovanej architektúre táto výhoda dosahu nie je abstraktná. Priamo určuje, ako ďaleko od seba môžu byť fondy zdrojov, pričom sa stále správajú ako jednotný systém. Konkrétne:

• V rámci stojana:Meď stále dominuje pri veľmi krátkych pripojeniach medzi - serverom-k-vrchnému{3}}-prepínaču racku, GPU-k-GPU v zásobníku. Pri vzdialenostiach pod 2 – 3 metre je meď jednoduchšia, lacnejšia a má nižšiu{10}}latenciu.
• Stojan-do-regálu (2 – 100 m):Toto je miesto, kde sa optické prepojenie stáva praktickou predvolenou hodnotou pri 400G a vyššej. Pripojenie výpočtového stojana k pamäťovej oblasti v susednom stojane alebo prepojenie zásobníkov GPU v rade si zvyčajne vyžaduje hustotu šírky pásma a dosah, ktoré poskytuje vlákno.Zostavy optických káblovaMPO/MTP pripojeniesú štandardné pre tieto cesty.
• Miestnosť-k-miestnosti a budove-k-budove (100 m – 10+ km):Pri týchto vzdialenostiach a rýchlostiach je realizovateľný iba optický prenos. Tento rozsah je dôležitý pre-rozčlenenie rozsahu, kde sú fondy úložiska, záložné výpočty alebo zdroje{2}}obnovy po havárii umiestnené v samostatných budovách.

Optické prepojenie verzus meď v rozčlenených dátových centrách

Výber medzi optickým a medeným nie je binárny -, závisí od rozsahu{1}}. Tu je uvedené, ako sa tieto dva porovnávajú v rámci faktorov, ktoré sú najdôležitejšie v rozdelenom dizajne:

Praktické riešenie: použite meď tam, kde-jednoduchosť na krátke vzdialenosti stále víťazí. Použite optické tam, kde sa dosah, hustota šírky pásma, energetická účinnosť alebo správa káblov stávajú záväznými obmedzeniami. V dezagregovanom prostredí optický podiel celkového prepojenia rastie, pretože samotná architektúra vytvára dlhšie cesty s väčšou-šírkou pásma medzi oddelenými fondmi zdrojov. Pre hlbšie porovnanie mediatypov viďoptické verzus medené káble: čo je to pravé pre vaše nasadenie.

Kľúčové výhody optického prepojenia pre dezagregáciu

Vyššia hustota šírky pásma pre oddelené fondy zdrojov

Dezagregácia zvyšuje objem návštevnosti prechádzajúcej vrstvou prepojenia, pretože zdroje, ktoré boli kedysi spoločne{0}}umiestnené, teraz komunikujú cez štruktúru. Optické vlákno podporuje tento dopyt s vyššou-šírkou pásma na vlákno a väčším počtom vlákien na kábel. Singelpáskový kábelmôžu prenášať stovky vlákien v kompaktnom priereze-, čo umožňuje hustotu portov, ktorú vyžadujú rozčlenené klastre GPU a pamäťové oblasti.

Nižšia energetická a tepelná záťaž vo váhe

Energetická efektívnosť je dôležitejšia v rozdelenom dizajne, pretože prepojovacia vrstva nesie väčší podiel na celkovej prevádzke systému. Pri 800G a vyššom vyžadujú medené spojenia na stredné vzdialenosti výkonovo-náročné spracovanie DSP na oboch koncoch. Optické spojenia pri rovnakých rýchlostiach a vzdialenostiach spotrebujú menej energie na bit. Technická dokumentácia spoločnosti NVIDIA o jej spolu{5}}zabalenej platforme prepínania optiky uvádza a3,5× zníženie spotreby energiev porovnaní s tradičnými zásuvnými transceivermi. V meradle dátového centra sa tento rozdiel premieta priamo do nižších účtov za elektrinu a zníženej infraštruktúry chladenia.

Modulárne, nezávislé škálovanie

Jedným zo základných prísľubov dezagregácie je, že výpočet, pamäť a úložisko sa môžu škálovať rôznymi rýchlosťami. Optické prepojenie podporuje tento sľub, pretože pridanie kapacity do jedného fondu zdrojov si nevyžaduje prepracovanie celej štruktúry.Zásuvné optické modulymožno inkrementálne inovovať alebo pridať - zo 400 G na 800 G na 1,6 T - bez zmeny základnej továrne na vlákna.

Flexibilita pre heterogénne pracovné zaťaženie

Keď sú prostriedky združené a prepojené prostredníctvom vysokovýkonnej optickej štruktúry, tímy infraštruktúry môžu priraďovať zdroje k pracovným zaťaženiam dynamicky namiesto toho, aby ich tvarovali podľa pevných konfigurácií serverov. Táto flexibilita je obzvlášť cenná v prostrediach, kde vedľa seba existujú úlohy na školenie AI,-odvodzovanie v reálnom čase, analytické kanály a aplikácie náročné na ukladanie-a súťažia o rôzne typy zdrojov.

Ako optické prepojenie súvisí s CXL a Co{0}}balenou optikou

CXL: protokolová vrstva pre zdieľanie pamäte a prostriedkov

CXL (Compute Express Link) a optické prepojenie riešia rôzne časti problému dezagregácie. CXL je otvorený štandardný protokol - postavený na fyzickej vrstve PCIe -, ktorý umožňuje-koherentnú komunikáciu medzi procesormi, pamäťovými zariadeniami a urýchľovačmi vyrovnávacej pamäte. Definuje, ako možno oddelené zdroje združovať a efektívne zdieľať na úrovni softvéru a protokolu.

Konzorcium CXL, ktorého členmi sú Intel, AMD, NVIDIA, Samsung, Microsoft, Google a Meta, vydalo v novembri 2023 CXL 3.1 s výslovnou podporou previac{0}}úrovňové prepínanie a štruktúrované{1}}rozdeleniemimo regálu. CXL 3.0 zaviedla podporu až pre 4 096 uzlov v zjednotenej štruktúre, čo umožňuje rackové -škálovanie a potenciálne klastrové{5}}škálovanie pamäte.

Optické prepojenie je fyzický prenos, ktorý môže prenášať prevádzku CXL (a iné protokoly) medzi týmito distribuovanými uzlami. Tím vyhodnocujúci združovanie pamäte-založené na CXL a tím hodnotiaci optické prepojenie často pracujú na rovnakej iniciatíve rozdelenia z rôznych uhlov -, pričom jeden sa zaoberá logikou zdieľania protokolu a prostriedkov- a druhý fyzickým prenosom.

Spolu{0}}zabalená optika: posunutie optiky bližšie k čipu

Spolu{0}}balená optika (CPO) ide ešte ďalej tým, že integruje optické motory priamo do rovnakého substrátu balíka ako prepínač ASIC alebo GPU, namiesto toho, aby sa spoliehala na samostatné pripojiteľné vysielače a prijímače pripojené prostredníctvom elektrických stôp na prednom paneli. Tým sa eliminujú najdlhšie a energeticky najnáročnejšie-elektrické cesty v systéme.

Na GTC 2025 NVIDIA oznámila svoj prvýspolu{0}}zabalené platformy na prepínanie kremíkovej fotoniky(Quantum{0}}X Photonics a Spectrum{1}}X Photonics), ktoré poskytujú šírku pásma až 409,6 Tb/s s 512 portami pri rýchlosti 800 Gb/s. Generálny riaditeľ NVIDIA Jensen Huang poznamenal, že škálovanie na milión GPU pomocou konvenčných pripojiteľných transceiverov by spotrebovalo približne 180 MW samotného výkonu transceivera -, čo je neudržateľné číslo, na ktoré je CPO navrhnutý.

CPO nie je niečo, čo dnes musí nasadiť každý tím vyhodnocujúci dezagregáciu. Zásuvné optické moduly zostávajú pre väčšinu dominantným tvarovým faktoromdátové centrum z optických vlákiennasadenia a bude pokračovať minimálne do konca roku 2020. CPO však predstavuje smer optického plánu a tímy plánujúce veľké klastre AI alebo rozčlenené štruktúry ďalšej{2}}generácie by mali pozorne sledovať jeho vyspelosť.

Kedy má optické prepojenie najväčší zmysel?

AI a akcelerátory-náročné prostredia

Tréningové klastre AI patria medzi najsilnejšie prípady použitia optického prepojenia v rozdelenom kontexte. Tieto systémy generujú masívny prenos z východu-západu cez GPU-do-GPU a GPU-do-pamäťových ciest. Keďže veľkosti klastrov rastú zo stoviek na tisíce GPU, požiadavky na dosah a šírku pásma rýchlo presahujú to, čo dokáže meď podporovať. Napríklad v architektúre NVIDIA GB200 NVL72 predstavujú sieťové náklady (vrátane optických transceiverov) 15 – 18 % celkových nákladov na klaster a optické transceivery predstavujú zhruba 60 % týchto sieťových nákladov. Ekonomický a výkonný prípad pre optimalizáciu optickej vrstvy je podstatný.

Zdieľanie pamäte a skladateľná infraštruktúra

Ak váš tím vyhodnocuje oblasť pamäte založenú na CXL{0}}, fyzická prenosová vrstva musí podporovať toto oddelenie bez pridávania neprijateľnej latencie alebo obmedzovania rozsahu. CXL 3.1 sa explicitne zameriava na dezagregáciu štruktúry-rozsahu mimo stojanu, čo znamená, že prepojovacie cesty budú pokrývať dlhšie vzdialenosti ako tradičné intra{4}}serverové pamäťové zbernice. Optické prepojenia sú pre tieto cesty prirodzené.

Rozsiahle-prostredia s nerovnomernými potrebami škálovania

Optické prepojenie tiež dáva väčší zmysel, keď je potrebné škálovať výpočty, pamäť a úložisko rôznymi rýchlosťami. Ak vaša výpočtová kapacita rastie 3× za rok, ale úložisko sa zväčšuje 1,5×, rozčlenená architektúra vám umožňuje rozšíriť každý fond nezávisle - a optické prepojenie to fyzicky umožňuje bez toho, aby ste zakaždým museli prerábať kabeláž.

Keď to NEMÁ zmysel

Optické prepojenie nie je tým správnym východiskovým bodom pre každé prostredie. Ak vaše dátové centrum beží primárne vyvážené, všeobecné{1}}pracovné zaťaženie na konvenčných serveroch a vaša prevádzka-do{3}}rackov je skromná a dobre{4}}obsluhuje existujúca medená infraštruktúra, náklady a zložitosť optickej-prvej štruktúry nemusia byť opodstatnené. Podobne, ak pracujete v rozsahu, v ktorom niekoľko desiatok serverov spĺňa vaše potreby, samotná dezagregácia môže predstavovať viac prevádzkovej zložitosti, než šetrí. Architektúra sa vypláca, keď rozsah, heterogenita a nerovnováha zdrojov sú skutočné a merateľné - nie hypotetické.

Čo zhodnotiť pred nasadením

1. Zmapujte svoje skutočné úzke miesto

Začnite jasnou otázkou: aké je záväzné obmedzenie? Je dosah (medené dráhy sú príliš krátke pre rozloženie vášho stojana)? Hustota šírky pásma (nedostatočná priepustnosť na kábel na napájanie klastra GPU)? Napájanie (elektrické spojenia spotrebúvajú príliš veľa wattov pri 400 G+)? Využitie zdrojov (servery preplnené na jednej osi a vyhladované na inej)? Optické prepojenie je najcennejšie, keď je úzke miesto fyzické a merateľné, nie vtedy, keď je prijaté ako všeobecné gesto modernizácie.

2. Vyhodnoťte celkové náklady na systém, nie náklady na kábel

Častou chybou je porovnávanie ceny medeného kábla s cenou anoptický kábelv izolácii. To porovnanie je zavádzajúce. Zmysluplné porovnanie zahŕňa spotrebu energie, tepelnú réžiu (a náklady na chladenie, ktoré vytvára), hustotu portov na jednotku racku, použiteľný dosah, flexibilitu aktualizácie a náklady na uviaznuté zdroje v širšej architektúre. V mnohých rozčlenených prostrediach pri 400G a vyššom sú celkové náklady na vlastníctvo optického vlákna nižšie ako medené, keď vezmete do úvahy celý systém.

3. Skontrolujte kompatibilitu a prevádzkovú pripravenosť

Vyhodnotiťtestovanie káblov z optických vlákienpožiadavky, interoperabilita modulov, monitorovacie nástroje a prevádzková znalosť vášho tímu s optickými vláknami. Zásuvné optické moduly (OSFP, QSFP-DD) sú dobre-štandardizované a široko podporované, ale váš prevádzkový tím by mal poznať manipuláciu s vláknami, čistenie a riešenie problémov skôr, ako ich nasadíte vo veľkom. Zvážte začatie pilotnej domény, kde môžete overiť tieto prevádzkové faktory.

4. Naplánujte si dlhovekosť vláknitej rastliny

Jednou z významných výhod optickej infraštruktúry je to, že pasívne optické zariadenie -, káble, prepojovacie panely a cesty - môže podporovať viacero generácií technológie transceiverov. Dobre-navrhnutékonektivita dátového centravláknový závod nainštalovaný dnes pre 400G môže podporovať upgrady 800G a 1,6T výmenou transceiverov bez ťahania nových káblov. Vďaka tomu je počiatočná investícia do vlákna obhajiteľnejšia v 10-ročnom plánovacom horizonte.

Praktická cesta adopcie

Krok 1: Identifikujte jednu obmedzenú doménu.Hľadajte miesto, kde dosah medi, výkon, hustota šírky pásma alebo uviaznutie zdrojov už spôsobuje merateľné bolesti. Môže to byť rozšírenie GPU klastra, rack-na{2}}prekážku v analytickom prostredí alebo pilotný test zdieľania pamäte.

Krok 2: Otestujte a overte.Nasaďte optické prepojenie v tejto doméne. Zmerajte latenciu, spotrebu energie, prevádzkovú zložitosť a ekonomiku expanzie v porovnaní s existujúcou základnou úrovňou.

Krok 3: Rozšírte na základe dôkazov.Použite pilotné údaje na vytvorenie obchodného a technického prípadu pre širšie prijatie. Dezagregácia a optická migrácia sa zriedkakedy najlepšie riešia ako jeden projekt veľkého{1}}tresku. Postupné zavádzanie vám umožňuje učiť sa, prispôsobovať a budovať istotu organizácie.

Kontrolný zoznam rozhodovania: Je optické prepojenie vhodné pre vašu iniciatívu za dezagregáciu?

• Prekračuje vzdialenosť medzi vaším stojanom-do-rozvádzača alebo medzi--izbou pri vašej cieľovej rýchlosti praktický dosah medi?
• Plánujete v blízkej dobe nasadiť rýchlosť pripojenia 400G alebo vyššiu?
• Stáva sa spotreba energie z elektrického prepojenia zmysluplnou súčasťou energetického rozpočtu vášho dátového centra?
• Hodnotíte CXL-spoločnú pamäť, zostaviteľnú infraštruktúru alebo rozšírenie GPU klastra?
• Je uviaznutie zdrojov (nečinný počítač, pamäť alebo úložisko uzamknuté vo vnútri pevných serverov) problémom s merateľnými nákladmi?
• Potrebuje vaše prostredie škálovať výpočet, pamäť a úložisko rôznymi rýchlosťami?

Ak platia tri alebo viac z nich, optické prepojenie si zaslúži seriózne hodnotenie ako súčasť vášho plánu dezagregácie.

FAQ

Čo je optické prepojenie v dátovom centre?

Optické prepojenie je transportná technológia, ktorá využíva svetelné signálykáble z optických vlákienna prenos údajov medzi sieťovými zariadeniami, servermi, prepínačmi, úložnými systémami a fondmi zdrojov v rámci dátových centier a medzi nimi. Ponúka vyššiu šírku pásma, dlhší dosah a nižší výkon na bit v porovnaní s meďou pri ekvivalentných rýchlostiach -, čo je obzvlášť dôležité pre rozčlenené architektúry a architektúry orientované na AI-.

Ako sa optické prepojenie líši od CXL?

Pracujú v rôznych vrstvách. Optické prepojenie je technológia fyzického prenosu -, ktorá presúva bity z bodu A do bodu B pomocou svetla. CXL je protokolový štandard, ktorý definuje, ako CPU, pamäť a akcelerátory koherentne komunikujú. Optické prepojenie môže prenášať prenos CXL, ale CXL beží aj cez elektrické spojenia pre spojenia s krátkym-dosahom. Tímy často hodnotia oboje súčasne, pretože dezagregácia vytvára dopyt po lepších protokoloch (CXL) a lepšom fyzickom prenose (optika).

Môžu meď a optika koexistovať v rozčlenenom dátovom centre?

Áno, a zvyčajne to robia. Väčšina rozčlenených prostredí používa meď na veľmi krátke vnútro-rozvádzače (menej ako 3 – 5 metrov), kde je to jednoduchšie a lacnejšie, a optické vlákno pre-do{5}}stojanu, rad{6}}k-radu a dlhšie trasy, kde sa medze stávajú záväznými. Rozhodnutie závisí od rozsahu-, nie všetko{10}}alebo{11}}nič.

Čo je to spolu{0}}zabalená optika a potrebujem ju teraz?

Spolu{0}}balená optika (CPO) integruje optické motory priamo do rovnakého balíka ako prepínač ASIC alebo procesor, čím sa eliminuje potreba samostatných pripojiteľných vysielačov a prijímačov a znižuje sa spotreba energie a oneskorenie. NVIDIA a Broadcom nasadzujú CPO v sieťových platformách AI ďalšej{2}}generácie. Väčšina dátových centier dnes CPO nepotrebuje -zásuvné optické modulyzostávajú štandardom -, ale CPO je na pláne pre rozsiahlu-infraštruktúru AI v časovom rámci 2026 – 2028.

Kedy NEMÁM pokračovať v dezagregácii pomocou optického prepojenia?

Ak je vaše pracovné zaťaženie dobre-vyvážené medzi výpočtom, pamäťou a ukladacím priestorom; váš rozsah je skromný (niekoľko desiatok serverov); a vaša existujúca medená infraštruktúra zvládne vaše súčasné a{1}}blízkodobé potreby šírky pásma bez námahy -, pridaná zložitosť dezagregácie a migrácie optických zariadení nemusí stáť za investíciu. Začnite úzkym miestom, nie módnym slovom.

Aké typy vlákien sa používajú v optickom prepojení dátových centier?

Jedno{0}}režimové vláknosa používa na dlhšie{0}}vzdialenosti, s vyššou{1}}rýchlosťou prepojenia (zvyčajne-do-rackov a mimo nich).Multimódové vláknoje bežné pre kratšie spojenia v rámci-dátového{1}}centra do vzdialenosti niekoľkých stoviek metrov. Výber závisí od požadovaného dosahu, rýchlosti a nákladového profilu každého odkazu.