Andmete tulevik: 400 g optiline moodul

 

 

Vormitegurite sõdadest ei räägi keegi ausalt

 

Minge mis tahes optilise võrgu konverentsile ja kuulete QSFP{0}}DD versus OSFP debatti tehnilise võrdlusena. Ei ole. See on spetsifikatsioonilehtedesse riietatud poliitiline võitlus.

QSFP-DD võitis helitugevuse lahingu enne esimese 400G lüliti tarnimist. Tagasiühilduvus QSFP28 puuriga tähendas, et iga võrguoperaator sai teoreetiliselt uuendada olemasolevat infrastruktuuri välja rebimata. See "teoreetiliselt" teeb raskeid asju-Olen vaadanud, kuidas insenerid veedavad terveid nädalavahetusi, püüdes panna lüliti pärand püsivara tuvastama kahekordse -tihedusega mooduleid, mis füüsiliselt sobivad, kuid ei käitu elektriliselt.

OSFP tuli Arista leerist sirgjoonelise sammuga: suurem moodul, paremad termid, loodud nullist 400G jaoks, selle asemel, et sundida kaheksa rada nelja jaoks ehitatud puuri. Integreeritud jahutusradiaator talub 15{4}}20 vatti ilma higistamata. QSFP-DD 12 vatti? Suure tihedusega kasutuselevõtu puhul juba nihutatakse termilisi piire.

Tööstusharu valis siiski QSFP{0}}DD. Ühilduvus võidab. Alati on.

Kuid siin on see, mida vormitegurite võrdlusartiklites kunagi ei mainita: soojusmahtuvuse erinevused suurenevad mastaabis dramaatiliselt. 32-pordiga 400G lüliti, mis on täielikult täidetud QSFP-DD moodulitega, hajutab ainuüksi optikast umbes 640 vatti. See on enne lülitit ASIC, juhttasand, ventilaatorid, toiteallikad. Me räägime 1,5-2 kilovatti kokku 1RU šassiis. Õhuvoolutehnoloogia, mis on vajalik nende moodulite hoidmiseks allpool ristmiku temperatuuri piire, piirneb kosmosekujundusega.

 

PAM4 tegi kõik raskemaks

 

Kõik tähistavad PAM4 spektraalse efektiivsuse kahekordistamise eest. Keegi ei maini selle tekitatud insenertehnilist õudusunenägu.

NRZ oli lihtne. Kaks pingetaset. Signaal on kas üks või null. Teie silmade diagrammil on üks ava. Kui see on puhas, oled sa kuldne.

PAM4 edastab kaks bitti sümboli kohta, kasutades nelja amplituuditaset. Kolm virnastatud silmaava. Iga silm on ligikaudu üks-kolmandik samaväärse NRZ-silma kõrgusest. Mürapiirid kukuvad kokku. Järsku on iga PCB jälje millimeeter oluline. Iga via loob peegelduse. Iga impedantsi katkestus hosti ASIC-i ja optilise mooduli puuri vahel muutub töökindluse probleemiks.

Veetsin kuus kuud 400G juurutuse silumiseks, kus konkreetsetes portides ilmnesid juhuslikud CRC vead. Algpõhjus? Hostiplaadi spetsifikatsioonidest veidi -tühi-pistik tekitas täpselt piisava tagastuskadu, et rikkuda madalaim PAM4 silm. Täiesti hea 100G liikluse jaoks. 400G jaoks katastroofiline.

Tööstusharu vastus oli kohustuslik FEC. Te ei saa käitada 400G PAM4 optikat ilma edasise veaparanduseta-toores BER lihtsalt ületab kasutatavad läved. RS(544,514) lisab latentsusaega ligikaudu 300 nanosekundit. Mitte tohutu. Kuid öelge seda HPC-klastrile, mis käitab MPI-töid, kus iga mikrosekund saba latentsusest mõjutab töö lõpetamise aega.

 

 

Ränifotoonika pidi meid päästma

 

Ränifotoonika helikõrgus kõlab paberil ideaalselt. Kasutage aastakümnete pikkuseid suurepäraseid CMOS-investeeringuid. Integreerige modulaatorid, fotodetektorid ja lainejuhid ühele kiibile. Saavutage mastaabisääst, mida eraldiseisvad InP ja GaAs komponendid pole kunagi suutnud. Energiatarve langeb 20-30%. Kulud saavutavad lõpuks pariteedi, seejärel alandavad traditsioonilisi lähenemisviise.

Intel tarnis üle kolme miljoni 100G ränifotoonilise transiiveri. Alibaba juurutas alates 2020. aastast oma pilvevõrgus 400G DR4 ränifotoonmooduleid. Tehnoloogia töötab.

Kuid ränifotoonikul on räpane saladus: valgusallikad ei saa ikkagi olla räni.

Teil on vaja välist laserit, -tavaliselt indiumfosfiidvormi-, mis on ühendatud räni PIC-iga või ühendatud kiu kaudu. See hübriidintegratsioon muudab tootmise keerukamaks. Saagikus kannatab. Kulueelist, mida kõik lubasid, surutakse välja veel üks põlvkond.

Ettevõtete hulgas, kes kahekordistavad 400G jaoks ränifotoonikat, on mõned väga targad inimesed, kes teevad väga kalleid panuseid. Cisco omandas Luxtera ja Acacia kokku 3,26 miljardit dollarit. See ei ole teadus- ja arendustegevuse eelarve raha. See on strateegiline infrastruktuuri investeering.

Turuosa andmed räägivad keerulisema loo. LightCountingu andmetel moodustavad ränifotoonmoodulid vaatamata aastatepikkusele reklaamile endiselt alla 10% 400G saadetistest. DR4 ja FR4 rakendustes domineerivad traditsioonilised EML{4}}-põhised transiiverid. Tehnoloogia üleminek toimub aeglasemalt, kui pressiteadetes soovitati.

 

Mida spetsifikatsioonilehed Reachi kohta varjavad

 

IEEE 400G optika nimetamiskonventsioon näib olevat kasulik seni, kuni proovite mooduleid tegelikult osta.

400G-SR8: 100 meetrit üle mitmemoodilise kiu. Kaheksa paralleelset rada 850 nm juures. Sobib hästi-riiulisiseste ühenduste jaoks. Kohutav kõige muu jaoks.

400G-DR4: 500 meetrit üle ühemoodi-kiu. Neli paralleelset rada 1310 nm juures. Enamiku andmekeskuste ühenduste tööhobune.

400G-FR4: 2 kilomeetrit, ühe-režiimiga, CWDM-i lainepikkused multipleksitud ühele kiupaarile. Kasutab kalleid välismoduleeritud lasereid.

400 G-LR4: 10 kilomeetrit. Sama lainepikkuse skeem nagu FR4-l, kuid optilise võimendusega, et laiendada ulatust.

Piisavalt lihtne. Välja arvatud tootjad mängivad nende nimetustega pidevalt kiiresti ja lõdvalt.

Olen näinud "DR4-ühilduvaid" mooduleid, mis löövad laboritingimustes 500 meetri kõrgusele ja ebaõnnestuvad 300 meetri kõrgusel tegeliku kiudjaamaga, mille pistikute kadu on veidi suurem. Tehniliste andmete kohaselt on 500 meetrit 7 dB lingieelarvega. Matemaatika toimib suurepäraselt, eeldades, et kõikjal on puutumatud seosed. Tegelikkuses on määrdunud pistikud, ebatäiuslikud ühenduskohad ja kiudude voolud, mis kulgesid läbi lae veidi pikema tee, kui on näidatud kaablihaldusjoonistel.

2 km FR4 ulatus kõlab adekvaatselt, kuni ühendate ülikoolilinnakus hooneid ja avastate, et teie kiudtee on 2,3 kilomeetrit. Nüüd vajate LR4 mooduleid kolm korda kallima hinnaga või olete võimendusega loominguline või nõustute sellega, et see link tegelikult ei tööta.

 

Otsus DR4 versus FR4

 

See on tegeliku juurutamise jaoks tegelikult oluline ja keegi ei selgita seda hästi.

DR4 kasutab nelja paralleelset kiudu edastamiseks ja nelja vastuvõtmiseks. Kokku kaheksa kiudu. MPO-12 pistik nelja kasutamata asendiga. Maksimaalne ulatus 500 meetrit. Energiatarve tavaliselt 8-10 vatti. Mooduli maksumus on ligikaudu 60% samaväärsest FR4-st.

FR4 kasutab lainepikkusjaotusega multipleksimist, et panna kõik neli rada ühte kiupaari. Duplex LC pistik. Maksimaalne ulatus 2 kilomeetrit. Energiatarve tavaliselt 10-12 vatti. Esmaklassiline hind, kuna EML-laserid pole odavad.

Kiu topoloogia määrab kõik.

Teie määratud struktureeritud kaabeldusega Greenfield andmekeskus? Paralleelkiud on mõttekas. Käivitage MPO magistraalkaablid ridade vahel. Kasutage DR4 kõikjal. Madalamad optikakulud kompenseerivad täiendava kiu.

Pruunvälja keskkond olemasoleva duplekskiutehasega? FR4 või tõmbad uut kaablit.

Segakeskkond, kus on mõned paralleelkäigud ja mõni dupleks pärandseade? Tere tulemast ühilduvuse õudusunenägu. Lõppkokkuvõttes saate mõlemat moodulitüüpi, erinevat tüüpi konnektorit ja vähemalt ühte kappi, kus keegi kasutas valet plaastrijuhet ja veetis neli tundi "link down" hoiatuste tõrkeotsinguga.

 

Väljamurdmise küsimus

 

400G-DR4 moodul sisaldab nelja 100G rada. Iga rada töötab optilisel kihil iseseisvalt. See võimaldab ühendada ühe 400G lüliti pordi nelja eraldiseisva 100G seadmega, kasutades katkestuskiudude komplekti.

Majandus kõlab veenvalt. Üks 400G port. Neli 100G serverit. Pole vaja täiendavaid lülitusporte.

Tegelikkus on keerulisem.

Switch ASIC-id ei toeta alati suvalisi katkestuskonfiguratsioone. Mõned platvormid nõuavad kindlat püsivara. Teised lubavad väljamurdmist ainult teatud pordirühmades. Mõned rakendavad riistvaras katkestusi, kuid tarkvarapinn ei avalda konfiguratsioonivalikut.

Veelgi hullem: katkestuskaablid loovad tugiõudusunenägusid. Kas probleem on 400G moodulis, eraldussõlmes või ühes neljast 100G seadme pordist? Veaotsing nõuab kaablite vahetamist, iga jala iseseisvat testimist ja probleemi taasesitamist.

Olen näinud, et organisatsioonid standardiseerivad kõikjal natiivset 100G-d, et vältida läbimurde keerukust. Optika maksab rohkem. Kommutaatori pordi tihedus kannatab. Kuid toimimise lihtsus võidab.

 

 

Energiatarbimise tegelikkus

 

Igal 400G mooduli andmelehel on loetletud energiatarve. Arvud on tehniliselt täpsed ja praktiliselt kasutud.

QSFP-DD DR4 tüüpiline võimsus võib olla 8,5 vatti. See on mooduli joonis lüliti 3,3 V siinilt tavalistes töötingimustes. See ei sisalda lisavõimsust, mida lüliti ASIC tarbib nende kaheksa 50G PAM4 sõiduraja juhtimisel. See ei võta arvesse soojusjuhtimise kulusid,{9}}võimsamaid ventilaatoreid, täiendavat õhuvoolu ega võib-olla täiendavat jahutust.

Kui lüliti kohta on 32 porti, suureneb erinevus 8-vatiste ja 12-vatiste moodulite vahel 128 vatti. See pole tühine, kui plaanite elektrijaotust tervele nagireale.

Üleminek 100G-lt 400G-le ei neljakordista energiatarbimist pordi kohta-abistab integreerimisest ja DSP-de täiustamisest tulenev tõhususe suurenemine. Kuid koguvõimsus lüliti kohta suurenes absoluutselt. Andmekeskused, mis kavandasid elektri- ja jahutustaristut ligikaudu 100 G tihedusega, avastavad võimsuspiiranguid, kui uuendatakse 400 G-ni täisarvuga.

 

Ühilduvus ei ole binaarne

 

Müüjatele meeldib väita, et "ühildub kõigi suuremate lülitusplatvormidega". See väide on tehniliselt kaitstav ja praktiliselt eksitav.

Optilise mooduli ühilduvus sõltub enamast kui füüsilisest sobivusest ja elektrilisest signaalimisest. DOM (Digital Optical Monitoring) protokollid on tarnijati erinevad. CMIS-i (ühise haldusliidese spetsifikatsiooni) juurutused on piisavalt paindlikud, et kaks "ühilduvat" rakendust ei pruugi puhtalt koos töötada. Mõned lülitid kontrollivad müüja ID-koode ja keelduvad täielikult tundmatute moodulite valgustamisest.

Ühilduva 400G optika hall turg kasvas plahvatuslikult just seetõttu, et brändi-nimemoodulid maksavad 3-5 korda rohkem kui kolmanda osapoole alternatiivid. Mõned neist alternatiividest töötavad laitmatult. Teised põhjustavad peeneid probleeme, mis ilmnevad ainult teatud liiklusmustrite korral või pärast nädalatepikkust jooksmist.

Olen isiklikult testinud kolmanda osapoole 400G DR4 mooduleid, mis läbisid laboris kõik vastavusmõõtmised ja tekitasid seejärel parandamatuid FEC-vigu 2% liiklusest tootmiskoormuse ajal. Temperatuur mooduli sees pideva suure{5}}ribalaiusega töötamise ajal ületas optiliste komponentide talutavuse. Moodul töötas. Kuni seda ei teinud.

 

Mida 800G tähendab 400G jaoks

 

800G üleminek on juba käimas. Hüperskaalarid võtavad täna kasutusele 800G. Ülejäänud tööstus järgneb 18–24 kuu jooksul.

See ei vanane 400G{1}}mooduleid tarnitakse aastaid,-kuid see muudab ökonoomsust.

800G kasutab kaheksat 100G rada 400G kaheksa 50G raja asemel. Sama PAM4 modulatsioon, suurem sümbolisagedus raja kohta. Füüsika läheb raskemaks. Termilised ümbrised suruvad 20–25 vatti mooduli kohta. OSFP soojuskõrguse eelis muutub nendel võimsustasemetel asjakohasemaks.

Veelgi olulisem on see, et 800G moodulid võivad muutuda kaheks 400G konfiguratsiooniks. Üks 800G-2xDR4 moodul pakub kahte sõltumatut 400G linki. Keskkondades, kus on segatud 400G ja 800G nõuded, lihtsustab see väljamurdmisvõimalus varude haldamist.

Andmekeskuse operaatorid, kellega ma räägin, hoiavad enamasti 400 G juures lehe-spine'i ühenduvust, samas kui GPU klastrite ühenduste jaoks, kus ribalaiuse tihedus on kõige olulisem, hindavad 800 G. Tehisintellekti koolituse töökoormus -kuni-kõikide suhtlusmustritega tõepoolest rõhutab 400G linke viisil, mida traditsiooniline põhja{7}}lõunaliiklus kunagi ei teinud.

 

Co{0}}pakendatud optika horizon

 

Kõik selles valdkonnas teavad, et CPO on tulemas. Optilised transiiverid, mis on integreeritud otse lüliti ASIC-idega. Ühendatavaid mooduleid pole üldse. Energiatarve langeb 15 pidžaulilt biti kohta võib-olla 5-ni, potentsiaalselt alla 1 pidžauli, kui tehnoloogia küpseb.

NVIDIA on teatanud CPO plaanidest 2025/2026 riistvara jaoks. Meta ja Microsoft on demonstreerinud prototüüpe. OIF standardib liideseid.

Küsimus ei ole selles, kas CPO juhtub. See, kas see juhtub piisavalt kiiresti, et olla teie praeguse planeerimistsükli jaoks oluline.

Minu lugemine: ühendatav optika domineerib enamiku juurutuste puhul vähemalt 2028. aastani. CPO võib hüperskaalaeri kohandatud järgudes ilmuda varem. Kuum-vahetatavate moodulite-paindlikkus, mis võimaldab rikkis optikat asendada ilma lülitit välja lülitamata,{5}}on tohutult oluline keskkondades, kus N+1 pole kõikjal liiasust.

Kavandage juba täna ühendatavad 400G ja 800G. CPO hindamise eelarve kolme aasta pärast. Ärge laske müüja tegevuskavade slaididel kiirendada ajakavasid, mida tootmisreaalsus ei suuda toetada.

 

Praktilised juhised, mis tegelikult aitavad

 

Uute ehituste jaoks: standardiseerige DR4-le paralleelse kiudoptilise infrastruktuuriga. Kulude kokkuhoid võrreldes FR4-ga tuhandete moodulite vahel. Kavandage võimsust ja jahutust 10 vatti mooduli kohta, isegi kui spetsifikatsioonilehed lubavad 8.

Uuenduste jaoks: auditeerige oma olemasolevat kiudtaime obsessiivselt. Tea iga segmendi tegelikku mõõdetud kahjumit. Avastage 400-meetrised DR4 piirangute rikkumised enne oma optika saabumist.

AI-klastrite jaoks: 800G on juba õige vastus. Ribalaiuse nõuded õigustavad lisatasu. Ärge astuge poole-400 G juurde, kui teie töökoormus kasvab sellest 18 kuuga üle.

Kõigile: testige enne mahukasutamist põhjalikult kolmanda osapoole{0}}optikat. Kulude kokkuhoid on reaalne. Nii ka ebaõnnestumised. Kontrollige oma konkreetsete lülitusplatvormidega realistliku koormuse all enne laoseisu dollarite määramist.

Tehnika töötab. 20 miljonit 400G ja 800G moodulit tarniti 2024. aastal mingil põhjusel. Kuid üleminek 100G-lt nõuab tähelepanu detailidele, mida spetsifikatsioonilehed ja turundusmaterjalid mugavalt välja jätavad. Füüsika ei hooli teie juurutamise ajakavast.