400G optiske moduler i moderne nettverk

 

Formfaktorkrigene ingen vant

 

QSFP-DD og OSFP kom ut av standardprosessen som to søsken som ikke kunne bli enige om noe annet enn at de begge ønsket 400G. Industrien trengte åtte elektriske baner på 50 Gbps hver, og to forskjellige konsortier bestemte seg for å løse det problemet på to forskjellige måter.

QSFP-DD vant kompatibilitetsargumentet. Den passer til eksisterende QSFP28-bur hvis du myser hardt nok og ikke har noe imot den andre raden med pinner. Bakoverkompatibilitet er viktig når du har titusenvis av utplasserte havner og en finansdirektør som stiller skarpe spørsmål om strandede eiendeler.

OSFP vant det termiske argumentet. Det litt større huset og den integrerte kjøleribben betyr at du faktisk kan forsvinne de 15-20 wattene disse modulene trekker uten å tilberede tilstøtende porter. Jeg har sett linjekort der hjørne-QSFP-DD-portene konsekvent kjører 8 grader varmere enn de midterste fordi luftstrømdesignet antok 100G strømkonvolutter.

Verken vant egentlig. De fleste hyperskalere gikk med QSFP-DD for enkel beholdning. De fleste telekom-distribusjoner gikk OSFP fordi deres sammenhengende moduler trengte den termiske takhøyden. Alle andre valgte hva bytteleverandøren deres sendte og gikk videre.

QSFP112-varianten fortjener omtale fordi den forvirrer alle. Fire baner på 100G hver-samme 400G-aggregat, færre baner, nyere SerDes. Det er viktig for NIC-tilkoblingen der du vil at server-til-TOR-koblinger uten DSP-girkassekompleksiteten. Det betyr mindre enn leverandører hevder andre steder.

 

PAM4 endret alt (og brøt noen få ting)

 

Her er hva ingen forklarer tilstrekkelig når de selger deg på 400G: PAM4-signalering bytter støyimmunitet for båndbreddeeffektivitet, og den avveiningen er ikke gratis.

NRZ-koding brukte to signalnivåer. Høy eller lav. En eller null. Mottakeren din trengte bare å skille mellom disse to tilstandene, og øyediagrammet ga deg komfortable marginer. PAM4 bruker fire nivåer-00, 01, 10, 11-som betyr at mottakeren din nå må skille mellom tre terskelkryssinger med en tredjedel av spenningsseparasjonen. Den teoretiske 9,54dB SNR-straffen er ikke teoretisk i det hele tatt. Det vises i dine pre-FEC BER-tellere hver eneste dag.

DSP-en inne i en 400G-modul gjør heroisk arbeid som kompenserer for dette. Feed-fremover-utjevning, utjevning for tilbakemelding av beslutninger, klokke- og datagjenoppretting-alt kjører på 53,125 GBaud per bane. Når det fungerer, er det usynlig. Når det ikke fungerer, får du serier av feil som kan korrigeres av og til, og lykke til med å finne ut om problemet er modulen din, fiberen din, verten din eller den kosmiske bakgrunnsstrålingen.

 

 

Bølgelengdevarianter: Mer enn bare rekkevidde

 

Rekkeviddespesifikasjonene forteller bare en del av historien.

400G-SR8 bruker 850nm VCSEL-er over åtte parallelle fibre, målrettet 100 meter over OM4. Det er billig. Det er multimodus. Den krever en MPO-16-kontakt med åtte TX- og åtte RX-fibre. Innenfor et stativ eller mellom tilstøtende stativer fungerer dette fint. I det øyeblikket noen spør om å kjøre den "bare litt lenger", minn dem om at modal spredning ved 850nm ikke forhandler.

400G-DR4 opererer ved 1310nm over fire parallelle enkelt-modusfibre, vurdert til 500 meter. MPO-12-kontakten bruker de ytre åtte fibrene og etterlater fire ubrukte-et faktum som forvirrer kabelinstallatører omtrent én gang per distribusjon. DR4 har blitt arbeidshesten for løv{12}}ryggradstilkobling i enkeltmodusanlegg fordi 500 meter dekker de fleste datasentergeometrier med plass til overs.

400G-FR4 bruker CWDM4-bølgelengder (1271, 1291, 1311, 1331nm) multiplekset på et enkelt fiberpar via dupleks LC. To kilometer rekkevidde. Det er her 400G begynner å føles økonomisk for campusforbindelser, fordi du ikke trekker åtte{11}}fiber MPO-trunker mellom bygninger.

400G-LR4 strekker den samme CWDM4-tilnærmingen til 10 kilometer med høyere utskytningskraft og bedre mottakere. Prishoppet fra FR4 til LR4 overrasker fortsatt innkjøpsavdelinger som ikke har oppdatert sin mentale modell fra 100G-LR4-priser.

 

Den sammenhengende elefanten

 

400G-ZR fortjener sin egen seksjon fordi den representerer en fundamentalt annerledes teknologi kledd i samme formfaktor.

Alt jeg har beskrevet så langt bruker direkte-deteksjonsoptikk. Lys går inn, fotodiode konverterer det, DSP renser det. Koherent optikk koder informasjon i både amplitude og fase over to polarisasjoner samtidig, og bruk deretter en lokal oscillator og sofistikert digital signalbehandling for å gjenopprette alt ved mottakeren. Resultatet: 400 Gbps over 120+ kilometer med uforsterket fiber i en pluggbar modul.

OIF 400ZR-standarden spesifiserer 16QAM-modulasjon ved 60 GBaud med dobbel polarisering. Den sammenkoblede FEC (myk-decision indre Hamming, hard-decision ytre trapp) gir omtrent 10,8dB netto kodingsforsterkning. Det hele trekker 15-20 watt og genererer varme som ville fått en QSFP-DD-modul til å gråte.

Jeg har sett ZR-moduler installert i brytere som ikke var designet for den termiske belastningen. Bryterchassiset rapporterte normale temperaturer fordi inntakssensorene målte kald luft. Modulen rapporterte 73 grader fordi den var klemt mellom to andre ZR-moduler med utilstrekkelig luftstrøm. Koblingen fungerte-såvidt-med forhøyede FEC-korreksjoner som ingen la merke til før den før-FEC BER-trenden passerte terskelen og pakker begynte å falle.

ZR+ ​​og MZR-varianter presser rekkevidden videre på bekostning av interoperabilitet. Leverandørspesifikke forbedringer for lanseringskraft, mottakerfølsomhet og FEC-algoritmer kan utvide koblinger over 400 km, men du kjøper en løsning i stedet for en vare.

 

 

Tredjepartsspørsmålet-

 

Jeg har hatt denne samtalen omtrent seks hundre ganger.

"Kan vi bruke tredjeparts-400G-optikk?"

Teknisk ja. MSA-spesifikasjonene eksisterer nettopp for å muliggjøre interoperabilitet med flere-leverandører. En kompatibel QSFP-DD fra produsent X skal oppføre seg identisk med en fra produsent Y. IEEE-standardene definerer de optiske og elektriske parameterne. CMIS (Common Management Interface Specification) standardiserer hvordan verten snakker med modulen.

I praksis kommer det an på.

Ciscos autentiseringsmekanismer har utviklet seg fra den butte «feil-deaktiver porten»-tilnærmingen til eldre plattformer til mer sofistikert leverandørverifisering som logger advarsler, men som ikke nødvendigvis deaktiverer funksjonalitet. Tjenesten ikke støttet-sender/mottakerkommandoen forblir rømningsluken. Arista har en tendens til å være mer tillatende, men vil avslå å støtte problemer som kan stamme fra- tredjepartsmoduler. Junipers holdning varierer etter plattform og programvareversjon på måter som krever konsultasjon av kompatibilitetsmatrisene deres.

Jeg kjører tredjepartsoptikk- i laboratoriemiljøer uten å nøle. For produksjonsbaner som fører inntektstrafikk klokken 02.00 når noe feiler? Jeg ønsker å kunne ringe TAC og få dem til å faktisk hjelpe i stedet for umiddelbart å bøye seg for å "erstatte med støttede transceivere."

Kostnadsmatematikken endrer denne beregningen for hyperskalere som kjøper moduler i titusenvis og ansetter optikkingeniører som kan karakterisere og kvalifisere leverandører uavhengig. Det er en annen matematikk for bedrifter som kjøper hundrevis av moduler gjennom distribusjonskanaler med begrensede tekniske ressurser.

 

Termisk virkelighet

 

En 400G QSFP-DD-modul trekker et sted mellom 10 og 15 watt avhengig av variant og leverandør. En 400G koherent ZR-modul trekker 15-20 watt. En 800G QSFP-DD800-modul-som allerede er distribuert i AI-klynger, trekker 18–25 watt.

Sett 64 av disse i en 2RU-bryter og du har 640 watt bare fra optikk før du tar hensyn til bryteren ASIC, minne, vifter og strømforsyninger. Det termiske designproblemet har flyttet seg fra "tilstrekkelig" til "kritisk" på en enkelt generasjon.

Jeg så et termisk bildekamera sveipe en full-lastet 400G ryggbryter under en kvalifiseringstest. De hotteste modulene var ikke de du forventer. Hjørneposisjoner, motvind av ASIC-eksosen, ble varmere enn front-sentermoduler som fikk frisk luft. Standard DDM-temperaturavlesningene viste en spredning på 17 grader over porter som visstnok var identiske.

Modulspesifikasjonene lover drift fra 0 grader til 70 grader, men ytelseskurvene ser ikke like ut ved 70 grader som de gjør ved 25 grader. Laserterskelstrømmen øker. Skråningseffektiviteten reduseres. Bølgelengdedrift-og for CWDM4- og DWDM-systemer betyr bølgelengdedrift krysstale med tilstøtende kanaler.

Luft-kjølte systemer nærmer seg grensene. Væskekjøling for brytere forblir eksotisk, men stadig mer nødvendig for AI/ML-klynger der GPUer og optikk konkurrerer om det samme termiske budsjettet.

 

 

Tester realiteter

 

IEEE-standardene definerer samsvarspunkter. De garanterer ikke at den spesifikke koblingen din vil fungere.

TDECQ (Transmitter and Dispersion Eye Closure Quaternary) er PAM4-ekvivalenten til OMA (Optical Modulation Amplitude), men mer komplisert. Den prøver å karakterisere senderkvaliteten på en måte som forutsier mottakerens ytelse. Målingen krever referansemottakere og matematiske transformasjoner som varierer mellom leverandører av testutstyr på måter som forårsaker uendelige debatter om standardkomitéer.

Pre-FEC BER-testing er viktigere enn noen gang. "Fingeravtrykket" til bitfeilene dine-tilfeldig versus bursty, jevnt fordelt versus konsentrert i spesifikke PAM4-symboler-avgjør om FEC-en din faktisk kan korrigere dem. Ekte tilfeldige feil spiller fint med Reed-Solomon-koder. Burst-feil fra klokkegjenopprettingsproblemer eller DSP-feil oppførsel kan overvelde FEC selv når den rå BER ser akseptabel ut.

Jeg har lært å kreve pre-FEC-statistikk fra hver 400G-kobling, ikke bare post-FEC. En lenke som viser 0,00 post-FEC BER mens du kjører pre-FEC BER på 2×10⁻⁴ ser bra ut til du skjønner at det nesten ikke er noen margin igjen. Legg til en litt skitten kontakt eller en aldrende laser, og den koblingen vil tippe over FEC-klippen uten forvarsel.

 

Koblingsforurensning

 

Ved 400G blir forurensningsproblemet akutt. Det modulerte øyet har mindre margin. Partikler som ville vært usynlige ved lavere hastigheter demper nå nok til å ha betydning.

Enkeltmodus-fiberkjerner er 9 mikrometer på tvers. En MTP/MPO-12-kontakt har åtte aktive fiberbaner (fire TX, fire RX) pluss fire ubrukte. Hver parringssyklus risikerer forurensning. Hver forurensede endeside risikerer innsettingstap som spiser inn i linkbudsjettet ditt.

Rengjøringsdisiplinen som kreves er ikke-omsettelig, men følges sjelden konsekvent. Rengjøringsmidler med ett-klikk, tørrservietter med statiske problemer, våtrengjøring med isopropylalkohol som må tørkes umiddelbart i stedet for å fordampe-hver metode har tilhengere og kritikere. Det alle er enige om: inspiser med fiberskop før du kobler til, og hvis det er skittent, rengjør det og inspiser igjen.

Jeg så et distribusjonsteam brenne en hel ettermiddag ved å feilsøke en intermitterende 400G-DR4-kobling. Flere modulbytter. Konfigurasjonsvurderinger. Til slutt brøt ut inspeksjonsomfanget og fant konstruksjonsrester på skottadapteren som ingen hadde tenkt å sjekke. Tjue sekunder med et rengjøringsverktøy fikset det som fire timers feilsøking ikke klarte.

 

 

Hva dette betyr for planlegging

 

Hvis du implementerer nytt datasenterstoff i dag, er 400G grunnlinjen for ryggraden og i økende grad for blad-ryggoppkoblinger. Kostnaden per bit har falt til der 4×100G breakout fra en 400G-modul ofte er billigere enn individuelle 100G-moduler. DR4 for alt over 30 meter inne i en bygning. FR4 for campusforbindelser. LR4 eller ZR hvis du når mellom nettsteder.

Hvis du er en bedrift som vurderer din første 400G-distribusjon, har bytteplattformene modnet, modulforsyningskjeden har stabilisert seg, og prisene krever ikke lenger executive sign-av hver innkjøpsordre. Start med en blad-ryggoppfriskning, bevis at kablingsinfrastrukturen din kan håndtere den strammere forurensningstoleransen, og forstå at administrasjonsverktøyene dine må begynne å samle inn FEC-statistikk før du faktisk trenger dem.

Hvis du er en hyperskaler som leser dette, er du allerede forbi 400G for GPU-klynger og lurer på hvordan 1.6T faktisk vil distribueres. Lykke til med de termiske problemene; Jeg skal lese papirene dine om to år.

Modulene i seg selv har blitt bemerkelsesverdig pålitelige. Problemene lever overalt ellers: forurensede kontakter, feilkonfigurerte FEC-moduser, termiske design som antok gårsdagens strømkonvolutter, og støtteorganisasjoner som fortsatt lærer å feilsøke PAM4-signalintegritetsproblemer. Det uglamorøse grunnleggende-rengjør kontaktene dine, mål temperaturene dine, forstå FEC-budsjettet ditt-betyder mer enn spesifikasjonsarkets debatter noensinne vil gjøre.