Future of Data: 400g optisk modul

 

 

Formfaktorkrigene ingen snakker om ærlig

 

Gå inn på en hvilken som helst optisk nettverkskonferanse, og du vil høre QSFP-DD versus OSFP-debatten innrammet som en teknisk sammenligning. Det er det ikke. Det er en politisk kamp kledd opp i spesifikasjonsark.

QSFP-DD vant volumkampen før den første 400G-svitsjen ble sendt. Bakoverkompatibilitet med QSFP28-bur betydde at hver nettverksoperatør teoretisk kunne oppgradere uten å rive ut eksisterende infrastruktur. At "teoretisk" gjør tunge løft-Jeg har sett ingeniører bruke hele helger på å prøve å få eldre bryterfastvare til å gjenkjenne moduler med dobbel-tetthet som fysisk passer, men som ikke oppfører seg elektrisk.

OSFP kom fra Aristas leir med en enkel pitch: større modul, bedre termikk, designet for 400G fra bunnen av i stedet for å tvinge åtte baner inn i et bur bygget for fire. Den integrerte kjøleribben håndterer 15-20 watt uten å svette. QSFP-DD ved 12 watt? Allerede presser termiske grenser i utplasseringer med høy tetthet.

Bransjen valgte QSFP-DD uansett. Kompatibilitet vinner. har alltid gjort.

Men her er hva formfaktorsammenligningsartiklene aldri nevner: termiske kapasitetsforskjeller øker dramatisk i skala. En 32-porter 400G-svitsj fullt fylt med QSFP-DD-moduler sprer omtrent 640 watt fra optikk alene. Det er før bryteren ASIC, kontrollplan, vifter, strømforsyninger. Vi snakker 1,5-2 kilowatt totalt i et 1RU-chassis. Luftstrømsteknikken som kreves for å holde disse modulene under krysstemperaturgrensene grenser til romfartsdesign.

 

PAM4 gjorde alt vanskeligere

 

Alle feirer PAM4 for dobling av spektral effektivitet. Ingen nevner det tekniske marerittet det skapte.

NRZ var enkel. To spenningsnivåer. Signalet representerer enten en ener eller en null. Øyediagrammet ditt har én åpning. Hvis det er rent, er du gull.

PAM4 sender to biter per symbol ved å bruke fire amplitudenivåer. Tre stablede øyeåpninger. Hvert øye er omtrent en-tredjedel av høyden til et tilsvarende NRZ-øye. Støymarginene kollapser. Plutselig er hver millimeter med PCB-spor viktig. Hver via skaper refleksjon. Hver impedansdiskontinuitet mellom verts-ASIC og det optiske modulburet blir et pålitelighetsproblem.

Jeg brukte seks måneder på å feilsøke en 400G-distribusjon der tilfeldige CRC-feil dukket opp på bestemte porter. Grunnårsaken? En litt ut--kontakt på vertskortet skapte akkurat nok returtap til å ødelegge det laveste PAM4-øyet. Helt greit for 100G-trafikk. Katastrofal for 400G.

Bransjens svar var obligatorisk FEC. Du kan ikke kjøre 400G PAM4-optikk uten foroverrettet feilkorrigering-den rå BER overskrider ganske enkelt brukbare terskler. RS(544,514) legger til omtrent 300 nanosekunders ventetid. Ikke stort. Men fortell det til HPC-klyngen som kjører MPI-jobber der hvert mikrosekund med halelatens påvirker fullføringstiden for jobben.

 

 

Silicon Photonics var ment å redde oss

 

Tonehøyden for silisiumfotonik høres perfekt ut på papiret. Utnytt flere tiår med CMOS-flotte investeringer. Integrer modulatorer, fotodetektorer og bølgeledere på en enkelt brikke. Oppnå stordriftsfordeler som diskrete InP- og GaAs-komponenter aldri kunne. Strømforbruket faller 20-30%. Kostnadene når til slutt paritet og undergraver deretter tradisjonelle tilnærminger.

Intel sendte over tre millioner 100G silisium fotoniske transceivere. Alibaba distribuerte 400G DR4 silisium fotoniske moduler over deres skynettverk fra og med 2020. Teknologien fungerer.

Men silisiumfotonikk har en skitten hemmelighet: lyskildene kan fortsatt ikke være silisium.

Du trenger en ekstern laser-vanligvis en indiumfosfiddyse-enten bundet til silisium-PIC eller koblet via fiber. Den hybride integrasjonen tilfører produksjonskompleksitet. Utbyttet lider. Kostnadsfordelen alle lovet blir stadig skjøvet ut en ny generasjon.

Selskapene som dobler ned på silisiumfotonikk for 400G inkluderer noen veldig smarte folk som gjør veldig dyre spill. Ciscos oppkjøp av Luxtera og Acacia beløp seg til 3,26 milliarder dollar. Det er ikke FoU-budsjettpenger. Det er strategiske infrastrukturinvesteringer.

Markedsandelsdata forteller en mer komplisert historie. I følge LightCounting representerer silisiumfotoniske moduler fortsatt under 10 % av totale 400G-forsendelser til tross for mange års hype. Tradisjonelle EML-baserte transceivere dominerer DR4- og FR4-applikasjoner. Teknologiovergangen skjer tregere enn pressemeldingene antydet.

 

Hva spesifikasjonsarkene skjuler om rekkevidde

 

IEEE-navnekonvensjonen for 400G-optikk virker nyttig inntil du prøver å faktisk kjøpe moduler.

400G-SR8: 100 meter over multimodusfiber. Åtte parallelle baner ved 850nm. Fint for tilkoblinger innenfor-rack. Forferdelig for noe annet.

400G-DR4: 500 meter over enkelt-modusfiber. Fire parallelle baner ved 1310nm. Arbeidshesten for de fleste datasenterforbindelser.

400G-FR4: 2 kilometer, enkelt-modus, CWDM-bølgelengder multiplekset på ett fiberpar. Bruker kostbare eksternt modulerte lasere.

400G-LR4: 10 kilometer. Samme bølgelengdeskjema som FR4, men med optisk forsterkning for å utvide rekkevidden.

Enkelt nok. Bortsett fra produsenter spiller raskt og løst med disse betegnelsene konstant.

Jeg har sett "DR4-kompatible" moduler som treffer 500 meter under laboratorieforhold og feiler på 300 meter med faktisk fiberanlegg som har litt forhøyet koblingstap. Spesifikasjonen sier 500 meter med 7dB linkbudsjett. Matematikken fungerer perfekt forutsatt uberørte forbindelser overalt. Virkeligheten inkluderer skitne koblinger, ufullkomne skjøter og fiberløp som tok en litt lengre vei gjennom taket enn kabelhåndteringstegningene antydet.

FR4-rekkevidden på 2 km høres tilstrekkelig ut til du kobler sammen bygninger på en campus og oppdager at fiberbanen din måler 2,3 kilometer. Nå trenger du LR4-moduler til tre ganger prisen, eller du blir kreativ med forsterkning, eller du aksepterer at denne koblingen faktisk ikke vil fungere.

 

DR4 versus FR4-avgjørelsen

 

Denne har faktisk betydning for virkelige distribusjoner, og ingen forklarer det godt.

DR4 bruker fire parallelle fibre for overføring og fire for mottak. Totalt åtte fibre. MPO-12-kontakt med fire ubrukte posisjoner. Maksimal rekkevidde 500 meter. Strømforbruk typisk 8-10 watt. Modulen koster omtrent 60 % av tilsvarende FR4.

FR4 bruker bølgelengdedelingsmultipleksing for å sette alle fire banene på et enkelt fiberpar. Dupleks LC-kontakt. Maksimal rekkevidde 2 kilometer. Strømforbruk typisk 10-12 watt. Premium-priser fordi EML-lasere ikke er billige.

Fibertopologien bestemmer alt.

Greenfield datasenter med strukturert kabling du spesifiserer? Parallell fiber er fornuftig. Kjør MPO-stamkabler mellom radene. Bruk DR4 overalt. Lavere optikkkostnader oppveier den ekstra fiberen.

Brownfield-miljø med eksisterende dupleksfiberanlegg? FR4 eller du trekker en ny kabel.

Blandet miljø med noen parallelle kjøringer og noe duplex legacy-anlegg? Velkommen til kompatibilitetsmarerittet. Du vil ende opp med begge modultyper, forskjellige koblingsstiler og minst ett skap der noen brukte feil patchkabel og brukte fire timer på å feilsøke "link down"-varsler.

 

Breakout-spørsmålet

 

En 400G-DR4-modul inneholder fire 100G-baner. Hver bane opererer uavhengig ved det optiske laget. Dette muliggjør breakout-ved å koble én 400G-svitsjport til fire separate 100G-enheter ved hjelp av en breakout-fiberenhet.

Økonomien høres overbevisende ut. Én 400G-port. Fire 100G-servere. Ikke behov for ekstra svitsjporter.

Virkeligheten er mer komplisert.

Switch ASIC-er støtter ikke alltid vilkårlige breakout-konfigurasjoner. Noen plattformer krever spesifikk fastvare. Andre tillater bare breakout på visse portgrupper. Noen få implementerer utbrudd i maskinvare, men programvarestabelen avslører ikke konfigurasjonsalternativet.

Verre: breakout-kabler skaper støttemareritt. Er problemet 400G-modulen, breakout-enheten eller en av de fire 100G-enhetsportene? Feilsøking krever bytte av kabler, testing av hvert ben uavhengig, og be om at problemet kan reproduseres.

Jeg har sett organisasjoner standardisere på native 100G overalt, spesielt for å unngå breakout-kompleksitet. Optikken koster mer. Svitsjporttettheten lider. Men den operative enkelheten vinner.

 

 

Virkelighet for strømforbruk

 

Hvert 400G-moduldatablad viser strømforbruket. Tallene er teknisk nøyaktige og praktisk talt ubrukelige.

En QSFP-DD DR4 kan spesifisere til 8,5 watt typisk. Det er modulen som trekkes fra bryterens 3,3V-skinne under normale driftsforhold. Den inkluderer ikke den ekstra kraften bryteren ASIC bruker for å kjøre de åtte 50G PAM4-banene. Det tar ikke hensyn til varmestyringen overhead-kraftigere vifter, ekstra luftstrøm, kanskje ekstra kjøling.

Ved 32 porter per bryter blir forskjellen mellom 8-watt og 12-watts moduler sammensatt til 128 watt. Det er ikke trivielt når du planlegger strømfordeling for en hel rad med stativer.

Overgangen fra 100G til 400G firedobler ikke strømforbruket per port-effektivitetsgevinsten fra integrasjon og DSP-forbedringer hjelper. Men den samlede kraften per bryter økte absolutt. Datasentre som planla elektrisk og kjøleinfrastruktur rundt 100G tettheter oppdager kapasitetsbegrensninger når de oppgraderer til 400G ved full befolkning.

 

Kompatibilitet er ikke binær

 

Leverandører elsker å hevde "kompatibel med alle større bryterplattformer." Denne uttalelsen er teknisk forsvarlig og praktisk talt misvisende.

Optisk modulkompatibilitet avhenger av mer enn fysisk passform og elektrisk signalering. DOM-protokoller (Digital Optical Monitoring) varierer mellom leverandører. CMIS (Common Management Interface Specification)-implementeringer har nok fleksibilitet til at to "kompatible" implementeringer kanskje ikke fungerer rent sammen. Noen brytere sjekker leverandør-ID-koder og nekter å tenne ukjente moduler helt.

Det grå markedet for "kompatibel" 400G-optikk eksploderte nettopp fordi merkevare-navnemoduler koster 3-5 ganger mer enn tredjepartsalternativer. Noen av disse alternativene fungerer feilfritt. Andre forårsaker subtile problemer som bare manifesterer seg under spesifikke trafikkmønstre eller etter å ha løpt i flere uker.

Jeg har personlig testet tredjeparts 400G DR4-moduler- som besto hver eneste samsvarsmåling i laboratoriet, og deretter ga ukorrigerbare FEC-feil ved 2 % av trafikken under produksjonsbelastning. Temperaturen inne i modulen under vedvarende høy-båndbredde oversteg det de optiske komponentene kunne håndtere. Modulen fungerte. Helt til det ikke gjorde det.

 

Hva 800G betyr for 400G

 

800G-overgangen er allerede i gang. Hyperscalere distribuerer 800G i dag. Resten av bransjen følger etter innen 18-24 måneder.

Dette forelder ikke 400G-modulene vil sendes i årevis-men det endrer økonomien.

800G bruker åtte 100G-baner i stedet for 400Gs åtte 50G-baner. Samme PAM4-modulasjon, høyere symbolrate per bane. Fysikken blir vanskeligere. Termiske konvolutter skyver mot 20-25 watt per modul. OSFPs fordel med termisk takhøyde blir mer relevant ved disse effektnivåene.

Enda viktigere, 800G-moduler kan bryte ut til doble 400G-konfigurasjoner. Én 800G-2xDR4-modul gir to uavhengige 400G-koblinger. For miljøer med blandede 400G- og 800G-krav, forenkler denne breakout-funksjonen lagerstyring.

Datasenteroperatørene jeg snakker med holder stort sett på 400G for blad-ryggtilkobling mens de evaluerer 800G for GPU-klyngeforbindelser der båndbreddetettheten betyr mest. Arbeidsmengden for AI-trening med alle-til-kommunikasjonsmønstre understreker virkelig 400G-koblinger på måter som tradisjonell nord-sørtrafikk aldri gjorde.

 

Den co-pakkede optikkhorisonten

 

Alle i bransjen vet at CPO kommer. Optiske transceivere integrert direkte med switch ASICs. Ingen pluggbare moduler i det hele tatt. Strømforbruket synker fra 15 picojoule per bit til kanskje 5, potensielt under 1 picojoule etter hvert som teknologien modnes.

NVIDIA har annonsert CPO-planer for 2025/2026-maskinvare. Meta og Microsoft har demonstrert prototyper. OIF standardiserer grensesnitt.

Spørsmålet er ikke om CPO skjer. Det er om det skjer raskt nok til å ha betydning for din nåværende planleggingssyklus.

Min lesning: pluggbar optikk dominerer gjennom minst 2028 for de fleste distribusjoner. CPO kan vises i hyperscaler tilpassede bygg tidligere. Operasjonsfleksibiliteten til varme-utskiftbare moduler-muligheten til å erstatte en mislykket optikk uten å slå av en bryter-betyr enormt for miljøer uten N+1 redundans overalt.

Planlegg for pluggbare 400G og 800G i dag. Budsjett for CPO-evaluering om tre år. Ikke la lysbilder av leverandørens veikart fremskynde tidslinjer som produksjonsvirkelighet ikke kan støtte.

 

Praktisk veiledning som faktisk hjelper

 

For nybygg: standardiser på DR4 med parallell fiberinfrastruktur. Kostnadsbesparelsene over FR4 er sammensatt av tusenvis av moduler. Planlegg strøm og kjøling for 10 watt per modul selv om spesifikasjonsark lover 8.

For oppgraderinger: overvåk ditt eksisterende fiberanlegg besettende. Kjenn det faktiske målte tapet på hvert segment. Oppdag 400-meters DR4-grensebrudd før optikken din kommer.

For AI-klynger: 800G er allerede det rette svaret. Båndbreddekravene rettferdiggjør premien. Ikke gå et halvt-trinn til 400G hvis arbeidsbelastningen din vil vokse ut av den i løpet av 18 måneder.

For alle: test tredjepartsoptikk grundig før volumimplementering. Kostnadsbesparelsene er reelle. Det samme er feilene. Valider med dine spesifikke bytteplattformer under realistisk belastning før du forplikter deg til lagerbeholdning.

Teknologien fungerer. Tjue millioner 400G- og 800G-moduler ble sendt i 2024 av en grunn. Men overgangen fra 100G krever oppmerksomhet på detaljer som spesifikasjonsark og markedsføringsmateriell enkelt utelater. Fysikken bryr seg ikke om tidslinjen din for distribusjon.