Budoucnost dat: 400g optický modul

 

 

Války tvarových faktorů, o kterých nikdo upřímně nemluví

 

Vstupte na jakoukoli konferenci o optických sítích a uslyšíte debatu QSFP-DD versus OSFP v rámci technického srovnání. není. Je to politický boj převlečený do technických listů.

QSFP-DD vyhrál bitvu o objem před dodáním prvního 400G přepínače. Zpětná kompatibilita s klecemi QSFP28 znamenala, že každý síťový operátor mohl teoreticky upgradovat, aniž by vytrhl stávající infrastrukturu. To „teoreticky“ dělá těžkou práci-Sledoval jsem inženýry, jak tráví celé víkendy snahou o to, aby starší firmware přepínačů rozpoznal moduly s dvojí{6}}hustotou, které fyzicky pasují, ale elektricky se chovají špatně.

OSFP přišel z tábora Arista s přímočarým roztečím: větší modul, lepší termika, navržený pro 400G od nuly místo vynucení osmi drah do klece postavené pro čtyři. Integrovaný chladič zvládne 15-20 wattů, aniž by se zapotil. QSFP-DD při 12 wattech? Již posouvá tepelné limity při nasazení s vysokou hustotou.

Průmysl si přesto zvolil QSFP-DD. Kompatibilita vítězí. Vždy má.

Ale tady je to, co články o srovnávání tvarových faktorů nikdy nezmiňují: rozdíly v tepelné kapacitě se dramaticky zvyšují v měřítku. 32-portový 400G přepínač plně osazený moduly QSFP-DD odvádí zhruba 640 wattů jen z optiky. To je před přepínačem ASIC, řídicí rovina, ventilátory, napájecí zdroje. Mluvíme o 1,5-2 kilowattech celkem v šasi 1RU. Technika proudění vzduchu požadovaná k udržení těchto modulů pod limity teploty na křižovatce hraničí s návrhem letectví.

 

PAM4 udělal všechno těžší

 

Všichni oslavují PAM4 za zdvojnásobení spektrální účinnosti. Nikdo se nezmiňuje o inženýrské noční můře, kterou vytvořil.

NRZ byl jednoduchý. Dvě úrovně napětí. Signál představuje buď jedničku nebo nulu. Diagram vašeho oka má jeden otvor. Pokud je čistý, jsi zlatý.

PAM4 přenáší dva bity na symbol pomocí čtyř úrovní amplitudy. Tři naskládané otvory pro oči. Každé oko má zhruba jednu-třetinu výšky ekvivalentního oka NRZ. Hranice hluku se zhroutí. Najednou záleží na každém milimetru stopy PCB. Každý průchod vytváří odraz. Každá diskontinuita impedance mezi hostitelským ASIC a klecí optického modulu se stává problémem spolehlivosti.

Strávil jsem šest měsíců laděním nasazení 400G, kde se na konkrétních portech objevovaly náhodné chyby CRC. Hlavní příčina? Mírně neodpovídající-nestandardní-konektor na hostitelské desce způsobil ztrátu zpětného signálu tak akorát k poškození nejnižšího oka PAM4. Naprosto v pořádku pro provoz 100G. Katastrofální pro 400G.

Reakcí průmyslu byla povinná FEC. Nemůžete provozovat 400G PAM4 optiku bez dopředné opravy chyb-nezpracovaná BER jednoduše překračuje použitelné prahové hodnoty. RS(544,514) přidává zhruba 300 nanosekund latence. Ne obrovský. Ale řekněte to HPC clusteru, na kterém běží MPI úlohy, kde každá mikrosekunda koncové latence ovlivňuje čas dokončení úlohy.

 

 

Silicon Photonics nás měla zachránit

 

Rozteč pro křemíkovou fotoniku zní na papíře perfektně. Využijte desítky let skvělých investic do CMOS. Integrujte modulátory, fotodetektory a vlnovody do jediného čipu. Dosáhněte úspor z rozsahu, které by diskrétní komponenty InP a GaAs nikdy nedokázaly. Spotřeba energie klesne o 20-30%. Náklady nakonec dosáhnou parity a pak podkopávají tradiční přístupy.

Intel dodal více než tři miliony 100G křemíkových fotonických transceiverů. Alibaba nasadila 400G DR4 křemíkové fotonické moduly ve své cloudové síti od roku 2020. Technologie funguje.

Ale křemíková fotonika má špinavé tajemství: světelné zdroje stále nemohou být křemíkové.

Potřebujete externí laser-obvykle indium fosfid-připojený ke křemíkovému PIC nebo připojený přes vlákno. Tato hybridní integrace zvyšuje výrobní složitost. Trpí výnosy. Cenová výhoda, kterou všichni slibovali, se neustále vytlačuje další generace.

Mezi společnosti, které zdvojnásobují křemíkovou fotoniku pro 400G, patří několik velmi chytrých lidí, kteří uzavírají velmi drahé sázky. Akvizice společností Luxtera a Acacia společností Cisco dosáhly celkové výše 3,26 miliardy dolarů. To nejsou peníze z rozpočtu na výzkum a vývoj. To jsou strategické investice do infrastruktury.

Údaje o podílu na trhu vyprávějí složitější příběh. Podle společnosti LightCounting křemíkové fotonické moduly stále představují méně než 10 % celkových dodávek 400G, a to i přes roky humbuku. Tradiční transceivery založené na EML-dominují aplikacím DR4 a FR4. Přechod technologií probíhá pomaleji, než naznačovaly tiskové zprávy.

 

Co skrývají listy se specifikacemi o dosahu

 

Konvence pojmenování IEEE pro 400G optiku se zdá být užitečná, dokud se nepokusíte moduly skutečně koupit.

400G-SR8: 100 metrů přes vícevidové vlákno. Osm paralelních pruhů při 850 nm. Dobré pro připojení v rámci-racků. Hrozné na cokoli jiného.

400G-DR4: 500 metrů přes jedno-vlákno. Čtyři paralelní pruhy na 1310 nm. Tahoun pro většinu propojení datových center.

400G-FR4: 2 kilometry, jeden-režim, vlnové délky CWDM multiplexované na jeden pár vláken. Používá drahé externě modulované lasery.

400G-LR4: 10 kilometrů. Stejné schéma vlnových délek jako FR4, ale s optickým zesílením pro prodloužení dosahu.

Dost jednoduché. Až na to, že výrobci si s těmito označeními neustále hrají rychle a volně.

Viděl jsem moduly "kompatibilní s DR4", které dosáhly 500 metrů v laboratorních podmínkách a selhaly na 300 metrů se skutečným zařízením na výrobu vláken, které má mírně zvýšenou ztrátu konektoru. Specifikace říká 500 metrů se 7 dB linkovým rozpočtem. Matematika funguje perfektně za předpokladu nedotčených spojení všude. Realita zahrnuje špinavé konektory, nedokonalé spoje a vedení vláken, která procházela stropem o něco delší cestou, než naznačovaly výkresy vedení kabelů.

Dosah 2 km FR4 zní dostatečně, dokud nepropojíte budovy v kampusu a nezjistíte, že vaše trasa vlákna měří 2,3 kilometru. Nyní potřebujete moduly LR4 za trojnásobné náklady, nebo budete kreativní se zesílením, nebo přijmete, že tento odkaz nebude ve skutečnosti fungovat.

 

Rozhodnutí DR4 versus FR4

 

To je ve skutečnosti důležité pro skutečné nasazení a nikdo to dobře nevysvětluje.

DR4 používá čtyři paralelní vlákna pro vysílání a čtyři pro příjem. Celkem osm vláken. Konektor MPO-12 se čtyřmi nevyužitými pozicemi. Maximální dosah 500 metrů. Spotřeba energie obvykle 8-10 wattů. Modul stojí zhruba 60 % ekvivalentu FR4.

FR4 používá multiplexování s dělením vlnové délky, aby všechny čtyři pruhy umístil na jeden pár vláken. Duplexní LC konektor. Maximální dosah 2 kilometry. Spotřeba energie obvykle 10-12 wattů. Prémiové ceny, protože lasery EML nejsou levné.

Topologie vlákna určuje vše.

Datové centrum na zelené louce se strukturovanou kabeláží, které specifikujete? Paralelní vlákno má smysl. Mezi řadami veďte hlavní kabely MPO. Používejte DR4 všude. Nižší náklady na optiku kompenzují dodatečné vlákno.

Prostředí brownfield se stávající továrnou na duplexní vlákna? FR4 nebo taháte nový kabel.

Smíšené prostředí s několika paralelními běhy a nějakým duplexním starším závodem? Vítejte v noční můře kompatibility. Skončíte s oběma typy modulů, různými styly konektorů a alespoň jednou skříní, kde někdo použil nesprávný propojovací kabel a strávil čtyři hodiny odstraňováním problémů s upozorněními „odpojení“.

 

Breakoutová otázka

 

Modul 400G-DR4 obsahuje čtyři pruhy 100G. Každý pruh funguje na optické vrstvě nezávisle. To umožňuje průlomové{6}}připojení jednoho portu 400G přepínače ke čtyřem samostatným 100G zařízením pomocí sestavy breakout vlákna.

Ekonomika zní přesvědčivě. Jeden 400G port. Čtyři 100G servery. Nejsou potřeba další porty přepínače.

Realita je složitější.

Switch ASIC ne vždy podporují libovolné konfigurace breakout. Některé platformy vyžadují specifický firmware. Jiné umožňují přerušení pouze na určitých skupinách portů. Několik implementuje přerušení v hardwaru, ale softwarový balík nevystavuje možnost konfigurace.

Horší: breakout kabely vytvářejí podpůrné noční můry. Je problém v modulu 400G, vylamovací sestavě nebo v jednom ze čtyř portů zařízení 100G? Řešení problémů vyžaduje výměnu kabelů, nezávislé testování každé nohy a modlitbu, aby byl problém reprodukovatelný.

Všiml jsem si, že organizace všude standardizují nativní 100G, aby se vyhnuly složitosti přerušení. Optika je dražší. Hustota portů přepínače trpí. Ale provozní jednoduchost vítězí.

 

 

Spotřeba energie realita

 

Každý datový list modulu 400G uvádí spotřebu energie. Čísla jsou technicky přesná a prakticky nepoužitelná.

QSFP-DD DR4 může mít typicky 8,5 wattu. To je modul čerpající z 3,3V lišty přepínače za normálních provozních podmínek. Nezahrnuje dodatečnou energii, kterou přepínač ASIC spotřebovává při řízení těchto osmi 50G PAM4 pruhů. Nezohledňuje to režijní řízení teploty-výkonnější ventilátory, další proudění vzduchu, možná doplňkové chlazení.

Při 32 portech na přepínač se rozdíl mezi 8 a 12 wattovými moduly skládá na 128 wattů. To není triviální, když plánujete rozvod energie pro celou řadu stojanů.

Přechod ze 100G na 400G nezčtyřnásobí spotřebu energie na port-pomáhá zvýšení efektivity díky integraci a vylepšení DSP. Souhrnný výkon na spínač se však absolutně zvýšil. Datová centra, která plánovala elektrickou a chladicí infrastrukturu s hustotou 100 G, zjišťují při upgradu na 400 G při plném počtu obyvatel kapacitní omezení.

 

Kompatibilita není binární

 

Prodejci rádi tvrdí, že jsou „kompatibilní se všemi hlavními platformami přepínačů“. Toto tvrzení je technicky obhajitelné a prakticky zavádějící.

Kompatibilita optického modulu závisí na více než fyzickém přizpůsobení a elektrické signalizaci. Protokoly DOM (Digital Optical Monitoring) se mezi jednotlivými prodejci liší. Implementace CMIS (Common Management Interface Specification) mají dostatečnou flexibilitu, takže dvě „vyhovující“ implementace nemusí vzájemně čistě spolupracovat. Některé přepínače kontrolují ID kódy dodavatele a odmítají rozsvítit nerozpoznané moduly úplně.

Šedý trh s „kompatibilní“ optikou 400G explodoval právě proto, že značkové -moduly stojí 3-5krát více než alternativy třetích stran. Některé z těchto alternativ fungují bezchybně. Jiní způsobují jemné problémy, které se projevují pouze při specifických vzorcích provozu nebo po několika týdnech běhu.

Osobně jsem testoval-moduly 400G DR4 třetích stran, které prošly každým měřením shody v laboratoři, a poté způsobily neopravitelné chyby FEC u 2 % provozu při produkčním zatížení. Teplota uvnitř modulu při trvalém provozu s vysokou-šířkou pásma překračovala to, co by optické komponenty mohly zvládnout. Modul fungoval. Dokud ne.

 

Co znamená 800G pro 400G

 

Přechod 800G již probíhá. Hyperscalery dnes nasazují 800G. Zbytek odvětví bude následovat během 18–24 měsíců.

To nezastarává 400G-moduly se budou dodávat roky-, ale mění to ekonomiku.

800G používá osm 100G pruhů místo osmi 50G pruhů 400G. Stejná modulace PAM4, vyšší symbolová rychlost na jízdní pruh. Fyzika je těžší. Tepelné obálky tlačí směrem k 20-25 wattům na modul. Výhoda tepelné světlosti OSFP se na těchto úrovních výkonu stává důležitější.

Ještě důležitější je, že moduly 800G se mohou rozdělit na duální konfigurace 400G. Jeden modul 800G-2xDR4 poskytuje dvě nezávislé 400G linky. Pro prostředí se smíšenými požadavky na 400G a 800G tato schopnost průlomu zjednodušuje správu zásob.

Operátoři datových center, se kterými mluvím, se většinou drží na 400 G pro konektivitu list{1}}spine, zatímco hodnotí 800 G pro propojení clusterů GPU, kde hustota šířky pásma záleží nejvíce. Trénink AI se všemi-k{5}}všemi komunikačními vzorci skutečně zatěžuje 400G spojení způsobem, jakým tradiční sever-jižní provoz nikdy nedělal.

 

The Co-Packaged Optics Horizon

 

Každý v oboru ví, že CPO přichází. Optické transceivery integrované přímo s přepínači ASIC. Žádné zásuvné moduly. Spotřeba energie klesá z 15 pikojoulů na bit na možná 5, potenciálně pod 1 pikojoul, jak technologie dospívá.

NVIDIA oznámila plány CPO pro hardware 2025/2026. Meta a Microsoft předvedly prototypy. OIF standardizuje rozhraní.

Otázkou není, zda se CPO stane. Jde o to, zda k tomu dojde dostatečně rychle, aby záleželo na vašem aktuálním plánovacím cyklu.

Moje čtení: zásuvná optika dominuje minimálně do roku 2028 u většiny nasazení. CPO se může objevit ve vlastních sestaveních hyperscaleru dříve. Provozní flexibilita-modulů vyměnitelných za provozu-schopnost nahradit vadnou optiku bez vypnutí přepínače-je nesmírně důležitá pro prostředí bez N+1 redundance kdekoli.

Naplánujte si zásuvné 400G a 800G ještě dnes. Rozpočet na hodnocení CPO za tři roky. Nedovolte, aby diapozitivy plánů dodavatele urychlily časové osy, které výrobní realita nemůže podporovat.

 

Praktický návod, který skutečně pomáhá

 

Pro nové sestavení: standardizujte na DR4 s infrastrukturou paralelních vláken. Úspora nákladů oproti směsi FR4 napříč tisíci moduly. Naplánujte napájení a chlazení na 10 wattů na modul, i když technické listy slibují 8.

Pro upgrady: obsedantně prověřte svou stávající vlákninu. Znáte skutečnou naměřenou ztrátu na každém segmentu. Objevte překročení limitu DR4 na 400 metrů, než dorazí vaše optika.

Pro clustery AI: 800G je již správnou odpovědí. Požadavky na šířku pásma odůvodňují prémii. Nepřekračujte-krok na 400G, pokud ji vaše pracovní zatížení za 18 měsíců přeroste.

Pro všechny: před hromadným nasazením-rozsáhle otestujte optiku třetích stran. Úspory nákladů jsou skutečné. Stejně tak neúspěchy. Ověřte s vašimi konkrétními přepínacími platformami při reálné zátěži, než investujete dolary za zásoby.

Technologie funguje. Dvacet milionů modulů 400G a 800G dodaných v roce 2024 z nějakého důvodu. Přechod ze 100G však vyžaduje pozornost k detailům, které technické listy a marketingové materiály běžně vynechávají. Fyzika se nestará o vaši časovou osu nasazení.