Võrguliidese kaart (NIC)

Teie serveril on 100G pordid, kuid teie võrgukaart toetab ainult 10G. Õnnitleme, - maksite just ribalaiuse eest, mida te kunagi kasutama ei hakka. Võrguliidese kaart on tänapäevase võrgukujunduse enim tähelepanuta jäetud kitsaskoht. Kuigi insenerid on kinnisideeks lüliti kanga ja transiiveri spetsifikatsioonide pärast, määrab NIC vaikselt tegeliku läbilaskevõime, mida iga server suudab suruda. See juhend läheb põhimääratlustest kaugemale, et selgitada, kuidas võrgukaardid töötavad, millised tüübid on olemas ja - kõige kriitilisem, - kuidas sobitada oma NIC-id paremale.transiiver, DAC kaabel, võiAOCmaksimaalse jõudluse saavutamiseks.

 

 

Mis on võrguliidese kaart?

Võrguliidese kaart (NIC), mida nimetatakse ka võrguadapteriks või võrguliidese kontrolleriks, on riistvara, mis ühendab serveri, tööjaama või salvestusseadme võrku. See haldab hostisüsteemis olevate andmete ja juhtme või kiu signaalide vahelist teisendamist -, haldades kõike alates kaadri kapseldamisest ja kontrollsumma kontrollimisest kuni katkestuste käitlemise ja DMA-edastusteni.

Igal võrgukaardil on ainulaadne MAC-aadress, mis on selle püsivarasse sisse kirjutatud, mis toimib seadme identiteedina 2. kihi võrgus. Varased NIC-id tarniti eraldiseisvate PCI laienduskaartidena. Tänapäeval kasutab enamik tavaarvuteid 1G-ühenduvuse jaoks emaplaadil asuvat LAN-kiipi (LOM). Kuid andmekeskustes ja ettevõtte keskkondades on spetsiaalsed NIC-kaardid endiselt olulised, kuna pardakontrollerid lihtsalt ei suuda pakkuda läbilaskevõimet, mahalaadimisvõimet ega porditihedust, mida tänapäevased töökoormused nõuavad.

 

 

Kuidas NIC tegelikult töötab: peale "saatmise ja vastuvõtmise"

Õpiku selgitus - "NIC-id kapseldavad andmed raamidesse ja saadavad need" - on tehniliselt õiged, kuid jätavad vahele selle, mis muudab NIC-i väärtuslikuks. Kaasaegse serveri NIC-i kapoti all toimub järgmine:

 

Raami töötlemine

Edastamise poolel võtab NIC andmed OS-i võrgupinust, lisab Etherneti päised ja CRC kontrollsummad, seejärel jadab need elektrilisteks või optilisteks signaalideks. Vastuvõtu poolel pöörab see protsessi vastupidiseks, kontrollides CRC-d ja eemaldades päised enne kasuliku koormuse hostile edastamist.

 

Mahalaadimismootorid

Siin teenivad võrgukaardid oma raha. Kaasaegsed NIC-id laadivad maha ülesandeid, mis muidu tarbiksid protsessori tsükleid: TCP/UDP kontrollsumma arvutamine, TCP segmenteerimise mahalaadimine (TSO), suur vastuvõtu mahalaadimine (LRO) ja vastuvõtu külgmine skaleerimine (RSS), mis jaotab sissetuleva liikluse mitme protsessori tuuma vahel. Ilma nende mahalaadimisteta võib 25G võrgukaart küllastada protsessori tuuma, vaid töötleb pakette.

 

Kerneli ümbersõit DPDK-ga

Isegi riistvara mahalaadimise korral lisab OS-i tuuma võrgupinn äärmuslike paketikiiruste korral üldkulusid. NIC-id, mis toetavad DPDK-d (Data Plane Development Kit) võimaldavad rakendustel lugeda ja kirjutada pakette otse kasutajaruumist, kernelist täielikult mööda minnes. See langeb paketi latentsus-millissekunditelt ühe-kohalisteks mikrosekunditeks -, mis on kõrge-sagedusliku kauplemise, 5G kasutaja-tasapinna funktsioonide ja NFV töökoormuse tõukekiiruse nõue 100G linkidel.

 

DMA ja katkestuse ühendamine

Selle asemel, et protsessor iga paketti kopeerida, kasutab NIC otsemälu juurdepääsu, et kirjutada kaadreid otse süsteemi RAM-i. Katkestuste ühendamine rühmitab mitu paketisündmust üheks CPU katkestuseks, vähendades märkimisväärselt üldkulusid suure paketikiiruse korral.

 

Virtualiseerimise tugi

Virtualiseeritud keskkondades võimaldab SR-IOV (Single Root I/O virtualiseerimine) ühel füüsilisel võrgukaardil esitada mitut virtuaalset funktsiooni, millest igaüks on määratud otse VM-ile. See möödub täielikult hüperviisori virtuaalsest lülitist, pakkudes virtuaalsetele masinatele peaaegu-palja-metallivõrgu jõudlust.

 

 

NIC-tüübid: praktiline klassifikatsioon

 

Liidese tüübi järgi - See määrab teie kaabelduse

NIC-pordi tüüp	Ühendus	Meedia	Tüüpiline kiirus	Maksimaalne vahemaa
RJ45 (baas-T)	RJ45	Cat5e/Cat6/Cat6a vask	1G / 2.5G / 5G / 10G	100m
SFP+	LC dupleks	10G SFP+ transiiveridvõi 10GDAC kaablid	10G	80 km (kiud) / 7 m (DAC)
SFP28	LC dupleks	25G SFP28 transiiveridvõi 25G DAC	25G	40 km (kiud) / 5 m (DAC)
QSFP+	MPO või LC	40G QSFP+ transiiverid	40G	40 km (kiud) / 7 m (DAC)
QSFP28	MPO või LC	100G QSFP28 transiiveridvõi 100gDAC kaablid	100G	80 km (kiud) / 5 m (DAC)
QSFP-DD	MPO või LC	400G QSFP-DD transiiverid	400G	10+ km (kiud)

Miks see oluline on:NIC-pordi tüüp määrab, milliseid transiivereid ja kaableid saate kasutada. Kahe{1}}pordi SFP28 NIC-i valimine lukustab teid SFP28 ökosüsteemi -25G SFP28 optilised moodulid, SFP28DAC kaablidvõi SFP28AOC kaablid. Valige vale ja te ostate adaptereid või vahetate kaarte.

 

Märkus MPO ja LC pistikute kohta:QSFP+ ja QSFP28 pordid märgistusega "SR4" kasutavad paralleelset optikat - nelja samaaegselt edastatavat 10G või 25G rada. See nõuabMPO/MTP-12 plaastrid8 või 12 kiudsüdamikuga, mitte standardne dupleksLC kaablidmida kasutavad SFP+ või SFP28 moodulid. Kui kasutate 40G või 100G SR4 optikat esimest korda, ei tööta teie olemasolev kahe-kiudpaneeli infrastruktuur - MPO magistraalkaablite ja kassettide jaoks.

 

Busiliidese kaudu - PCIe genereerimine on oluline

Kõik kaasaegsed serveri NIC-id kasutavad PCIe-d. Kuid PCIe põlvkond ja raja laius seavad läbilaskevõimele kõva lae:

• PCIe 3.0 x8:~64 Gbps - piisav kahe-pordi 25G või ühe-pordi jaoks 40G
• PCIe 3.0 x16:~128 Gbps - piisav ühe-pordi jaoks 100G
• PCIe 4.0 x16:Kahe-pordi 100G või ühe-pordi 200G jaoks on vajalik ~256 Gbps -
• PCIe 5.0 x16:~512 Gbps - võimaldab 400G NIC-sid

PCIe 3.0 x8 pesasse ühendatud 100G NIC ei suuda füüsiliselt edastada 100G. Enne ostmist kontrollige alati oma serveri PCIe pesa generatsiooni ja laiust.

 

Vormiteguri järgi - OCP NIC 3.0 on uus vaikeseade

Traditsioonilised PCIe lisand{0}}kaardid domineerivad endiselt ettevõtete serverites, kuid hüperskaala andmekeskused on suures osas üle läinud OCP NIC 3.0 standardile (nii Small Form Factor kui ka Large Form Factor). OCP NIC-id ühendatakse serveri emaplaadi spetsiaalsesse mezzanine pesasse, selle asemel, et hõivata standardset PCIe laienduspesa. Kasu on märkimisväärne: kuum-vahetusvõimalus ilma serverit välja lülitamata, täiustatud termiline disain otsese õhuvooluga üle NIC-i ja lühem elektritee protsessorini, mis vähendab signaali terviklikkuse probleeme kiirusel 100G+. Kui teie serveriplatvorm toetab OCP-d 3.0 - ja enamik suuremate ODM-ide moodsaid kujundusi toetab -, peaks see olema teie esimene valik 100G ja 200G NIC-i juurutamiseks.

 

Intelligentsustaseme järgi

Standardsed NIC-idhallata põhilist pakettide töötlemist riistvara mahalaadimisega. Sobib enamiku ettevõtete ja andmekeskuse rakenduste jaoks.

SmartNIC-idlisage programmeeritav andmetöötlusseade (DPU), mis suudab täita tulemüüri reegleid, krüptimist, koormuse tasakaalustamist ja telemeetriat otse võrgukaardil, vabastades hosti protsessori tuumad rakenduste töökoormuse jaoks. Pilveinfrastruktuuris, kus iga CPU tuum on rahaks teenitud, maksavad SmartNIC-id end ära, hankides tagasi tuumad, mis muidu käitaksid OVS-i või IPseci.

RDMA NIC-id (RNIC-id)toetavad Remote Direct Memory Accessi protokolle, nagu RoCEv2 või iWARP, võimaldades serveri-to-mälu edastust ühe-kohalise mikrosekundilise latentsusega. NVIDIA H100 või A100 kiirendite ümber ehitatud GPU koolitusklastrites ei ole RDMA NIC-id valikulised - need on selgroog. Iga GPU-sõlm vajab 200G või 400G RDMA-ühenduvust, et kõik{11}}vähendatud gradiendi sünkroonimine ei muutuks koolituse kitsaskohaks. Lisaks tehisintellektile on RDMA NIC-id võrdselt kriitilised HPC töökoormuste ja NVMe{13}}oF-i töötavate salvestussüsteemide jaoks, kus kernel-mendab andmeteed salvestusruumi juurdepääsu latentsusaega 10 korda.

 

 

Kuidas valida õige NIC: otsustusraamistik

Samm 1 - Määratlege kiirusnõue.Sobitage see oma lüliti üleslingi võimsusega, mitte teoreetilise tippvajadusega. Kui teie ToR-lülitil on 25G serveri{2}}poolsed pordid, on 25G NIC õige valik - mitte 10G (liiga aeglane) või 100G (raisatud).

Samm 2 - Valige liidese tüüp.Alla 5 meetri pikkuste{0}}rack ühenduste jaoks siduge oma NIC aDAC kaabelmadalaima kulu ja latentsuse jaoks. Kuni 100 meetri pikkuste-riiulite linkide jaoks kasutage aAOC kaabelvõi lühikese ulatusega{0}}transiiverLC-kiust patchcord. Hoonete- ja-hoonete või ülikoolilinnakute linkide loomiseks kasutage pikka-ulatustoptiline transiiver- näiteks a100G QSFP28 LR4 moodulühemoodi{0}}kiuga jaMPO/MTP plaastrid.

Samm 3 - Kontrollige PCIe-ühilduvust.Kontrollige oma serveri saadaolevat PCIe pesa genereerimist ja raja laiust NIC-i nõuetega.

Samm 4 - Hinnake mahalaadimisvajadusi.Kas käivitate virtualiseerimise kümnete VM-idega? Eelistage SR-IOV-i tugi. AI koolitusklaster? RDMA võimalus ei ole-kaubeldav. Pilve-natiivsed mikroteenused? Programmeeritava torujuhtmega SmartNIC säästab protsessori tuumasid.

Samm 5 - Planeerige kahe-pordi koondamine.Tootmisserveritel peab alati olema vähemalt kaks NIC-porti linkide koondamise (LACP) või aktiivse{0}}ooterežiimi tõrkesiirde jaoks. Kahe-pordiga NIC-id on ruumi-säästlikumad kui kaks ühe-pordikaarti.

 

 

Levinud NIC-vead (ja kuidas neid vältida)

10G RJ45 NIC ostmine andmekeskuse kasutamiseks.10 GBASE-T NIC-id tarbivad pordi kohta 2–5 W rohkem energiat kui SFP+ NICid ja toodavad oluliselt rohkem soojust. 40 serveriga riiulis on see 80–200 W tarbetut soojuskoormust. Kasuta10G SFP+ transiiveridasemel SFP+ NIC-idega.

Püsivara ja draiveri värskenduste ignoreerimine.NIC-i püsivara vead põhjustavad vaikset pakettide kukkumist, CRC-vigu ja jõudluse halvenemist. Müüjad annavad välja kriitilised püsivara paigad, mida sageli ei rakendata, kuna NIC "paistab töötavat hästi".

NIC-i kiirus ja lüliti pordi kiirus ei sobi kokku.10G kommutaatori pordiga ühendatud 25G NIC langeb automaatselt-10G-ni -, kuid mõned NIC-id saavad sellega halvasti hakkama, mille tulemuseks on lingi libisemine või CRC vead. Kontrollige alati kiiruse ühilduvust või kasutage sobivat varustust.

 

 

KKK-d

Mis vahe on NIC-il ja LOM-il?

LOM (LAN emaplaadil) on serveri emaplaadile integreeritud põhivõrgukontroller, mis pakub tavaliselt 1G või 10G Base-T-ühendust. Spetsiaalne NIC-kaart pakub suuremat kiirust (25G–400G), täiustatud mahalaadimisi, nagu SR-IOV, ja optilise liidese valikuid kiudoptilise jaokstransiiveridjaDAC/AOC kaablid.

Kas ma saan oma NIC-is kasutada{0}}kolmanda osapoole transiivereid?

Jah. Enamik Inteli, Mellanoxi/NVIDIA ja Broadcomi võrgukaarte aktsepteerivad MSA{1}}ühilduvat kolmandat osapooltoptilised transiiverid. Siiski võib mõni NIC-i püsivara kuvada ühilduvuse hoiatusi. Tuntud tarnijad pakuvad kindlate NIC-brändide jaoks kodeeritud transiivereid, et tagada puhas töö.

Millist võrguühenduse kiirust vajan tehisintellekti ja masinõppe töökoormuse jaoks?

GPU treeningklastrite (NVIDIA H100, A100 või sarnased) puhul nõuab iga sõlm tavaliselt200Gvõi 400G RDMA-toega NIC-id (RoCEv2), et vältida võrgu kitsaskohtade tekitamist,-vähendades gradientsünkroonimist. Järelduste teenindamise töökoormused on vähem nõudlikud ja võivad olenevalt mudeli suurusest ja päringu läbilaskevõimest sageli töötada 25–100 G-ga. Siduge treeningu NIC-id400G QSFP-DD moodulidselgroolülide ühendamiseks või kasutamiseks100G QSFP28 transiiveridlehtede{0}}--serveri linkide jaoks väiksemates klastrites.

Kas SmartNIC on lisakulu väärt?

Pilveteenuse pakkujate ja suurettevõtete jaoks, kes kasutavad intensiivset võrgu virtualiseerimist, jah - SmartNIC-id saavad serveri kohta taastada 4–8 protsessorituuma, laadides maha virtuaalsed ümberlülitus-, turva- ja telemeetriafunktsioonid. Mõõduka virtualiseerimisega ruumides standardse-juutuse jaoks piisab tavaliselt SR-IOV-toega standardsest NIC-ist.

Kuidas ühendada võrgukaart fiiberoptilise kaabliga?

SFP+, SFP28, QSFP28 või QSFP-DD-pordiga võrgukaardid nõuavad sobitamistoptilise transiiveri moodulliidestada kiududega. Sisestage transiiver NIC-porti ja seejärel ühendage sobivFiber patchcord - LC dupleksSFP{0}}tüüpi portide jaoks,MPO/MTPparalleelse QSFP{0}}-tüüpi optika jaoks. Lühike-vahemaa linkide jaoks riiulites aDAC kaabelvälistab vajaduse nii transiiveri kui ka kiudoptilise järele.