Verkkokortti (NIC)

Palvelimessasi on 100G portit, mutta verkkokorttisi tukee vain 10G. Onnittelut, - maksoit juuri kaistanleveydestä, jota et koskaan käytä. Verkkokortti on nykyaikaisen verkkosuunnittelun huomiotta jäänyt pullonkaula. Vaikka insinöörit pitävät kytkinkankaan ja lähetin-vastaanottimen teknisistä ominaisuuksista, NIC määrittää hiljaa todellisen suorituskyvyn, jota jokainen palvelin voi työntää. Tämä opas menee perusmääritelmiä pidemmälle selittääkseen, miten verkkokortti toimii, mitä tyyppejä on olemassa ja - kriittisintä - kuinka sovittaa verkkokorttisi oikeaanlähetin-vastaanotin, DAC kaapeli, taiAOCmaksimaalisen suorituskyvyn saavuttamiseksi.

 

 

Mikä on verkkokortti?

Verkkoliitäntäkortti (NIC), jota kutsutaan myös verkkosovittimeksi tai verkkoliitäntäohjaimeksi, on laitteisto, joka yhdistää palvelimen, työaseman tai tallennuslaitteen verkkoon. Se käsittelee muunnoksen isäntäjärjestelmän sisällä olevien tietojen ja johdossa tai kuidussa olevien signaalien välillä - ja hallitsee kaikkea kehysten kapseloinnista ja tarkistussumman tarkistuksesta keskeytysten käsittelyyn ja DMA-siirtoihin.

Jokaisella verkkokortilla on laiteohjelmistoon poltettu ainutlaatuinen MAC-osoite, joka toimii laitteen identiteettinä Layer 2 -verkossa. Varhaiset NIC-kortit toimitettiin erillisinä PCI-laajennuskortteina. Nykyään useimmat kuluttajatietokoneet käyttävät LAN--on-emolevyn (LOM) sirua 1G-perusliitäntöihin. Mutta datakeskuksissa ja yritysympäristöissä erilliset NIC-kortit ovat edelleen välttämättömiä, koska sisäiset ohjaimet eivät yksinkertaisesti pysty tarjoamaan nykyaikaisten työkuormien vaatimaa suorituskykyä, purkamiskykyä tai porttitiheyttä.

 

 

Kuinka verkkokortti todella toimii: "Lähetä ja vastaanota"

Oppikirjan selitys - "NIC:t kapseloivat tiedot kehyksiin ja lähettävät ne" - on teknisesti oikea, mutta siitä puuttuu se, mikä tekee verkkokortista arvokkaan. Tässä on mitä tapahtuu nykyaikaisen palvelimen NIC:n konepellin alla:

 

Kehyksen käsittely

Lähetyspuolella NIC ottaa dataa käyttöjärjestelmän verkkopinosta, lisää Ethernet-otsikot ja CRC-tarkistussummat ja sarjoittaa sen sitten sähköisiksi tai optisiksi signaaleiksi. Vastaanottopuolella se kääntää prosessin päinvastaiseksi, tarkistaa CRC:n ja poistaa otsikot ennen kuin se välittää hyötykuorman isännälle.

 

Purkumoottorit

Täällä verkkokortit ansaitsevat rahansa. Nykyaikaiset verkkokortit purkavat tehtäviä, jotka muuten kuluttaisivat suorittimen jaksoja: TCP/UDP-tarkistussummalaskenta, TCP-segmentoinnin purku (TSO), suuri vastaanoton purkaminen (LRO) ja vastaanottopuolen skaalaus (RSS), joka jakaa saapuvan liikenteen useiden CPU-ytimien kesken. Ilman näitä purkauksia 25G NIC voisi kyllästää prosessorin ytimen vain käsittelemällä paketteja.

 

Ytimen ohitus DPDK:lla

Jopa laitteiston purkamisen yhteydessä käyttöjärjestelmän ytimen verkkopino aiheuttaa ylimääräisiä pakettinopeuksia. NIC:t, jotka tukevat DPDK:ta (Data Plane Development Kit) mahdollistavat sovellusten lukemisen ja kirjoittamisen paketteja suoraan käyttäjätilasta ohittaen ytimen kokonaan. Tämä laskee per-pakettiviive millisekunneista yksi-numeroisiin mikrosekunteihin -, mikä on korkean

 

DMA ja keskeytyksen yhdistäminen

Sen sijaan, että CPU kopioiisi jokaisen paketin, verkkokortti käyttää suoraa muistia kehysten kirjoittamiseen suoraan järjestelmän RAM-muistiin. Keskeytysten yhdistäminen ryhmittelee useita pakettitapahtumia yhdeksi CPU-keskeytykseksi, mikä vähentää dramaattisesti ylikuormitusta suurilla pakettinopeuksilla.

 

Virtualisoinnin tuki

Virtualisoiduissa ympäristöissä SR-IOV (Single Root I/O Virtualization) antaa yhden fyysisen NIC:n esittää useita virtuaalisia toimintoja, joista jokainen on määritetty suoraan virtuaalikoneelle. Tämä ohittaa hypervisorin virtuaalisen kytkimen kokonaan ja tarjoaa lähes-paljaan-verkon suorituskyvyn virtuaalikoneille.

 

 

NIC-tyypit: Käytännön luokitus

 

Liitäntätyypin mukaan - Tämä määrittää kaapelointisi

NIC-portin tyyppi	Liitin	Media	Tyypillinen nopeus	Max etäisyys
RJ45 (Base-T)	RJ45	Cat5e/Cat6/Cat6a kupari	1G / 2.5G / 5G / 10G	100m
SFP+	LC duplex	10G SFP+ lähetin-vastaanottimettai 10GDAC kaapelit	10G	80 km (kuitu) / 7 m (DAC)
SFP28	LC duplex	25G SFP28 lähetin-vastaanottimettai 25G DAC	25G	40 km (kuitu) / 5 m (DAC)
QSFP+	MPO tai LC	40G QSFP+ lähetin-vastaanottimet	40G	40 km (kuitu) / 7 m (DAC)
QSFP28	MPO tai LC	100G QSFP28 lähetin-vastaanottimettai 100gDAC kaapelit	100G	80 km (kuitu) / 5 m (DAC)
QSFP-DD	MPO tai LC	400G QSFP-DD-lähetin-vastaanottimet	400G	10 km+ (kuitu)

Miksi tällä on merkitystä:NIC-portin tyyppi määrää, mitä lähetin-vastaanottimia ja kaapeleita voit käyttää. Valitsemalla kaksiporttisen-SFP28 NIC:n lukitset sinut SFP28-ekosysteemiin -25G SFP28 optiset moduulit, SFP28DAC kaapelittai SFP28AOC kaapelit. Valitse väärin, ja ostat sovittimia tai vaihdat kortit.

 

Huomautus MPO- ja LC-liittimistä:QSFP+- ja QSFP28-portit, joissa on merkintä "SR4", käyttävät rinnakkaisoptiikkaa - neljää kaistaa 10G tai 25G lähetetään samanaikaisesti. Tämä vaatiiMPO/MTP-12-korjausjohdot8 tai 12 kuituytimellä, ei tavallinen duplexLC kaapelitkäytetään SFP+- tai SFP28-moduuleissa. Jos otat käyttöön 40G tai 100G SR4-optiikkaa ensimmäistä kertaa, nykyinen kahden-kuitupaneelin infrastruktuuri ei toimi - MPO-runkokaapeloinnin ja -kasettien kanssa.

 

Väyläliitännän kautta - PCIe Generation Matters

Kaikki nykyaikaiset palvelinverkkokortit käyttävät PCIe:tä. Mutta PCIe-sukupolvi ja kaistanleveys asettavat kovan katon suorituskyvylle:

• PCIe 3.0 x8:~64 Gbps - riittää kaksi-porttia 25G tai yksi-portti 40G
• PCIe 3.0 x16:~128 Gbps - riittää yhdelle-portille 100G
• PCIe 4.0 x16:~256 Gbps - tarvitaan kaksi-porttia 100G tai yksi-portti 200G
• PCIe 5.0 x16:~512 Gbps - mahdollistaa 400G NIC:t

PCIe 3.0 x8 -paikkaan kytketty 100 Gt verkkokortti ei fyysisesti pysty toimittamaan 100 Gt. Tarkista aina palvelimesi PCIe-paikan sukupolvi ja leveys ennen ostamista.

 

Muototekijän mukaan - OCP NIC 3.0 on uusi oletus

Perinteiset PCIe-lisäkortit{0}} hallitsevat edelleen yrityspalvelimia, mutta hyperscale-palvelinkeskukset ovat suurelta osin siirtyneet OCP NIC 3.0 -standardiin (sekä Small Form Factor että Large Form Factor). OCP-verkkokortit kytketään palvelimen emolevyn erilliseen mezzanine-paikkaan sen sijaan, että ne täyttäisivät tavallisen PCIe-laajennuspaikan. Edut ovat merkittäviä: hotswap-ominaisuus ilman palvelimen sammuttamista, parannettu lämpösuunnittelu suoralla ilmavirralla NIC:n yli ja lyhyempi sähköinen polku suorittimeen, mikä vähentää signaalin eheysongelmia 100 G+ nopeuksilla. Jos palvelinalustasi tukee OCP:tä 3.0 - ja useimmat suurten ODM:ien nykyaikaiset mallit tukevat -, sen pitäisi olla ensimmäinen valintasi 100G ja 200G NIC-käyttöönotoksissa.

 

Älykkyystason mukaan

Vakioverkkokortitkäsittelemään pakettien peruskäsittelyä laitteiston purkamisen kanssa. Sopii useimpiin yritys- ja datakeskussovelluksiin.

SmartNICslisää ohjelmoitava tietojenkäsittely-yksikkö (DPU), joka voi suorittaa palomuurisäännöt, salauksen, kuormituksen tasapainottamisen ja telemetrian suoraan verkkokorttiin, vapauttaen isäntäprosessorin ytimiä sovellusten työkuormille. Pilviinfrastruktuurissa, jossa jokainen suorittimen ydin on kaupallistettu, SmartNIC:t maksavat itsensä takaisin ottamalla takaisin ytimiä, jotka muuten käyttäisivät OVS:ää tai IPseciä.

RDMA-verkkokortit (RNIC)tukevat Remote Direct Memory Access -protokollia, kuten RoCEv2 tai iWARP, mikä mahdollistaa palvelimen-to-muistinsiirron yhden-numeroisen mikrosekunnin viiveellä. NVIDIA H100- tai A100-kiihdyttimien ympärille rakennetuissa grafiikkasuorittimen koulutusklustereissa RDMA-verkkokortit eivät ole valinnaisia ​​- ne ovat selkäranka. Jokainen GPU-solmu tarvitsee 200 G tai 400 G RDMA-yhteyden, jotta kaikki{11}}vähennetty gradienttisynkronointi ei muodostu koulutuksen pullonkaulaksi. Tekoälyn lisäksi RDMA-verkkokortit ovat yhtä tärkeitä HPC-työkuormituksille ja tallennusjärjestelmille, joissa on NVMe{13}}oF, jossa ydin-ohittavat tietopolut vähentävät tallennustilan käyttöviivettä 10-kertaisesti.

 

 

Kuinka valita oikea NIC: Päätöskehys

Vaihe 1 - Määritä nopeusvaatimus.Yhdistä se kytkimen nousevan siirtotien kapasiteettiin, älä teoreettiseen huipputarpeeseesi. Jos ToR-kytkimessäsi on 25G palvelinportteja,{2}}25G NIC on oikea valinta, - ei 10G (liian hidas) tai 100G (hukkaan).

Vaihe 2 - Valitse käyttöliittymätyyppi.Alle 5 metrin -telineliitännöissä yhdistä verkkokortti aDAC kaapelihalvimmalla hinnalla ja viiveellä. Käytä telineen välisiä linkkejä enintään 100 metriin astiAOC kaapelitai lyhyt{0}}lähetin-vastaanotinLC-kuitu patchcord. Käytä pitkää-kattavuutta rakentaessasi-rakennukseen- tai kampukselleoptinen lähetin-vastaanotin- kuten a100G QSFP28 LR4 moduuliyksimuotokuitu-jaMPO/MTP-korjausjohdot.

Vaihe 3 - Varmista PCIe-yhteensopivuus.Tarkista palvelimesi käytettävissä oleva PCIe-paikan sukupolvi ja kaistan leveys verkkokortin vaatimusten mukaisesti.

Vaihe 4 - Arvioi purkutarpeet.Käytätkö virtualisointia kymmenillä virtuaalikoneilla? Priorisoi SR-IOV-tuki. AI-koulutusklusteri? RDMA-ominaisuus ei ole-neuvoteltavissa. Pilvi-natiivimikropalvelut? Ohjelmoitavalla liukuhihnalla varustettu SmartNIC säästää suorittimen ytimiä.

Vaihe 5 - Suunnittele kaksoisportti-redundanssi.Tuotantopalvelimissa tulee aina olla vähintään kaksi NIC-porttia linkkien yhdistämistä (LACP) tai aktiivista{0}}valmiustilan vikasietoa varten. Kaksi-porttista verkkokorttia ovat enemmän tilaa-tehokkaampia kuin kaksi yksittäistä-porttikorttia.

 

 

Yleiset NIC-virheet (ja kuinka välttää ne)

Ostetaan 10G RJ45 NIC palvelinkeskuskäyttöön.10GBASE-T NIC:t kuluttavat 2–5 W enemmän virtaa porttia kohden kuin SFP+-verkkokortit ja tuottavat huomattavasti enemmän lämpöä. 40 palvelimen telineessä se on 80–200 W tarpeetonta lämpökuormitusta. Käyttää10G SFP+ lähetin-vastaanottimetsen sijaan SFP+ NIC:illä.

Laiteohjelmisto- ja ohjainpäivitykset huomioimatta.NIC-laiteohjelmistovirheet aiheuttavat hiljaisia ​​pakettien pudotuksia, CRC-virheitä ja suorituskyvyn heikkenemistä. Toimittajat julkaisevat tärkeitä laiteohjelmistokorjauksia, joita ei usein käytetä, koska NIC "näyttää toimivan hyvin".

NIC-nopeus ja kytkinportin nopeus eivät täsmää.10 Gt:n kytkinporttiin kytketty 25 Gt verkkokortti -neuvottelee automaattisesti 10 Gt:hen -, mutta jotkin verkkokortit käsittelevät tämän huonosti, mikä johtaa linkin heilautukseen tai CRC-virheisiin. Tarkista aina nopeuden yhteensopivuus tai käytä vastaavia laitteita.

 

 

UKK

Mitä eroa on NIC:llä ja LOM:lla?

LOM (emolevyn LAN) on palvelimen emolevyyn integroitu perusverkko-ohjain, joka tarjoaa tyypillisesti 1G- tai 10G Base-T-yhteyden. Erillinen NIC-kortti tarjoaa suuremmat nopeudet (25 G–400 G), edistyneitä kuormituksia, kuten SR-IOV, ja optisia liitäntävaihtoehtoja käytettäväksi kuidun kanssa.lähetin-vastaanottimetjaDAC/AOC kaapelit.

Voinko käyttää kolmannen osapuolen{0}}lähetin-vastaanottimia verkkokortissani?

Kyllä. Useimmat Intelin, Mellanoxin/NVIDIAn ja Broadcomin verkkokortit hyväksyvät MSA{1}}yhteensopivan kolmannen osapuolen{2}}optiset lähetin-vastaanottimet. Jotkut verkkokorttien laiteohjelmistot voivat kuitenkin näyttää yhteensopivuusvaroituksia. Hyvämaineiset toimittajat tarjoavat lähetin-vastaanottimia, jotka on koodattu tietyille NIC-merkeille puhtaan toiminnan varmistamiseksi.

Millaisen verkkokortin nopeuden tarvitsen tekoäly- ja koneoppimiskuormituksiin?

GPU-koulutusklustereita (NVIDIA H100, A100 tai vastaava) varten jokainen solmu vaatii yleensä200Gtai 400G RDMA{1}}yhteensopivia verkkokortteja (RoCEv2) estämään verkkoa pullonkauttamasta kaikkea-vähentää gradienttisynkronointia. Päätelmien palvelevat työmäärät ovat vähemmän vaativia ja voivat usein toimia 25 G–100 G:lla riippuen mallin koosta ja pyynnön suorituskyvystä. Yhdistä harjoitusverkkokortit400G QSFP-DD-moduulitselkärangan liitäntöihin tai käyttöön100G QSFP28 lähetin-vastaanottimetlehtien{0}}palvelimelle-linkkeille pienemmissä klustereissa.

Onko SmartNIC lisäkustannusten arvoinen?

Pilvipalveluntarjoajille ja suurille yrityksille, jotka käyttävät kovaa verkon virtualisointia, kyllä ​​- SmartNIC-laitteet voivat ottaa takaisin 4–8 CPU-ydintä palvelinta kohden purkamalla virtuaalisia kytkentä-, suojaus- ja telemetriatoimintoja. Normaalissa-kiinnityskäytössä kohtuullisella virtualisoinnilla normaali NIC SR-IOV-tuella riittää yleensä.

Kuinka liitän verkkokortin kuituoptiseen kaapelointiin?

SFP+-, SFP28-, QSFP28- tai QSFP-DD-porteilla varustetut verkkokortit vaativat vastaavanoptinen lähetin-vastaanotinmoduuliliittääkseen kuidun. Aseta lähetin-vastaanotin NIC-porttiin ja liitä sitten sopivakuitu patchcord - LC duplexSFP{0}}tyyppisille porteille,MPO/MTPrinnakkaistyyppisille QSFP{0}}-optiikalle. Lyhyet-etäisyyslinkit telineiden sisällä aDAC kaapelieliminoi sekä lähetinvastaanottimen että kuidun tarpeen.