Yleiskäyttöisen tietokoneen kellosynkronisointi ja käyttö verkkoliikenteen mittauksiin Oskari Simola Diplomityöseminaari Tietoverkkolaboratorio Valvoja Prof. Raimo Kantola Ohjaaja Tkt. Markus Peuhkuri

Agenda Taustaa Taustaa Työn Tavoitteet Työn Tavoitteet Kellosynkronisoinnin ongelmat Kellosynkronisoinnin ongelmat SynPCI-X SynPCI-X Lämpötilan vaikutus synkronisointiin Lämpötilan vaikutus synkronisointiin Mittauslaitteisto Mittauslaitteisto Mittaustulokset Mittaustulokset Johtopäätökset Johtopäätökset Jatkokehitysideat Jatkokehitysideat

Taustaa Verkkoliikenteen yksipistemittauksissa kellosynkronisointi helppoa Verkkoliikenteen yksipistemittauksissa kellosynkronisointi helppoa Monipistemittauksissa mittalaitteiden keskinäinen kellosynkronisointi haastavaa Monipistemittauksissa mittalaitteiden keskinäinen kellosynkronisointi haastavaa Yleiskäyttöisissä tietokoneissa ongelmana saavuttaa riittävä tarkkuus synkronisoinnissa Yleiskäyttöisissä tietokoneissa ongelmana saavuttaa riittävä tarkkuus synkronisoinnissa

Työn tavoitteet Jatko kehittää aiemmin valmistettua SynPCI synkronisointikortin prototyyppiä Jatko kehittää aiemmin valmistettua SynPCI synkronisointikortin prototyyppiä Mitata kellosynkronisoinnin ja pakettien aikaleimauksen tarkkuutta yleiskäyttöisellä tietokoneella Mitata kellosynkronisoinnin ja pakettien aikaleimauksen tarkkuutta yleiskäyttöisellä tietokoneella Tunnistaa virhelähteet ja määrittää niille virherajat Tunnistaa virhelähteet ja määrittää niille virherajat

Kellosynkronisoinnin ongelmat PC koneissa ajanmäärittämiseen käytetään laskureita, joiden taajuus on johdettu emolevyllä sijaitsevasta kiteestä PC koneissa ajanmäärittämiseen käytetään laskureita, joiden taajuus on johdettu emolevyllä sijaitsevasta kiteestä Kiteen taajuus on hyvin lämpötila herkkä Kiteen taajuus on hyvin lämpötila herkkä Normaalisti on käytetty NTP:tä määrittämään lokaalin kiteen taajuuspoikkeamaa Normaalisti on käytetty NTP:tä määrittämään lokaalin kiteen taajuuspoikkeamaa

SynPCI-X 1/3 Jatko kehitetty alkuperäisestä Antti Gröhnin suunnittelemasta SynPCI kortista Jatko kehitetty alkuperäisestä Antti Gröhnin suunnittelemasta SynPCI kortista Ideana tuoda ulkoiselta GPS laitteelta 10MHz ja 1PPS signaalit kortille ja käyttää niitä kellosynkronisointiin Ideana tuoda ulkoiselta GPS laitteelta 10MHz ja 1PPS signaalit kortille ja käyttää niitä kellosynkronisointiin Signaalit tuodaan jakolaudan kautta optisia kuituja pitkin jokaiselle kortille Signaalit tuodaan jakolaudan kautta optisia kuituja pitkin jokaiselle kortille Optisten vastaanottimien ja nopeiden komparaattorien avulla signaalit muutetaan takaisin sähköiseen muotoon Optisten vastaanottimien ja nopeiden komparaattorien avulla signaalit muutetaan takaisin sähköiseen muotoon Kortilla oleva CPLD piiri toteuttaa tarvittavan laskurilogiikkan ja PCI/PCI-X tilakoneen Kortilla oleva CPLD piiri toteuttaa tarvittavan laskurilogiikkan ja PCI/PCI-X tilakoneen Ulkoisen ohjelmoitavan PLL avulla 10MHz taajuus nostetaan 125MHz, jolloin laskurin resoluutio on 8ns Ulkoisen ohjelmoitavan PLL avulla 10MHz taajuus nostetaan 125MHz, jolloin laskurin resoluutio on 8ns

SynPCI-X 2/3

SynPCI-X 3/3 Ongelmat Ongelmat 5 voltin PCI väylät 5 voltin PCI väylät PCI-logiikka ei toimi kunnolla kaikkien emolevyjen 133MHz PCI-X väylässä PCI-logiikka ei toimi kunnolla kaikkien emolevyjen 133MHz PCI-X väylässä Laskurilogiikan ja PCI-logiikan tiedonvälitys ongelmat Laskurilogiikan ja PCI-logiikan tiedonvälitys ongelmat Osa ongelmista saatu korjattua ohjelmallisesti ajurissa Osa ongelmista saatu korjattua ohjelmallisesti ajurissa

Lämpötilan vaikutus Kuvaajassa NTP synkronisoitu Linux kone yhden kytkimen yli Kuvaajassa NTP synkronisoitu Linux kone yhden kytkimen yli Lämpötilan vaikutus nähtävissä 4 minuutin viiveellä Lämpötilan vaikutus nähtävissä 4 minuutin viiveellä Kellon aikapoikkeama kymmeniä mikrosekunteja kiteen lämpötilan muuttuessa vain asteen kymmenyksiä Kellon aikapoikkeama kymmeniä mikrosekunteja kiteen lämpötilan muuttuessa vain asteen kymmenyksiä

Mittauslaitteisto 1/3 Pakettien generointiin käytettiin Spirentin AX/4000 mittalaitetta Pakettien generointiin käytettiin Spirentin AX/4000 mittalaitetta Kaappauskoneet Kaappauskoneet Supermicro 3U Dual Opteron 2.2GHz PC Supermicro 3U Dual Opteron 2.2GHz PC Kaksi Supermicron 1U Celeron 2.66GHz PC:tä Kaksi Supermicron 1U Celeron 2.66GHz PC:tä Mediamuuntimen avulla optisesta muodosta sähköiseen muotoon Mediamuuntimen avulla optisesta muodosta sähköiseen muotoon Paketit monistettiin 1Gbit kuparijakajien avulla koneille Paketit monistettiin 1Gbit kuparijakajien avulla koneille Koneiden sarjaporttiin tuotiin 1PPS signaali keskeytysviiveen mittausta varten Koneiden sarjaporttiin tuotiin 1PPS signaali keskeytysviiveen mittausta varten

Mittauslaitteisto 2/3

Mittauslaitteisto 3/3 AX/4000 generoimien pakettien aikaleiman resoluutio 10ns AX/4000 generoimien pakettien aikaleiman resoluutio 10ns Tarkkuus gigabitin Ethernetissä muutamia satoja nanosekunteja Tarkkuus gigabitin Ethernetissä muutamia satoja nanosekunteja Jakajat ja mediamuuntimet jokainen aiheuttaa n. 300ns vakioviiveen Jakajat ja mediamuuntimet jokainen aiheuttaa n. 300ns vakioviiveen Opteron koneessa kaappauskortin keskeytyksille varattu toinen prosessori Opteron koneessa kaappauskortin keskeytyksille varattu toinen prosessori Celeron koneissa Linuxin ydin päivitetty tukemaan reaaliaika prioriteettia Celeron koneissa Linuxin ydin päivitetty tukemaan reaaliaika prioriteettia

Mittaustulokset Mittauksissa kulkuaikaviive määritettiin vähentämällä paketin aikaleimasta AX/4000 generoima aikaleima Mittauksissa kulkuaikaviive määritettiin vähentämällä paketin aikaleimasta AX/4000 generoima aikaleima Kulkuaikaviiveestä piirretty jakauma kertoo aikaleimauksen tarkkuudesta Kulkuaikaviiveestä piirretty jakauma kertoo aikaleimauksen tarkkuudesta Opteron koneessa keskeytysviive maksimissaan alle 20μs ja Celeron koneissakin alle 50μs Opteron koneessa keskeytysviive maksimissaan alle 20μs ja Celeron koneissakin alle 50μs 99% paketeista muutaman mikrosekunnin sisällä 99% paketeista muutaman mikrosekunnin sisällä

Mittaustulokset

Johtopäätökset SynPCI-X kortin avulla synkronoidussa koneessa suurin pakettien aikaleimojen virheen aiheuttaja on keskeytysviive SynPCI-X kortin avulla synkronoidussa koneessa suurin pakettien aikaleimojen virheen aiheuttaja on keskeytysviive Lämpötilan muutokset eivät vaikuta kellon tarkkuuteen Lämpötilan muutokset eivät vaikuta kellon tarkkuuteen NTP synkronoidussa koneessa keskeytysviiveen lisäksi lämpötilan muutokset aiheuttavat kellovirhettä NTP synkronoidussa koneessa keskeytysviiveen lisäksi lämpötilan muutokset aiheuttavat kellovirhettä

Jatkokehitysideat Keskeytysviiveen optimointi Keskeytysviiveen optimointi SynPCI-X kortista PCI Express versio SynPCI-X kortista PCI Express versio MSI/MSI-X keskeytysten hyödyntäminen MSI/MSI-X keskeytysten hyödyntäminen IEEE 1588 standardin mukaiset verkkokortit IEEE 1588 standardin mukaiset verkkokortit

Kysymyksiä? Kiitos!