Prof., D.Sc. (EE) Jarkko Vuori InBCT 3.2 Peer-to-Peer communication/computation Cheese Factory -project http://tisu.it.jyu.fi/cheesefactory Prof., D.Sc. (EE) Jarkko Vuori Faculty of Information Technology Dept. of Mathematical Information Technology Embedded Systems Jarkko.Vuori@jyu.fi http://tisu.it.jyu.fi/embedded/ http://tisu.it.jyu.fi/~mimic/

Agenda Problems with being a multidiciplinary What is P2P? InBCT 3.2 research project Social networks aspects (multidiciplinary theme) 2003

Miksi monitieteellisyys on niin vaikeata? Humanisti näkee kahden asian välillä riippuvuuksia vaikkei niiden välillä ole loogista riippuvuutta edut: fundamentteja, uusia uria luovia perustavaa laatua olevia oivalluksia (esim. demokratia, koululaitos, uskonto, tekstiviestien hinnoittelu, jne.) haitat: kallista, koska samoja asioita tutkitaan yhä uudelleen (tieto ei loogisesti kasaudu) huijaus helppoa, koska ei yhtä loogista totuutta (Alan Sokal: "Transgressing the Boundaries: Toward a Transformative Hermeneutics of Quantum Gravity") Insinööri näkee yhteyksiä asioiden välillä vain jos ne voidaan kuvata loogisessa järjestelmässä edut: edullista koska tieto kasautuu loogisesti jo löydetyn tiedon päälle haitat: aina jää jotain oleellista huomaamatta (Kurt Gödel, 1934) Yhteinen konteksti puuttuu 2003

Source of innovations Cross cultural innovation area Engineering System (Logical consistent system) Error, chaos Cross cultural innovation area (Source of errors and mystery) Humanistic System (Unconsistent system) Logical reasoning Base of innovations 2003

P2P Introduction Recently, the peer-to-peer (P2P) paradigm for building distributed applications has gained attention from both industry and the media Peer-to-peer: classical definition A P2P system is composed of a distributed collection of peer nodes Each node is both a server and a client: may provide services to other peers may consume services from other peers Completely different from the client-server model, where: Few specialized servers provide services to a large number of clients 2003

Client-Server vs. Peer-to-Peer Example 2003

P2P History: 1969 - 1995 1969 – 1995: the origins ‘50 ‘60 ‘70 ‘80 ‘90 In the beginning, all nodes in Arpanet/Internet were peers Every node was capable to perform routing (locate machines) accept ftp connections (file sharing) accept telnet connections (distributed computation) ‘50 ‘60 ‘70 ‘80 ‘90 1994 10k Web Servers 1971 email appears 1992 50 Web Servers 1957 Sputnik 1962 Arpa 1969 Arpanet 1990 WWW proposed 2003

P2P History: 1995 - 1999 1995 – 1999: the Internet explosion ‘50 ‘60 The original “state of grace” was lost Current Internet is organized hierarchically (client/server) Relatively few servers provide services Client machines are second-class Internet citizens (cut off from the DNS system, dynamic address) ‘50 ‘60 ‘70 ‘80 ‘90 1994 10k Web Servers 1971 email appears 1992 50 Web Servers 1957 Sputnik 1962 Arpa 1969 Arpanet 1990 WWW proposed 2003

P2P History: 1999 - today 1999 – today: the advent of Napster Jan 1999: the first version of Napster is released by Shawn Fanning, student at Northeastern University Jul 1999: Napster, Inc. founded In short time, Napster gains an enormous success, enabling millions of end-users to establish a file-sharing network for the exchange of music files Jan 2000: Napster unique users > 1.000.000 Nov 2000: Napster unique users > 23.000.000 Feb 2001: Napster unique users > 50.000.000 2003

Napster is not alone Following the success of Napster, other file-sharing systems started to appear, such as: Gnutella gnutella.wego.com Freenet freenet.sourceforge.net Moreover, other applications appeared, capable to establish communities comprising millions of cooperating nodes: Distributed Computing Seti @ Home setiathome.ssl.berkeley.edu Distributed.net www.distributed.net Messaging and collaborative tools Groove www.groove.net 2003

P2P History: 1999 - today 1999 - today: the new peer-to-peer revolution Since 1999, the IT community started to search a label to define the new distributed model suggested by Napster and these other applications By July 2000, this label was found: peer-to-peer The label, however, didn’t clarify things Following the classical definition of peer-to-peer, Napster is not peer-to-peer (centralized server) But Napster is what originated the discussion! A new definition for peer-to-peer was needed 2003

Alternative Definition of Peer-to-Peer Peer-to-peer is the class of applications that put together resources (storage, cycles, content, human presence) available at peer machines located at the edges of the Internet. 2003

Why P2P? Despite its poor reputation, P2P is extremely interesting from a technical point of view: Its completely decentralized model enables the development of applications with high-availability fault-tolerance scalability characteristics previously unseen in Internet It exploits what has been defined the “dark matter” of Internet Moreover, P2P is not limited to file-sharing, but it can be applied to distributed computing and collaboration tools 2003

P2P Services Areas of applicability of P2P sharing of content distributed web servers, distributed media repository sharing of storage distributed file system, distributed search engine sharing of CPU time parallel computing sharing of human presence the “P” in P2P is “Person” sharing of connectivity resilient overlay networks sharing of information information diffusion over net 2003

Current Peer-to-Peer Models Broker-Mediated Content Sharing Global index held by central authority (broker) single point of failure Users register content with the broker use broker to find content to copy Also called “hybrid peer-to-peer” Contact: For searches: mediated by the broker For download: direct between requestors and providers e.g. Napster 2003

Current Peer-to-Peer Models Broker-Mediated Content Sharing Broker Who has “Imagine”? Bob has it! Alice Bob Copying “Imagine” 2003

Current Peer-to-Peer Models (Pure) Peer-to-Peer Content Sharing No global index – local knowledge only approximate answers Users register content with network neighbors search across the network to find content to copy Contact: For searches: mediated by chain of intermediaries For download: directed or through intermediaries e.g. Gnutella and Freenet 2003

Current Peer-to-Peer Models (Pure) Peer-to-Peer Content Sharing Who has “Imagine”? Who has “Imagine”? Carl David Elisa Bob has it! Bob has it! Bob has it! I have it! Alice Bob Copying “Imagine” Who has “Imagine”? Who has “Imagine”? 2003

Current Peer-to-Peer Models Master-Slave Cycle Sharing Master sends chunks of data to clients Data is processed by clients when client is not in use and returned to the master Adopted by: SETI@ home, distributed.net, etc. Master Processed data Raw data Alice Bob Carl David Data crunching Data crunching Data crunching Data crunching 2003

Pure Peer-to-Peer: Key Questions Does it work? can we find the data? (main InBCT 3.2 topic) query success rates length of query paths Does it scale? logarithmic / linear / polynomial Is it robust? participants are unreliable (future InBCT research topic) different failure modes possible Is it efficient? using communication resources efficiently Information diffusion the speed of information spreading (future InBCT research topic) 2003

Miksi tutkitaan Tieteellinen aspekti Sosiaalinen aspekti Resurssien löytämisen tutkimus Informaation leviämisen mallintaminen Sosiaalinen aspekti Muutokset yhteiskunnan rakenteeseen ja sosiaaliseen koodistoon Mobiilipäätelaitevalmistaja Lopullisena tavoitteena standardirajapinta P2P-ominaisuuksille (samoin kuin Nokian Series 60 Symbianiin) tulevaisuuden kännykän käyttöjärjestelmään Utopistinen, mutta antaa tutkimustyölle suuntaa Tuo kännykkävalmistajalle teknologisen etumatkan Operaattori Vertaisverkoilla välitetyn median avaamiseen tarvittavien sertifikaattien välittäminen lisää maksullista liikennettä Ohjelmistojen valmistaja/sisällön tuottaja Vertaisverkot tarvitsevat uusia ohjelmistoja Tehokkaammat jakelutiet janoavat sisältöä 2003

Structure of the project InBCT Structure of the project Yomi Oma Mikko Vapa Adaptiiviset hakualgoritmit (neurolaskenta) Serqiy Nazarko Hajautettu datafuusio Matthieu Weber Palveluiden mainostus Niko Kotilainen Joni Töyrylä P2P Studio Chedar Jani Kurhinen Informaation diffuusio ? Mobile Chedar WLAN,TETRA Tommi Myöhänen P2PCore Hakualgoritmit Annemari Auvinen Yhteyksien optimointi Topologian hallinta Sauli Takkinen Informaation diffuusion tarjoamat uudet sovellukset ? Power-Law perustutkimus Vagan Terziyan Yritysten väliset verkostot Theoretical Practical 2003

Chedar (P2P alusta) Oma testiympäristö algoritmien kehittelyn tueksi ei keksitä pyörää uudestaan: hyödynnetään olemassaolevia ympäristöjä tällä hetkellä Globus (www.globus.org) näyttää hyvältä hajautusalustalta Globus kuitenkin resurssien hallinnan osalta keskitetty oma P2P-pohjainen Chedar-alusta korvaa toinen Sunin JXTA perustainen toinen täysin oma toteutus vertaillaan eri toteutuksia testataan eri implementointialgoritmeja Tarvitaan jotta voidaan todentaa käytännössä ideoiden toimivuus Sovellus Java Commodity Grid Resource Specification RSL Job submission Chedar P2P GLOBUS Directory service for GLOBUS Distributed computing 2003

P2P Algoritmitutkimus Resurssien löytäminen ongelma Voidaanko hyödyntää neuroverkkoja Kuinka varmistetaan että verkon topologia noudattaa power-law ehtoa? Jotta verkko olisi vikasietoinen Kuinka tietoturva varmistetaan vertaisverkossa? Bysanttinen verkko-ongelma Ratkaistu, mutta äärimmäisen raskas toteutus – löytyykö helpompia jos on hiukan luottamusta toimijoiden välillä? Koska RSA-salaus on additiivinen, voidaan salattua tietoa käsitellä verkossa tuntematta itse tiedon sisältöä 2003

Datafuusio Useista eri lähteistä saatujen signaalien yhdistäminen (fuusio) merkityksellisen tiedon havaitsemiseksi/tiedon varmuuden lisäämiseksi Kalman suodatus Bayes-verkot Dempster-Shafer päättely Sensoriverkkojen signaalien käsittely Internet on (myös) lukemattomien anturien verkko, voidaanko näistä tiedoista yhdistellä jotain käyttökelpoista Ympäristön valvonta (säteily, ilman laatu, lämpötila, kulunvalvonta) Älyhuoneet (älytalo) Sosiaalisen yhteisön tuottaman tiedon yhdistely (knowledge/data fusion) Data fusion 2003

Hajautettu datafuusio Real-World Simulator Sensoriverkon hajautettu datafuusio tilannekuvageneraattori (Real-World Simulator) anturien mittaaman tilanteen tuottaminen hajautettu datafuusio Chedar-alustalle useamman PC:n muodostama verkko datafuusion tulosten näyttö hallintaohjelmisto jolla verkon topologiaa voidaan muuttaa Ensimmäinen demo valmis vuoden 2003 lopulla P2P Studio Situation display 2003

Mobile P2P Tulevaisuuden kännykät sisältävät paljon muistia ja laskentakapasiteettia Tiedon diffuusio yhteisössä (sosiaalinen verkosto) sosiaalisen verkoston transaktiokustannusten laskeminen automatisoimalla transaktiot Esim. halvimman polttoaineen, elintarvikkeiden (bulkkituotteen) ostopaikan tiedon levittäminen polttoaine maksetaan kännykällä kännykät kommunikoivat toistensa kanssa ilmaiseksi (esim. Bluetooth tai WLAN) jokainen kertoo tankkauksensa hinnan ja saa vastineeksi muiden pisteiden hintoja tämän perusteella voi valita halvimman polttoaineen hankintapaikan myös muita tiedon leviämisen tapoja olemassa tehostaa oleellisesti markkinataloutta antamalla kaikille yhtäläisen tiedon markkinatilanteesta P2P on yksi tulevaisuuden jakelutie (distribution model) 2003

TETRA P2P-verkon viestiverkkona Viranomais/PV:n tarpeisiin Kaupallinen teknologia Halpa IP-verkko (7.2 - 28.8 kbit/s) Ei sovellu primääriverkoksi (häirittävyyden huonon siedon takia), varaverkoksi kylläkin Toistinominaisuus ja suora yhteys päätelaitteiden välillä Päätelaitteet voivat toimia myös pienen alueen tukiasemina Ad hoc verkkojen muodostaminen mahdollista P2P-kelpoinen viestiverkko Jyväskylässä Nokian TETRA-kehitys 2003

Sosiaalinen verkosto vertaisverkolla Psykologia Yhteistyö Tietotekniikka Evoluutiobiologia Malli tiedon leviämiselle sosiaalisessa verkostossa Psykologia Mitä tietoa ihmiset haluavat antaa ja vastaanottaa vaikutukset sosiaalisiin verkostoihin Matematiikka Kuinka malleja käsitellään ratkaisujen saamiseksi Verkkojen optimointi Tietotekniikka Käytännön toteutusratkaisut Sosiaalinen verkosto vertaisverkolla Matematiikka Evoluutio-biologia 2003

Sosiaalisen verkoston teemoja Transaktiokustannukset pienenevät automatisoidussa verkostossa taloudessa verkostotalous, joustavat tuotantolinjat kilpailun tehostuminen (hintavertailu helpottuu) uusia liiketoimintatapoja (erilaiset välittäjät (brokers), nettikaupat) sosiaalisessa yhteisössä Läpinäkyvyys lisääntyy, ts. muiden tietoisuus verkoston toisista jäsenistä lisääntyy Paluu perinteiseen kyläyhteisöön, toivottavaako? Rikollisuus vähenee koska kaikki tietävät mitä toiset tekevät? Yksityisyys vähenee, sosiaalinen koodisto muuttuu Käykö näin, vai vastustetaanko yksityisyyden häviämistä? uusia sosiaalisia toimintoja Brändien merkitys pienenee (onkohan näin?) Koska brändin luominen on edullisempaa transaktiokustannusten ja joustavien tuotantolinjojen johdosta Maineen merkitys kasvaa verkostoitumisen lisääntyessä Koska läpinäkyvyys on kasvanut ja tieto toiminnasta leviää verkossa nopeasti Kehittyvätkö sosiaaliset verkostot P2P-verkoston suuntaan? Desentralisaatio (onko tämä väistämätön prosessi?, voisiko joskus olla jopa toisinpäin, hajautetusta keskitettyyn?) 2003

Rakenteiden muutos Keskitetyn organisaation edut löytyy kytkentäpiste organisaatioon (keskuspiste tietää kuka tekee mitäkin) keskuspiste toimii tiedon suotimena, ei rasiteta kaikkia organisaation jäseniä tarpeettomasti Keskitetyn organisaation haitat vaatii kytkentäpisteeltä erittäin paljon (yhä enemmän, sillä organisaatio kehittyy voimakkaasti eteenpäin) dynaamisessa organisaatiossa muutokset kuormittavat kytkentäpistettä voimakkaasti (koska muutokset täytyy olla keskuspisteen tiedossa) 2003