Prof., D.Sc. (EE) Jarkko Vuori

Esitys aiheesta: "Prof., D.Sc. (EE) Jarkko Vuori"— Esityksen transkriptio:

1 Prof., D.Sc. (EE) Jarkko Vuori
InBCT 3.2 Peer-to-Peer communication/computation Cheese Factory -project Prof., D.Sc. (EE) Jarkko Vuori Faculty of Information Technology Dept. of Mathematical Information Technology Embedded Systems

2 Agenda Problems with being a multidiciplinary What is P2P?
InBCT 3.2 research project Social networks aspects (multidiciplinary theme) 2003

3 Miksi monitieteellisyys on niin vaikeata?
Humanisti näkee kahden asian välillä riippuvuuksia vaikkei niiden välillä ole loogista riippuvuutta edut: fundamentteja, uusia uria luovia perustavaa laatua olevia oivalluksia (esim. demokratia, koululaitos, uskonto, tekstiviestien hinnoittelu, jne.) haitat: kallista, koska samoja asioita tutkitaan yhä uudelleen (tieto ei loogisesti kasaudu) huijaus helppoa, koska ei yhtä loogista totuutta (Alan Sokal: "Transgressing the Boundaries: Toward a Transformative Hermeneutics of Quantum Gravity") Insinööri näkee yhteyksiä asioiden välillä vain jos ne voidaan kuvata loogisessa järjestelmässä edut: edullista koska tieto kasautuu loogisesti jo löydetyn tiedon päälle haitat: aina jää jotain oleellista huomaamatta (Kurt Gödel, 1934) Yhteinen konteksti puuttuu 2003

4 Source of innovations Cross cultural innovation area
Engineering System (Logical consistent system) Error, chaos Cross cultural innovation area (Source of errors and mystery) Humanistic System (Unconsistent system) Logical reasoning Base of innovations 2003

5 P2P Introduction Recently, the peer-to-peer (P2P) paradigm for building distributed applications has gained attention from both industry and the media Peer-to-peer: classical definition A P2P system is composed of a distributed collection of peer nodes Each node is both a server and a client: may provide services to other peers may consume services from other peers Completely different from the client-server model, where: Few specialized servers provide services to a large number of clients 2003

6 Client-Server vs. Peer-to-Peer Example
2003

7 P2P History: 1969 - 1995 1969 – 1995: the origins ‘50 ‘60 ‘70 ‘80 ‘90
In the beginning, all nodes in Arpanet/Internet were peers Every node was capable to perform routing (locate machines) accept ftp connections (file sharing) accept telnet connections (distributed computation) ‘50 ‘60 ‘70 ‘80 ‘90 k Web Servers 1971 appears Web Servers 1957 Sputnik 1962 Arpa 1969 Arpanet 1990 WWW proposed 2003

8 P2P History: 1995 - 1999 1995 – 1999: the Internet explosion ‘50 ‘60
The original “state of grace” was lost Current Internet is organized hierarchically (client/server) Relatively few servers provide services Client machines are second-class Internet citizens (cut off from the DNS system, dynamic address) ‘50 ‘60 ‘70 ‘80 ‘90 k Web Servers 1971 appears Web Servers 1957 Sputnik 1962 Arpa 1969 Arpanet 1990 WWW proposed 2003

9 P2P History: 1999 - today 1999 – today: the advent of Napster
Jan 1999: the first version of Napster is released by Shawn Fanning, student at Northeastern University Jul 1999: Napster, Inc. founded In short time, Napster gains an enormous success, enabling millions of end-users to establish a file-sharing network for the exchange of music files Jan 2000: Napster unique users > Nov 2000: Napster unique users > Feb 2001: Napster unique users > 2003

10 Napster is not alone Following the success of Napster, other file-sharing systems started to appear, such as: Gnutella gnutella.wego.com Freenet freenet.sourceforge.net Moreover, other applications appeared, capable to establish communities comprising millions of cooperating nodes: Distributed Computing Home setiathome.ssl.berkeley.edu Distributed.net Messaging and collaborative tools Groove 2003

11 P2P History: today today: the new peer-to-peer revolution Since 1999, the IT community started to search a label to define the new distributed model suggested by Napster and these other applications By July 2000, this label was found: peer-to-peer The label, however, didn’t clarify things Following the classical definition of peer-to-peer, Napster is not peer-to-peer (centralized server) But Napster is what originated the discussion! A new definition for peer-to-peer was needed 2003

12 Alternative Definition of Peer-to-Peer
Peer-to-peer is the class of applications that put together resources (storage, cycles, content, human presence) available at peer machines located at the edges of the Internet. 2003

13 Why P2P? Despite its poor reputation, P2P is extremely interesting from a technical point of view: Its completely decentralized model enables the development of applications with high-availability fault-tolerance scalability characteristics previously unseen in Internet It exploits what has been defined the “dark matter” of Internet Moreover, P2P is not limited to file-sharing, but it can be applied to distributed computing and collaboration tools 2003

14 P2P Services Areas of applicability of P2P sharing of content
distributed web servers, distributed media repository sharing of storage distributed file system, distributed search engine sharing of CPU time parallel computing sharing of human presence the “P” in P2P is “Person” sharing of connectivity resilient overlay networks sharing of information information diffusion over net 2003

15 Current Peer-to-Peer Models
Broker-Mediated Content Sharing Global index held by central authority (broker) single point of failure Users register content with the broker use broker to find content to copy Also called “hybrid peer-to-peer” Contact: For searches: mediated by the broker For download: direct between requestors and providers e.g. Napster 2003

16 Current Peer-to-Peer Models
Broker-Mediated Content Sharing Broker Who has “Imagine”? Bob has it! Alice Bob Copying “Imagine” 2003

17 Current Peer-to-Peer Models
(Pure) Peer-to-Peer Content Sharing No global index – local knowledge only approximate answers Users register content with network neighbors search across the network to find content to copy Contact: For searches: mediated by chain of intermediaries For download: directed or through intermediaries e.g. Gnutella and Freenet 2003

18 Current Peer-to-Peer Models
(Pure) Peer-to-Peer Content Sharing Who has “Imagine”? Who has “Imagine”? Carl David Elisa Bob has it! Bob has it! Bob has it! I have it! Alice Bob Copying “Imagine” Who has “Imagine”? Who has “Imagine”? 2003

19 Current Peer-to-Peer Models
Master-Slave Cycle Sharing Master sends chunks of data to clients Data is processed by clients when client is not in use and returned to the master Adopted by: home, distributed.net, etc. Master Processed data Raw data Alice Bob Carl David Data crunching Data crunching Data crunching Data crunching 2003

20 Pure Peer-to-Peer: Key Questions
Does it work? can we find the data? (main InBCT 3.2 topic) query success rates length of query paths Does it scale? logarithmic / linear / polynomial Is it robust? participants are unreliable (future InBCT research topic) different failure modes possible Is it efficient? using communication resources efficiently Information diffusion the speed of information spreading (future InBCT research topic) 2003

21 Miksi tutkitaan Tieteellinen aspekti Sosiaalinen aspekti
Resurssien löytämisen tutkimus Informaation leviämisen mallintaminen Sosiaalinen aspekti Muutokset yhteiskunnan rakenteeseen ja sosiaaliseen koodistoon Mobiilipäätelaitevalmistaja Lopullisena tavoitteena standardirajapinta P2P-ominaisuuksille (samoin kuin Nokian Series 60 Symbianiin) tulevaisuuden kännykän käyttöjärjestelmään Utopistinen, mutta antaa tutkimustyölle suuntaa Tuo kännykkävalmistajalle teknologisen etumatkan Operaattori Vertaisverkoilla välitetyn median avaamiseen tarvittavien sertifikaattien välittäminen lisää maksullista liikennettä Ohjelmistojen valmistaja/sisällön tuottaja Vertaisverkot tarvitsevat uusia ohjelmistoja Tehokkaammat jakelutiet janoavat sisältöä 2003

22 Structure of the project
InBCT Structure of the project Yomi Oma Mikko Vapa Adaptiiviset hakualgoritmit (neurolaskenta) Serqiy Nazarko Hajautettu datafuusio Matthieu Weber Palveluiden mainostus Niko Kotilainen Joni Töyrylä P2P Studio Chedar Jani Kurhinen Informaation diffuusio ? Mobile Chedar WLAN,TETRA Tommi Myöhänen P2PCore Hakualgoritmit Annemari Auvinen Yhteyksien optimointi Topologian hallinta Sauli Takkinen Informaation diffuusion tarjoamat uudet sovellukset ? Power-Law perustutkimus Vagan Terziyan Yritysten väliset verkostot Theoretical Practical 2003

23 Chedar (P2P alusta) Oma testiympäristö algoritmien kehittelyn tueksi
ei keksitä pyörää uudestaan: hyödynnetään olemassaolevia ympäristöjä tällä hetkellä Globus ( näyttää hyvältä hajautusalustalta Globus kuitenkin resurssien hallinnan osalta keskitetty oma P2P-pohjainen Chedar-alusta korvaa toinen Sunin JXTA perustainen toinen täysin oma toteutus vertaillaan eri toteutuksia testataan eri implementointialgoritmeja Tarvitaan jotta voidaan todentaa käytännössä ideoiden toimivuus Sovellus Java Commodity Grid Resource Specification RSL Job submission Chedar P2P GLOBUS Directory service for GLOBUS Distributed computing 2003

24 P2P Algoritmitutkimus Resurssien löytäminen ongelma
Voidaanko hyödyntää neuroverkkoja Kuinka varmistetaan että verkon topologia noudattaa power-law ehtoa? Jotta verkko olisi vikasietoinen Kuinka tietoturva varmistetaan vertaisverkossa? Bysanttinen verkko-ongelma Ratkaistu, mutta äärimmäisen raskas toteutus – löytyykö helpompia jos on hiukan luottamusta toimijoiden välillä? Koska RSA-salaus on additiivinen, voidaan salattua tietoa käsitellä verkossa tuntematta itse tiedon sisältöä 2003

25 Datafuusio Useista eri lähteistä saatujen signaalien yhdistäminen (fuusio) merkityksellisen tiedon havaitsemiseksi/tiedon varmuuden lisäämiseksi Kalman suodatus Bayes-verkot Dempster-Shafer päättely Sensoriverkkojen signaalien käsittely Internet on (myös) lukemattomien anturien verkko, voidaanko näistä tiedoista yhdistellä jotain käyttökelpoista Ympäristön valvonta (säteily, ilman laatu, lämpötila, kulunvalvonta) Älyhuoneet (älytalo) Sosiaalisen yhteisön tuottaman tiedon yhdistely (knowledge/data fusion) Data fusion 2003

26 Hajautettu datafuusio
Real-World Simulator Sensoriverkon hajautettu datafuusio tilannekuvageneraattori (Real-World Simulator) anturien mittaaman tilanteen tuottaminen hajautettu datafuusio Chedar-alustalle useamman PC:n muodostama verkko datafuusion tulosten näyttö hallintaohjelmisto jolla verkon topologiaa voidaan muuttaa Ensimmäinen demo valmis vuoden 2003 lopulla P2P Studio Situation display 2003

27 Mobile P2P Tulevaisuuden kännykät sisältävät paljon muistia ja laskentakapasiteettia Tiedon diffuusio yhteisössä (sosiaalinen verkosto) sosiaalisen verkoston transaktiokustannusten laskeminen automatisoimalla transaktiot Esim. halvimman polttoaineen, elintarvikkeiden (bulkkituotteen) ostopaikan tiedon levittäminen polttoaine maksetaan kännykällä kännykät kommunikoivat toistensa kanssa ilmaiseksi (esim. Bluetooth tai WLAN) jokainen kertoo tankkauksensa hinnan ja saa vastineeksi muiden pisteiden hintoja tämän perusteella voi valita halvimman polttoaineen hankintapaikan myös muita tiedon leviämisen tapoja olemassa tehostaa oleellisesti markkinataloutta antamalla kaikille yhtäläisen tiedon markkinatilanteesta P2P on yksi tulevaisuuden jakelutie (distribution model) 2003

28 TETRA P2P-verkon viestiverkkona
Viranomais/PV:n tarpeisiin Kaupallinen teknologia Halpa IP-verkko ( kbit/s) Ei sovellu primääriverkoksi (häirittävyyden huonon siedon takia), varaverkoksi kylläkin Toistinominaisuus ja suora yhteys päätelaitteiden välillä Päätelaitteet voivat toimia myös pienen alueen tukiasemina Ad hoc verkkojen muodostaminen mahdollista P2P-kelpoinen viestiverkko Jyväskylässä Nokian TETRA-kehitys 2003

29 Sosiaalinen verkosto vertaisverkolla
Psykologia Yhteistyö Tietotekniikka Evoluutiobiologia Malli tiedon leviämiselle sosiaalisessa verkostossa Psykologia Mitä tietoa ihmiset haluavat antaa ja vastaanottaa vaikutukset sosiaalisiin verkostoihin Matematiikka Kuinka malleja käsitellään ratkaisujen saamiseksi Verkkojen optimointi Tietotekniikka Käytännön toteutusratkaisut Sosiaalinen verkosto vertaisverkolla Matematiikka Evoluutio-biologia 2003

30 Sosiaalisen verkoston teemoja
Transaktiokustannukset pienenevät automatisoidussa verkostossa taloudessa verkostotalous, joustavat tuotantolinjat kilpailun tehostuminen (hintavertailu helpottuu) uusia liiketoimintatapoja (erilaiset välittäjät (brokers), nettikaupat) sosiaalisessa yhteisössä Läpinäkyvyys lisääntyy, ts. muiden tietoisuus verkoston toisista jäsenistä lisääntyy Paluu perinteiseen kyläyhteisöön, toivottavaako? Rikollisuus vähenee koska kaikki tietävät mitä toiset tekevät? Yksityisyys vähenee, sosiaalinen koodisto muuttuu Käykö näin, vai vastustetaanko yksityisyyden häviämistä? uusia sosiaalisia toimintoja Brändien merkitys pienenee (onkohan näin?) Koska brändin luominen on edullisempaa transaktiokustannusten ja joustavien tuotantolinjojen johdosta Maineen merkitys kasvaa verkostoitumisen lisääntyessä Koska läpinäkyvyys on kasvanut ja tieto toiminnasta leviää verkossa nopeasti Kehittyvätkö sosiaaliset verkostot P2P-verkoston suuntaan? Desentralisaatio (onko tämä väistämätön prosessi?, voisiko joskus olla jopa toisinpäin, hajautetusta keskitettyyn?) 2003

31 Rakenteiden muutos Keskitetyn organisaation edut
löytyy kytkentäpiste organisaatioon (keskuspiste tietää kuka tekee mitäkin) keskuspiste toimii tiedon suotimena, ei rasiteta kaikkia organisaation jäseniä tarpeettomasti Keskitetyn organisaation haitat vaatii kytkentäpisteeltä erittäin paljon (yhä enemmän, sillä organisaatio kehittyy voimakkaasti eteenpäin) dynaamisessa organisaatiossa muutokset kuormittavat kytkentäpistettä voimakkaasti (koska muutokset täytyy olla keskuspisteen tiedossa) 2003