National Public Health Institute, Finland www.ktl.fi 1 Avoin arviointi – mitä ihmettä? Jouni Tuomisto KTL, Kuopio.

Slides:



Advertisements
Samankaltaiset esitykset
Vihreän liiton kesäpäivät 2006 Panu Laturi
Advertisements

1. Missä vietät joulun useimmiten?. 2. Missä viettäisit joulun mieluiten?
Juha Kauppinen Consulting oy Työntekijäkysely Tietoja
1 Eurooppalainen kielitaidon arviointi- ja testausjärjestö
Mission Gallup 08 nettikyselyn yhteenveto. Jeesus tunnetuksi kautta maailman Taustatietoja • 446 vastaajasta 38% (m) ja 62% (n) • Vapaakirkollisia 84%
Datan vapauttaminen Avaruusstrategian julkistus Tutkimusjohtaja Laura Höijer / YM & Yksikönpäällikkö Yrjö Sucksdorff / SYKE.
45 ajatusta elämästä Music: snowdream Nov 2009 He Yan.
Pääkaupunkiseudun 8. luokkien palvelukyky Espoo, Tapiolan koulu Joulukuu 2013.
Hampuri, Saksa Löytää suunta, joka mahdollistaa Lions Clubs Internationalin saavuttavan sen täyden potentiaalin kansainvälisenä.
1 Heli Lepomäki Yritysten ja muiden organisaatioiden käyttöön sähköinen työpöytä on jo leviämässä, koska niiden toiminta ja asiakaspalvelu.
10 vinkkiä voimaantumiseen
Seurakysely 2012 Seurakyselyn kehittäminen Seurafoorumi Anton Ahonen Jyväskylän yliopisto.
Mä mistä löytäisin sen aiheen?
Tutkimussuunnitelma…
TULEVAISUUS TYÖRYHMÄN MIELESTÄ (1 KAUPUNKI)
Pelaajakysely Tampereen piirin pelaajille 2013 TKT.
SUOMEN PANKKI | FINLANDS BANK | BANK OF FINLAND Yritysrahoituskysely 2012.
YMALin strategia: tavoitteet ja painopistealueet.
National Public Health Institute, Finland 1 Avoin arviointi – mitä uutta riskinarviointiin? Jouni Tuomisto KTL, Kuopio.
Arviointi ja mallitus: avoin arviointi (open assessment)
YMALin strategia: tavoitteet ja painopistealueet.
Avoin päätöksentekokäytäntö toimintamallina
Avoin päätöksentekokäytäntö toimintamallina Jouni Tuomisto THL, Ympäristöterveyden osasto.
Perusopetuksen huoltajat 2014 Generated on :04.
Ohjaustarvearvio ja ohjaustarve kartta/ Ryhmänohjaajan näkökulma
TAUOLLA TYÖKAVEREIDEN KANSSA
1 Senioreiden säästäminen ja maksutavat 2014 SENIOREIDEN SÄÄSTÄMINEN JA MAKSUTAVAT
Perustulo Mitä se maksaa?. Esitettyjä väitteitä Perustulo kaksinkertaistaa valtion menot Perustulo vie rahat hyvinvointipalveluista Perustulo pakottaa.
1 ©TNS 2012 NEUVOLOIDEN VASTAANOTTOJEN ASIAKASTYYTYVÄISYYSMITTAUS Neuvolat - suurten kaupunkien vertailu 2012 Kaupunkikohtainen vertailu.
Työrauha ja haastavat tilanteet
Fi.opasnet.org fi.opasnet.org/fi/Ydinvoima Haluamme tietää Sinun mielipiteesi. Äänestikö kansanedustajasi oikein ydinvoimasta? Kansalaisparlamentti ydinvoimasta.
I.R.O. Research Oy vee 10/2000 Mediakäyttö Käyttää vähintään kerran viikossa Tytöt ja pojat *) Kirjat (esim. romaanit, lasten- ja nuortenkirjat)
Työmarkkinatutkimus 2012 Yksityinen sektori
TMA.003 / L3 ( )1 3. Funktioista 3.1. Kuvaus ja funktio Olkoon A ja B ei-tyhjiä joukkoja. Tulojoukon A  B = {(x,y) | x  A, y  B} osajoukko on.
Väestö Vantaan osa-alueilla
Juha Kauppinen Consulting oy Rakenneselvitykseen liittyviä tutkimuksia Tiedotustilaisuus Karjasillan kirkolla Juha Kauppinen.
Elinkeinopoliittinen mittaristo 2014
S Sosiaalitekniikka 1999 S Sosiaalitekniikka.
TPO-oppilaitoskysely keväällä 2010 Toimintaympäristö ja talous Oppilaat Henkilöstö Opetustarjonta.
Yrittäjien äänestyskäyttäytyminen 50,7 57,6 55,0 23,4 20,3 21,9 11,4 9,3 8,0 5,2 5,5 6,9 4,2 4,5 3,6 0,7 1,7 1,3 1,7 0,0 0,0 0,7 0,0 0,0 2,7 1,0 3,3.
Ohjelmistotekniikka - Tenttiin valmistautumisesta Kevät 2003 Hanna-Kaisa Lammi LTY/Tite.
Opasnet on wiki-pohjainen järjestelmä joka pyrkii parantamaan päättäjien ja kansalaisten keskinäistä vaikuttamista. Eduskunnan ydinvoimapäätös: a) Hyvä?
Jakaumista. Frekvenssijakauma Mainostaja kysyy 200 asiakkaalta, kuinka monta kertaa viikossa he lukevat sanomalehteä. Päivät, jolloin luet lehden Frekvenssi.
Näyttely ja Kansio Pirjo Moilanen.
1 Raha-asioiden suunnitteleminen ja nykyinen rahatilanne Senioritutkimus 2011.
Seinäjoki kisa A Tuomari: Tytti Lintenhofer ALO 12kyl, 4pys Kyl:
Maatalous, maaseutuyrittäminen rahavirrat 2008 ja 2007 Pohjois-Savo Jari Kauhanen MTK- Pohjois-Savo.
Lähde: Oppiminen ja ikääntyminen, Aikuiskasvatuksen 41.vuosikirja 1 Koulutuksesta seuraa.. Koulutuksesta on seurannutAlle 30 v n= v n=63 Yli 45.
Eksponentiaalinen kasvaminen ja väheneminen
Aritmeettinen jono jono, jossa seuraava termi saadaan edellisestä lisäämällä sama luku a, a + d, a+2d, a +3d,… Aritmeettisessa jonossa kahden peräkkäisen.
Maitotaito PIENEN VAUVAN PÄIVÄ Maitotaito.
Jatkuvan parantamisen Jp-taulu
Terveysvaikutusarviointi kaikessa päätöksenteossa Jouni Tuomisto, Mikko Pohjola YMAL.
Tietoja muuttoliikkeestä Yhteenvetoa PKS = Vantaa, Espoo, Helsinki ja Kauniainen KUUMA = muu Helsingin seutu (10 kuntaa)
Opasnet – väline tieteellisen tiedon jalkauttamiseen Jouni Tuomisto, Ympäristöterveyden osasto, THL, Kuopio.
Mediaan sitoutuminen Aikakauslehdet, KMT Kuluttaja 2007.
S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 11 - Teemu Mutanen Optimointiopin seminaari - Syksy 2005 / 1 Lisätiedon arvo.
Heuristinen arviointi Käyttöliittymäseminaari Jere Salonen.
SATTUMAN ONGELMA TUTKIMUKSESSA 1 x: tenttiin valmistautumiseen käytetty aika (tunteja) Perusjoukko μ = 39,87.
Journalistiikan ja mediatutkimuksen perusteet ma 19. ja 26.9.: 12-14, F416; ti 20: 12-14, Kurtén ti 27.9: 12-14, Nissi viikko 38 ma-ti.
Suomen Lääkäriliitto | Finnish Medical AssociationLääkärit Suomessa | Physicians in Finland Tilastotietoja lääkäreistä ja terveydenhuollosta 2014 Statistics.
1. Missä vietät joulun useimmiten?. 2. Missä viettäisit joulun mieluiten?
Opasnet päätöksenteon työkaluna Jouni Tuomisto, THL.
Toimintakyvyn arvioinnin etiikka
Terveysvaikutusarviointi kaikessa päätöksenteossa Jouni Tuomisto, Mikko Pohjola YMAL.
S ysteemianalyysin Laboratorio Teknillinen korkeakoulu Esitelmä 2 - Jirka Poropudas Optimointiopin seminaari - Kevät 2005 / 1 Bayes-verkoista s
Tilastollisesti merkitsevä nousu Tilastollisesti merkitsevä lasku Edelliseen aineistoon KMT 2005 verrattuna* KMT Kevät06 puolivuosiaineisto KMT SYKSY05/KEVÄT06.
T Ryhmä ”Tete” Henkilökohtainen SE-harjoitus Marko Nikula (Assesment of Architecture) Arkkitehtuurin arviointi.
Kesätyöntekijöiden kommentteja Opasnetistä ja ydinvoimatyöstä: ”Kun tulin kesätöihin minulla oli vain jokin suuntaa antava aavistus siitä mitä meinattiin.
kansanedustajasi oikein ydinvoimasta?
Esityksen transkriptio:

National Public Health Institute, Finland 1 Avoin arviointi – mitä ihmettä? Jouni Tuomisto KTL, Kuopio

National Public Health Institute, Finland 2 Esityksen rakenne Mitä nykyisessä riskinarvioinnissa on vialla? Miksi arviointia tarvitaan tulevaisuudessa? Mitä uudenlaiselta arvioinnilta vaaditaan? Voiko se toimia?

National Public Health Institute, Finland 3 Mitä vikaa on nykyisessä riskinarvioinnissa? Rajallinen sovellusalue Joustavuuden ja kattavuuden puute Työn tehottomuus ja hitaus Tarkoitukselliset harhat kohti “turvallisuutta” Viestintäongelmat Sidosryhmien hyväksynnän puute

National Public Health Institute, Finland 4 Rajallinen sovellusalue Vain muutamat aineryhmät vaativat riskinarviointia ennen markkinoille tuloa –Torjunta-aineet, lääkkeet, ruoan lisäaineet –Tilanne paranee vähän EU:n Reach-kemikaalilainsäädännöllä Riskinarviointi ei käynnisty monien “luonnollisten” altisteiden takia: –Perinteiset ruoat vs. geenimuunnellut –Ympäristöaltisteet: hometalot vs. pienhiukkaset Usein rajoittuu tilanteisiin, joissa on taloudellisia intressejä  Kuka saa ja kenen pitäisi käynnistää riskinarviointi?

National Public Health Institute, Finland 5 Joustavuuden ja kattavuuden puute Jokainen ala on kehittänyt oman viitekehyksensä –Tieteelliset lausunnot ruosta (EFSA) ‏ –Kemikaalien riskinarviointi torjunta-aineille –Turvallisuusarviointi lääkkeille –Elinkaarianalyysi kuluttajatuotteille –Ympäristövaikutusten arviointi suurille rakennushankkeille –“Ei testattu eläimillä” kosmetiikalle  Onko tämä vain kulttuurin rikkautta vai hallinto-ongelma ja terveysuhka?

National Public Health Institute, Finland 6 Kattavuus: Rajojen tärkeys Viljellyn lohen hyöty-riskianalyysi (Tuomisto et al, Science 2004) ‏

National Public Health Institute, Finland 7 Työn tehottomuus ja hitaus Tehottomuus: Työ vie paljon henkilökuukausia –Tarvitaan paljon kallista asiantuntijatyötä –Valmiit riskinarvioinnit eivät ole muille saatavissa hyödyllisessä muodossa Hitaus: Työ vie paljon kalenterikuukausia –Prosessi sisältää datankeruuta, systemaattisia kirjallisuushakuja, julkisia kuulemisia, tieteellisiä arviointipaneeleita… –U.S.EPA:n dioksiiniriskinarviointi: luonnos julkaistiin 1996 toinen luonnos julkaistiin 2000 …vieläkin odotamme lopullista versiota  Samalla rahalle voisimme tehdä enemmän ja parempia riskinarviointeja

National Public Health Institute, Finland 8 Isot päivitykset IRIS- kemikaalitietokannassa (U.S.EPA) ‏

National Public Health Institute, Finland 9 Tarkoitukselliset harhat kohti “turvallisuutta” Lähestymistavat minimoivat väärän negatiivisen harhan –Reference dose=NOAEL/UF a /UF i –BMDL: lower CI of the benchmark dose –LMS (q 1 * ): linearized multistage Huonosti tunnetut kemikaalit näyttävät pahemmilta kuin hyvin tunnetut, suuret riskit  Ongelmilla on taipumus ajautua pois SINUN vastuualueeltasi (muille ratkottavaksi (tai unohdettavaksi)) ‏

National Public Health Institute, Finland 10 Kenen syliin ongelmat kaatuvat? Viljellyn lohen syöty-riskianalyysi (Tuomisto et al, Science 2004) ‏

National Public Health Institute, Finland 11 Viestintäongelmat Tiede – politiikka: “Päättäjät haluavat selviä numeroita, eivät jakaumia." Politiikka – tiede: “EU-Komissio haluaa edistää jakaumien käyttöä; tämä on koulutuskysymys." Tiede – sidosryhmät: Arvioinnit eivät ole helposti saatavissa sellaisessa muodossa, joka olisi sidosryhmille hyödyllinen. Sidosryhmät – tiede: Tutkijat tutkivat, mutteivät oikeastaan tiedä mikä olisi politiikan kannalta tärkeää.

National Public Health Institute, Finland 12 Hyväksyttävyyden puute sidosryhmien keskuudessa Sidosryhmät eivät ehkä hyväksy –premissejä (alkuoletuksia) (esim. mitata terveyttä rahana) –arvioinnin suorittanutta ryhmää (energiayhtiö tekemässä ydinjätteen loppusijoitusarviota) ‏ –kansalaisten osallistumismahdollisuuksia (“Meitä ei kuultu omassa asiassamme.”) ‏ –Palautteen käsittelyä (“Meidän palautteellamme ei ollut mitään merkitystä.”) ‏

National Public Health Institute, Finland 13 Miksi riskinarviointia tarvitaan tulevaisuudessa? Todelliset ongelmat EIVÄT ole niitä joihin riskinarviointi kehitettiin: –Lääkkeet –Torjunta-aineet –Lisäaineet Arviointeja tarvitaan, koska olisi kiva tehdä jotain hyödyllistä tulevaisuuden todellisille riskeille. Nämä riskit ovat niin monimutkaisia, ettei kukaan voi olla asiantuntija kaikilla ongelman osa-alueilla. Tämä riskit ovat sellaisia kuin...

National Public Health Institute, Finland 14 Ilmastonmuutos Uppsala-jäätikkö, Patagonia, Argentiina: yllä vuonna 1928 ja alla vuonna 2004.

National Public Health Institute, Finland 15 Ulkoilman pienhiukkaset

National Public Health Institute, Finland 16 Energiatehokkuus

National Public Health Institute, Finland 17 Kaupunkimainen elinympäristö

National Public Health Institute, Finland 18 Juomaveden riittävyys ja laatu

National Public Health Institute, Finland 19 Luonnon monimuotoisuus

National Public Health Institute, Finland 20 Väestönkasvu

National Public Health Institute, Finland 21 Maailmanlaajuiset ympäristöverot

National Public Health Institute, Finland 22 Mitä uudelta arvioinnilta vaaditaan? Sidosryhmät saavat puuttua mihin tahansa etukäteen ja se huomioidaan Arvoarvostelmat sisällytetään arviointiin Sidosryhmien hyväksynnän puute Mistä tahansa voi tehdä selventäviä kysymyksiäViestintäongelmat Parasta arviota käytettävä (sisältäen epävarmuuden) ‏ Tarkoitukselliset harhat kohti “turvallisuutta” Tieto rakenteista ja suoraan uusiokäytettävää Työn jakaminen, ei-asiantuntijat osallistumaan Rutiinien automatisointi Työn tehottomuus ja hitaus Täysin skaalattavissa hyvin yksinkertaisista hyvin monimutkaisiin kysymyksiin Joustavuuden ja kattavuuden puute Sovellettavissa mille tahansa hallinnon tai politiikan osa-alueelle Rajallinen sovellusalue

National Public Health Institute, Finland 23 Lähestymistavan (paradigman) muutos Thomas Kuhn ( ) ‏ Tiede etenee tavalliseen tapaan, kunnes liian paljon virheitä havaitaan nykyisessä lähestymistavassa. Sitten seuraa jakso “epätavallista” tiedettä, joka lopulta johtaa lähestymistavan muutokseen.

National Public Health Institute, Finland 24 Pyrkilö Jouni Tuomisto (1997): On mahdollista kehittää sellainen systeemi, pyrkilö, joka muuntaa ideat, tiedon ja ihmisten arvot kuvaukseksi, jolla on taipumus lähestyä tieteellisesti pätevää kuvausta.  Usean vuoden työn jälkeen Heande-nettisivusto avattiin syyskuussa 2006.

National Public Health Institute, Finland 25 Avoin arviointi Tavoitteet: –Löytää ratkaisut KAIKKIIN haasteisiin samanaikaisesti. Erityisesti: 1.Sallia täysin avoin osallistuminen 2.Säilyttää korkea tieteellinen laatu 3.“Teollistaa” riskinarviointi: johdonmukaistaa ja tehostaa Nykytilanne: avoimessa arvioinnissa on ehdotukset ratkaisuiksi kaikkiin esiteltyihin haasteisiin –Monia ehdotuksia ei ole vielä testattu käytännössä –Luultavasti kaikki ratkaisut eivät toimi  Kuitenkin on olemassa kriittinen massa ratkaisuja tarjolla, jotta täysimittainen kokeilu voidaan aloittaa  Esiin nousevat ongelmat ratkotaan matkan varrella

National Public Health Institute, Finland 26 Arvioinnit tehdään avoimesti internetissä Sivusto arviointimenetelmistä ja niiden soveltamisesta arvioijille (Guidebook) ‏ Sivusto hyödyllisestä datasta (Resource Centre) ‏ Sivusto toteutettavista ja valmiista arvioinneista: –Arviointien ja mallien kuvaukset (Warehouse) ‏ –Varsinaiset laskentamallit (Toolbox) ‏ –Tulokset yhdenmukaisessa muodossa jatkokäyttöä varten (Result database) ‏ Sivusto osallistumiselle ja kommentoinnille (Collaborative workspace) ‏ Kaikki tämä avoimesti päivitettävissä

National Public Health Institute, Finland 27 Arviointi: kaasubussi

National Public Health Institute, Finland 28 Laadunvarmistus Sivuja saa vapaasti lisätä, mutta pitkälle kehittyneet sivut suojataan suoralta muokkaamiselta. Kaikkia sivuja saa kuitenkin kommentoida keskustelusivulla, ja keskustelussa kestäviksi todetut ajatukset siirretään varsinaiselle sivulle. Erittäin tärkeät sivut ohjataan vertaisarviointiin ja varustetaan laatuluokituksella.

National Public Health Institute, Finland 29 Mikä on avoimen arvioinnin idean hyväksyttävyys? Vapaamuotoinen arvio (perustuu havaintoihin useista kuulijakunnista): –30 % pitää sitä typeränä ideana –50 % uskoo ettei se voi toimia –15 % pitää sitä mielenkiintoisena, mutta… –5 % pitää ajatusta hienona Mikä on jakauma YTOS:ssa?

National Public Health Institute, Finland 30 Voisko avoin arviointi toimia? Olen vakuuttunut että se voi toimia Olen vakuuttunut, että loput ongelmat voidaan ratkaista Kuitenkaan tämä ei takaa, että se TOIMII, ainakaan meidän aikanamme…

National Public Health Institute, Finland 31 Leonardon laskuvarjo n –  ensimmäiset toteutukset 1900-luvulla

National Public Health Institute, Finland 32 Bayesin teoreema n Thomas Bayes julkaisi Bayesin teoreeman n –  ensimmäiset todelliset sovellukset 1960-luvulla

National Public Health Institute, Finland 33 Millainen potentiaali on joukkoyhteistyöllä ympäristöterveysongelmein ratkaisemisessa? 6,000,000,000 ihmistä maailmassa 1,000,000,000 ihmisellä pääsy internetiin 10,000,000 miettii vakavasti ympäristöä ja/tai terveyttä ja kysymystä ”Mitä minä voisin tehdä?” 1,000,000 heistä osaa englantia 100,000 heistä on hyvä tausta (esim. sopiva yliopistotutkinto) ‏ 10,000 heistä on valmis käyttämään tunnin viikossa tähän  250 henkilöviikkoa/viikko työvoimaa käytettävissä

National Public Health Institute, Finland 34 Miltä maailma näyttää, jos käytetään täysimittaisia avoimia arviointeja? Tieteellisen tiedon kiertonopeus lisääntyy Tieteellinen tieto on helposti saatavissa aina, missä tahansa ja omalla kielellä. Aika käytetään ongelmien ratkomiseen, ei ratkomisesta puhumiseen. Ihmiset alkavat vastata poliitikolle, joka ehdottaa typeriä: ”Etkö ole edes lukenut Heandea?”

National Public Health Institute, Finland 35 Avoin arviointi Perustuu pyrkilö-menetelmän tutkimuskysymykseen: –“Kuinka voi tieteellistä tietoa ja arvoarvostelmia voi jäsentää yhteiskunnallisen päätöksenteon tueksi tilanteessa, jossa avoin osallistuminen on sallittu?" Täysi laidallinen kehitystarpeita teoriasta käytäntöön –uusi ontologinen perusta –tiukasti oliopohjainen lähestymistapa –uusi rakenne tieto-olioille –perinteiset riskinarviointimenetelmät tiedon prosessoinnissa, mutta systemaattisemmin järjestettynä –avoimen yhteistyön mahdollistavat työkalut –tietolähteet suoraan käytettävissä ja sovellettavissa

National Public Health Institute, Finland 36 ORA-raportti

National Public Health Institute, Finland 37 Falsifikaatio Karl Popper ( ) ‏ Tiede koostuu väitteistä (teorioista) jotka voidaan falsifioida eli todistaa vääräksi. Tiede on evoluutioprosessi, jossa huonot teoriat falsifioidaan. Nykyinen tietämys perustuu niille teorioille, joita ei ole (vielä) falsifioitu.

National Public Health Institute, Finland 38 Bayesin teoreema Thomas Bayes ( ) ‏ Posteriorijakauma eli uusi arvio voidaan laskea päivittämällä nykytieto (prori) uuden datan tuomalla informaatiolla.

National Public Health Institute, Finland 39 Päätösteoria Howard Raiffa Päätösanalyysi on rationaalinen menetelmä tehdä päätöksiä. Lisäksi, subjektiivisen (bayesiläisen) todennäköisyyden käyttöä päätösanalyysissä pitäisi lisätä.

National Public Health Institute, Finland 40 Estimaatin (arvion) laatu Roger Cooke Määrällisen arvion laatu voidaan arvioida ulkoista standardia vastaan informatiivisuutena ja kalibraationa, jos arvio ilmoitetaan todennäköisyysjakaumana.

National Public Health Institute, Finland 41 Viinit bayesiläisissä verkoissa Roger Cooke Bayesiläiset verkot kuvaavat todellisuutta ehdollisina todennäköisyyksinä. Nämä jakaumat voivat saada millaisia muotoja tahansa, ja silti niitä voidaan tutkia analyyttisesti, jos käytetään viinejä (matemaattisia köynnöksiä).

National Public Health Institute, Finland 42 Väittely (argumentaatio) ‏ Frans van Eemeren Erimielisyydet voidaan ratkaista käyttämällä muodollista väittelyä, joka koostuu siihen liittyviä väitteitä koskevista hyökkäyksistä ja puolustuksista.

National Public Health Institute, Finland 43 PSSP Veikko Pohjola Järjestelmä voidaan tehokkaasti kuvata käyttämällä kahdenlaisia olioita: prosesseja ja tuotteita (jotka ovat näiden prosessin tuottamia). Jokaisella oliolla on neljä attribuuttia: tarkoitus, rakenne, tila ja suorituskyky (purpose, structure, state, performance).

National Public Health Institute, Finland 44 Joukkojen viisaus James Surowiecki Ryhmä ihmisiä usein päihittää yksittäisen asiantuntijan, jos he voivat käyttää yksilöllistä osaamista, toimia riippumattomasti ja hajautetusti, ja heidän mielipiteensä voidaan tehokkaasti kerätä yhteen.

National Public Health Institute, Finland 45 Nettitietosanakirjat Jimbo Wales Tietosanakirja jota kuka tahansa voi kirjoittaa: on mahdollista innostaa hyvin suuri joukko ihmisiä keräämään tietoa ja kirjoittamaan artikkeleita tärkeistä asioista.

National Public Health Institute, Finland 46 Joukkoyhteistyö Don Tapscott, Anthony Williams Suuri joukko järjestäytymättömiä ihmisiä pystyy tuottamaan monimutkaisia tuotteita, jos tuotteena on tieto tai kulttuuri, jos työ voidaan pilkkoa pieniksi toteuttamiskelpoisiksi palasiksi, ja jos nämä palat voidaan tehokkaasti koota yhteen.

National Public Health Institute, Finland 47 Yhteenveto Avoimen arvioinnin tarkoituksena on parantaa ja tehostaa tieteellisen tiedon hyödyntämistä Keskeiset periaatteet ovat –Avoin osallistuminen kaikissa vaiheissa –Tieteellisyyden vaatimus joka kohdassa –Tiedon uudelleenkäytettävyys arvioinnista toiseen Jos yrityksemme onnistuu, tieteen tekemisen käytännöt muuttuvat

National Public Health Institute, Finland 48