ASIANTUNTIJA-ARVIOIDEN PERIAATTEITA Asiantuntijuus Rationaalinen konsensus

Asiantuntijuus NUREG -1150: “Asiantuntija on henkilö jolla on kolleegoiden ja tutkimuksen tilaajien tunnustamaa erikoisosaamista, koulutusta ja kokemusta tarkasteltavasta asiasta” “An expert is a person who has special skills, training and experience in the subject area and is recognized by his/her peers or those conducting the study” asiantuntijoiden kokemus tulisi olla osoitettu - julkaisuilla - konsultointikokemuksella - tutkimuksella ja sen johtamisella

Asiantuntijuus (jatkoa) asiantuntijoiden tulisi edustaa laajaa kokemusta, joka on hankittu - yliopistoissa - konsulttifirmoissa - tutkimuslaitoksissa - teollisuudess

Asiantuntijuus (jatkoa) asiantuntijoiden tulisi tuntea aihealueen “state of the art” asiantuntijoilla tulisi olla laaja ja monipuolinen näkemys aiheesta asiantuntijoiden tulisi olla halukkaita antamaan asinatuntemuksensa käyttöön ja hyväksyä asuantuntija-arvioinnin prosessi asiantuntija-arvioprosessissa tulisi olla mukana mahdollisimman laaja joukko erilaisia näkemyksiä ja erilaisia asiantuntijoita

Rationaalinen konsensus yleensä asiantuntijoita on useita asiantuntija-arviointiprosessi pyrkii konsensukseen RATIONAALINEN KONSENSUS: - toistettavuus - jäljitettävyys - empiirinen kontrolli - puolueettomuus - tasapuolisuus

Rationaalinen konsensus (jatkoa) TOISTETTAVUUS: mahdollisuus toistaa ja tarkistaa kaikki laskelmat laskentamallien tulisi olla täydellisesti määriteltyjä toistettavuus on tieteellisen menetelmän keskeinen vaatimus

Rationaalinen konsensus (jatkoa).) JÄLJITETTÄVYYS: asiantuntijoiden arvioiden (ja subjektiivisten todennäköisyyksien) taustan ja lähteiden tulisi olla tunnistettavissa päätöksentekijän pitää pystyä jäljittämään kunkin arvion tekijä ja hänen työpaikkansa tieteellisen menetelmän keskeinen vaatimus

Rationaalinen konsensus (jatkoa) EMPIIRINEN KONTROLLI arvioiden tulisi voida asettaa empiirisesti testattavaksi ainakin periaatteessa tai hypoteettisesti arvioit tulisi voida falsifioida periaatteessa (l. arvioiden tulisi olla sellaisia, että ne voidaan periaatteessa osoittaa vääriksi) tieteellisen menetelmän keskeinen vaatimus

Rationaalinen konsensus (jatkoa) PUOLUEETTOMUUS arvioiden yhdistämismenetelmän tulisi rohkaista asiantuntijoita ilmaisemaan todelliset mielipiteensä ­ jotkut menetelmät voivat kannustaa asiantuntijoita esittämään keskenään samanlaisia arvioita prosessin tulisi estää “arvioilla pelaamisen mahdollisuus” arvoasetelmien vaikutus tuloksiin tulisi estää

Rationaalinen konsensus (jatkoa) TASAPUOLISUUS kaikkia asiantuntiojoita ja heidän arvioitaan tulisi kohdella samojen periaatteiden mukaan (ennen mahdollisia empiirisiä havaintoja) monesti arvioiden yhdistämismenetelmissä painotetaan asiantuntijoita eri tavalla, mikäli todetaan esim. selvästi harhaisia arvioita, tai jos asiantuntijat itse kykenevät ilmaisemaan arvioidensa virheet

MALLEJA JA LÄHESTYMISTAPOJA DELPHI-menetelmä - ryhmätyömenetelmä - useita eri versioita muita työryöhmätekniikoita NUREG-1150 menetelmä - eräs monipuolisimmista menelemistä - arvioiden yhdistäminen perustuu jakaumien suoriin sekoituksiin

MALLEJA JA LÄHESTYMISTAPOJA (jatkoa) parittaisvertailut haastattelutekniikkana (Bradley-Terry-malli, Bayesilainen parittaisvertailu) suorat arviot na Bayesilainen yhdistäminen (additiivinen/multiplikatiivinen virhemalli, Mosleh & Apostolakis) VTT-menetelmä - yksinkertaistettu NUREG-1150 menetelmä - Bayesilainen arvioiden yhdistäminen - monenlaiset elisitointitekniikat periaatteessa mahdollisia

MALLEJA JA LÄHESTYMISTAPOJA (jatkoa) KEEJAM (JRC Ispra); tietämystekniikkaan perustuva menetelmä GRS:n menetelmä; perustuu “konsensusdekompositioon” ja tietokonemallien käyttöön monet insinööritoimistot ovat kehittäneet omia lähestymistapojaan (esim. NNC:n menetelmä; perustuu laadunvarmennuksen systematiikkaan)