Luotettavuus 13.3. 2013 Nina Haltian & Marjo Niemisen alkuperäisestä muokannut Rauno Huttunen.

Esitys aiheesta: "Luotettavuus 13.3. 2013 Nina Haltian & Marjo Niemisen alkuperäisestä muokannut Rauno Huttunen."— Esityksen transkriptio:

1 Luotettavuus Nina Haltian & Marjo Niemisen alkuperäisestä muokannut Rauno Huttunen

2 Laadullisen tutkimuksen luotettavuus
Aineiston analyysivaihetta ja luotettavuuden arviointia ei voida selvästi erottaa toisistaan, luotettavuuden arviointi koskee koko tutkimusprosessia Tutkijan on koko ajan pohdittava omia ratkaisujaan ja näin otettava yhtä aikaa kantaa sekä analyysin kattavuuteen että tekemänsä työn luotettavuuteen Lähtökohtana tutkijan avoin subjektiviteetti ja sen myöntäminen, että tutkija on tutkimuksensa keskeinen tutkimusväline

3 Laadullisen tutkimuksen luotettavuus
Luotettavuus on tutkijayhteisön sosiaalinen sopimus siitä, mitä tänään pidetään tieteellisenä tutkimuksena Luotettavuusterminologia voidaan jakaa kolmeen ryhmään: 1) perinteisten, kvantitatiivisen tutkimuksen, käsitteiden (reliabiliteetti ja validiteetti) soveltaminen laadulliseen tutkimukseen 2) vanhoille termeille kehitetty uusia sisältöjä 3) vanhojen termien hylkääminen ja uusien kehittäminen

4 Laadullisen tutkimuksen luotettavuus
Luotettavuuden arviointinäkemykset voidaan erottaa toisistaan niiden sisältämien todellisuuskäsitysten mukaan -> neljä näkökulmaa 1) realistinen (tutkimusteksti ikkuna todellisuuteen) 2) relativistinen (luotettavuus vakuuttavuutena) 3) refleksiivisen käytännön näkökulma 4) arviointi kritiikkinä

5 Laadullisen tutkimuksen luotettavuus
Realistinen luotettavuusnäkemys Tutkimustekstiä pidetään ikkunana todellisuuteen Validiteetti 1) sisäisellä validiteetilla (pätevyydellä) viitataan tutkimuksen teoreettisten ja käsitteellisten määrittelyjen sopusointuun 2) ulkoinen validiteetti tarkoittaa tehtyjen tulkintojen ja johtopäätösten sekä aineiston välisen suhteen pätevyyttä Reliabiliteetti Aineiston tulkinnan ristiriidattomuus

6 Laadullisen tutkimuksen luotettavuus
Relativistinen luotettavuusnäkemys Arvioinnin perustana on tutkimus tekstinä Tutkimustekstin ei oleteta kuvaavan suoraviivaisesti ja epäproblemaattisesti tutkittua todellisuutta Tutkimusteksti ei ainoastaan heijasta todellisuutta, vaan luo todellisuutta (on itse todellisuus, joka luo merkityksiä) Potter & Wetherell: Tekstin sisäinen johdonmukaisuus, koherenssi Tutkittavien orientaatiot Uudet ongelmat Tutkimuksen hedelmällisyys (tuloksellisuus)

7 Laadullisen tutkimuksen luotettavuus
Refleksiivisen käytännön näkökulma Toimintatutkimuksen luotettavuus: yhteistoiminta Tutkittavat näyttäytyvät tutkimuksen tekijöinä -> tällöin luotettavuudesta tulee reflektiivisten toimijoiden yhteisten neuvottelujen tulos Ns. konstruktiivinen käytäntö Tutkimuksen eettiset kysymykset mahdollisesti asetettava eri tavalla Luotettavuus ”mitataan” toiminnan kehittämisen näkökulmasta

8 Laadullisen tutkimuksen luotettavuus
Arviointi kritiikkinä Perspektiiviksi lukijan näkökulma Arviointitapa, jossa ensiksi yritetään ymmärtää kirjoittajan tavoitteet ja toteutustapa Seuraavaksi pyritään löytämään jotain tavoitteiden tai tieteenalan edistymisen kannalta tärkeää Kolmanneksi arvioidaan taitoa konstruoida tästä uutta tutkimusta Arvioidaan esitettyjä kuvauksia, tehtyjä päätelmiä ja tulkintoja sekä annettuja selityksiä Argumentoinnin analysointi

9 Laadullisen tutkimuksen luotettavuus
Jouni Tuomi & Anneli Sarajärvi (2004): Laadullinen tutkimus ja sisällönanalyysi Luotettavuuden kriteerit laadullisessa tutkimuksessa: vertailu Mm. Cuba & Lincoln: Credibility Transferability Dependability Confirmability

10 Laadullisen tutkimuksen luotettavuus
Eskola & Suoranta (1996) Credibility Uskottavuus: vastaako tutkijan käsitteellistykset ja tulkinta tutkittavien käsityksiä Transferability Siirrettävyys: tulosten siirrettävyys toiseen kontekstiin (mahdollista tietyin ehdoin) Dependability Varmuus: mahdollisuuksien mukaan huomioon otettava tutkimukseen ennustamattomasti vaikuttavat ennakkoehdot Confirmability Vahvistuvuus: tulkinnat saavat tukea toisista tutkimuksista

11 Laadullisen tutkimuksen luotettavuus
Niiranen (1990) Credibility Vastaavuus: vastaavatko tutkijan konstruktiot tutkittavien todellisuudesta alkuperäisiä konstruktioita Transferability Siirrettävyys: tulosten siirrettävyys toiseen kontekstiin riippuu siitä, miten samankaltaisia ympäristöt ovat Dependability Luotettavuus: ulkopuolinen henkilö tarkastaa tutkimusprosessin toteutumisen Confirmability Vahvistuvuus: ulkopuolinen henkilö arvioi tutkimuksen tuotokset (aineistot, löydökset, tulkinnat ym.)

12 Laadullisen tutkimuksen luotettavuus
Tynjälä (1991) Credibility Uskottavuus: luotettavuus, jonka osatekijöitä ovat ”totuusarvo”, sovellettavuus, pysyvyys ja neutraalisuus Vastaavuus: vastaavatko tutkijan konstruktiot tutkittavien todellisuudesta alkuperäisiä konstruktioita Transferability Siirrettävyys: tulosten siirrettävyys toiseen kontekstiin riippuu siitä, miten samankaltaisia ympäristöt ovat Dependability Tutkimustilanteen arviointi: otettava huomioon sekä erilaiset ulkoiset vaihtelua aiheuttavat tekijät että tutkimuksesta ja ilmiöstä itsestään johtuvat tekijät Confirmability Vahvistuvuus: erilaisin tekniikoin varmistutaan tutkimuksen totuusarvosta ja sovellettavuudesta

13 Laadullisen tutkimuksen luotettavuus
Parkkila ym. (2000) Credibility Uskottavuus: tutkimukseen osallistuneiden riittävä kuvaus ja arvio kerätyn aineiston todenmukaisuudesta Transferability Siirrettävyys: tulosten siirrettävyys tutkimuskontekstin ulkopuoliseen vastaavaan kontekstiin Dependability Riippuvuus: tutkimus toteutettu tieteellisen tutkimuksen toteuttamista yleisesti ohjaavin periaattein Confirmability Vahvistettavuus: tehtyjen ratkaisujen ja päättelyn oikeutus (lukijan pystyttävä seuraamaan tutkijan päättelyä ja arvioimaan sitä)

14 Laadullisen tutkimuksen luotettavuus
Tutkimusta arvioidaan kokonaisuutena, jolloin sen sisäinen johdonmukaisuus (koherenssi) painottuu -> seuraavien kohtien pitää olla suhteessa toisiinsa (huom! Kaikki kohdat eivät ole relevantteja kaikissa tutkimuksissa): Tutkimuksen kohde ja tarkoitus Omat sitoumukset tutkijana tässä tutkimuksessa Aineistonkeruu

15 Laadullisen tutkimuksen luotettavuus
Tutkimuksen tiedonantajat Tutkija-tiedonantaja-suhde Tutkimuksen kesto Aineiston analyysi Tutkimuksen luotettavuus Eettisyys ja luotettavuus Tutkimuksen raportointi

16 Laadullisen tutkimuksen luotettavuus
Muita luotettavuuteen liittyviä seikkoja Ns. yksimielisyyskerroin Kaksi tutkijaa luokittelee saman aineiston Luotettavuus hyvä, jos luotettavuuskerroin 80-85% Triangulaatio Tutkimusaineistoon liittyvä triangulaatio Tutkijaan liittyvä triangulaatio Teoriaan liittyvä triangulaatio Metodinen (metodologinen) triangulaatio Metodin sisäinen Metodien välinen Analyysimenetelmien triangulaatio ”monitriangulaatio” ja jaksottainen triangulaatio

17 Laadullisen tutkimuksen luotettavuus
Tietoteoreettinen validiteettitarkastelu. (Koro-Ljungberg, Mirka Kasvatus 36 (4), ) Ulkoiset lähtökohdat Perustuu yleistettäviin käsityksiin laadukkaasta tutkimuksesta Pohjautuu osittain kvantitatiiviseen tutkimukseen Ongelmana pohjautuminen ulkoisiin ja tutkijasta riippumattomiin keinoihin ja kriteereihin Menetelmälliset lähtökohdat Lähtökohtana, että tietyt tutkimusmenetelmät erottavat laadukkaan tutkimuksen vähemmän ansiokkaasta Sama ongelma kuin edellisessä + uskomus, että tietyt menetelmät tuottavat vain tietynlaista tietoa

18 Laadullisen tutkimuksen luotettavuus
Tietoteoreettinen validiteettitarkastelu. (Koro-Ljungberg, Mirka Kasvatus 36 (4), ) Tutkimuksen täsmällisyys 1) sisäisestä validiteetistä, joka kuvaa tutkimustulosten yhteyttä totuuskäsitykseen (internal validity), 2) ulkoisesta validiteetistä eli yleistettävyydestä (external validity, generalizability)ja 3) luotettavuudesta eli tulosten toistettavuudesta (reliability).

19 Laadullisen tutkimuksen luotettavuus
Tietoteoreettinen validiteettitarkastelu (Koro-Ljungberg, Mirka Kasvatus 36 (4), ) Tutkijakeskeiset lähtökohdat Korostavat tutkijan ja tutkimukseen osallistujien aktiivista roolia Eettisyys, moraalinen vastuullisuus ja demokraattisuus Luovuus, avoimuus ja tutkimuksen jatkuvuus Uusiutuminen Kriittinen itsereflektio (hallittu intersubjektiivisuus)

20 Laadullisen tutkimuksen luotettavuus
PUOLIMATKA, TAPIO KVALITATIIVISEN TUTKIMUKSEN LUOTETTAVUUS JA TOTUUSTEORIAT. Kasvatus 33 (5), 466–474. Laadullinen tutkimus menettää uskottavuuttaan joidenkin tutkijoiden keskuudessa jos se luopuu realistisesta totuusteoriasta (totuuden korrespondenssiteoria) Laadullisen tutkimuksen validiteetti kärsii, jos laadulliset tutkijat eivät usko yhteen pysyvään totuuden määritelmään tai uskovat, että Totuutta ei ole olemassa. Empiirisen tutkimuksen luotettavuus on perimmältään sen kykyä tarjota totuudenmukaista tietoa siitä todellisuuden osa-alueesta, johon tutkimuksessa etsitään vastausta. Perimmältään totuuskäsityksen pitäisi olla sama sekä kvantitatiivisessa että kvalitatiivisessa tutkimuksessa, vaikkakin luotettavuuden kriteerejä sovelletaan niissä osittain eri tavoin.

21 Laadullisen tutkimuksen luotettavuus
PERTTI TÖTTÖ: Pirullisen positivismin paluu, 2000 Jos laadullinen tutkimus luopuu realistisesta totuusteoriasta, seurauksena on käsitteelliseen sekaannus, joka hämärtää tutkimustavoitteet. Jos laadullisessa tutkimusotteessa kieli ei niinkään kuvaa todellisuutta kuin luo sitä, on vaikea ymmärtää, mikä oikeastaan on tutkimuskohteena oleva todellisuus. Laadullisen tutkimuksen tekijät joutuvat käytännössä paljolti toimimaan realistisen totuusteorian pohjalta, vaikka he lausunnoissaan vieroiksuisivatkin kuten Pertti Alasuutari. Laadullinen tutkimus tarvitsee luotettavuuden arvioinnin takia realistista totuuden korrespondenssiteoriaa

22 Laadullisen tutkimuksen luotettavuus
Luotettavuuden sijasta tulisi puhua laadullisen tutkimuksen validoinnista ja laadusta. Luotettavuus- ja pätevyys-puhe aina viittaa totuuden korrespondenssiteoriaan, joka ei pääsääntöisesti sovi laadullisen tutkimuksen ideaan. Laadullinen tutkimus voi tasokasta, käytännöllistä, dialogista, reflektiivistä, koherenttia suhteessa aikaisempaa tutkimukseen ja ajatuksia innoittavaa. Tasoton laadullinen tutkimus on päinvastaista eli epäkäytännöllistä, monologista, aikaisemman teorian yksioikoisesti ohittavaa ja hyvin vähän ajatuksia innoittavaa.

23 1. Principle of historical continuity
Analysis of the history of action: how has the action evolved historically? Emplotment: how logically and coherently does the narrative proceed? 2. Principle of reflexivity Subjective adequacy: what is the researcher’s relationship with his/her object of research like? Ontological and epistemological presumptions: what are the researcher’s presumptions of knowledge and reality? Transparency: how does the researcher describe his/her material and methods? 3. Principle of dialectics Dialogue: how has the researcher’s insight developed in dialogue with others? Polyphony: how does the report present different voices and interpretations? Authenticity: how authentic and genuine are the protagonists of the narrative? 4. Principle of workability Pragmatic quality: how well does the research succeed in creating workable practices? Criticality: what kind of discussion does the research provoke? Ethics: how are ethical problems dealt with? Empowerment: does the research make people believe in their own capabilities and possibilities to act and thereby encourage new practices and actions? 5. Principle of evocativeness Evocativeness: how well does the research narrative evoke mental images, memories or emotions related to the theme?