Meta-analyysit Jouko Miettunen, dosentti Psykiatrian klinikka Oulun yliopisto jouko.miettunen@oulu.fi Oulu 4.6.2012

Esityksen sisältö Tausta Tiedonhaku Raportointi Kritiikkiä 4/7/2017 Esityksen sisältö Tausta Tiedonhaku Raportointi Kritiikkiä Tilastomenetelmät Kirjallisuutta Ei vielä esimerkkejä…

TAUSTA

Katsaukset ja meta-analyysit Katsaus Systemaattinen katsaus Meta-analyysi Yhdistetty eli “pooled” analyysi

Katsaukset ja meta-analyysit 4/7/2017 Katsaukset ja meta-analyysit Noin puolet syst katsauksista metoja (54% medlinessa v 2004), syst katsauksia noin 2500 vuodessa…

Tutkimusasetelmien laatu ja todistusarvo 4/7/2017 Tutkimusasetelmien laatu ja todistusarvo Viite, vaihda kuva… Lähde: Evidence-Based Nursing

Systemaattinen katsaus Etukäteen selkeästi määritelty tutkimuskysymys, haetaan kaikki aiheeseen liittyvä kriteerit täyttävä tutkimus Toistettavat metodit Systemaattinen haku, jolla todennäköisesti löydettävissä kaikki kriteerit täyttävät tutkimukset Arvioitava katsauksen luotettavuus, mahdolliset harhat Systemaattinen tulosten esitys Systemaattinen synteesi kriteerit täyttävien tutkimusten ominaisuuksista ja löydöksistä Voidaan aloittaa systemaattisena katsauksena, päättää myöhemmin tehdäänkö meta-analyysi

Meta-analyysit Alkuperäistutkimuksia ilmestyy jatkuvasti lisää (vuodessa noin 2 miljoonaa lääketieteen artikkelia)  mahdoton pysyä ajan tasalla, on tarve synteeseille Meta-analyysissa yhdistetään aiempien tutkimuksien tulokset Useimmiten käytetään kokeellisten tutkimusten (esim. lääke tai terapia) arviointiin

Ensimmäiset meta-analyysit Ensimmäiset tilastomenetelmät kehitti Pearson (1904) Davis (1975) tutki psykoolilääkkeitä relapsin estäjinä Eysenck esitti vuonna 1952 että ei ole todisteita psykoterapian toimivuudesta, tämä johti kiivaaseen keskusteluun  Smith & Glass yhdistivät vuonna 1977 aiemmat 375 psykoterapian vaikutusta tutkineet artikkelit ja yhteenvetona oli että psykoterapia todellakin toimii. Pearson K (1904). Report on certain enteric fever inoculation statistics. British Medical Journal 3:1243-1246. Smith & Glass. Meta-analysis of psychotherapy outcome studies. Am Psychol 1977; 32: 752-60. Davis. Overview: Maintenance therapy in psychiatry. I. Schizophrenia. Am J Psychiatry 1975; 132:1237-45

Kokeellisten tutkimusten meta-analyysit Ylivoimaisesti suurin osa meta-analyyseista on kokeellisista tutkimuksista Kliiniset lääkekokeet, interventiot, ym. Haku “meta-analysis” AND “trials” antoi Pubmedissa syyskuussa 2009 yli 18000 ja toukokuussa 2012 jo yli 22000 hakutulosta Usein hoitosuositusten taustalla Esim. Cochrane meta-analyysit sovituin laatukriteerein suunnitellut ja toteutetut meta-analyysit

www.cochrane.org

Kokeellisten tutkimusten meta-analyysit Esimerkkejä Tamoxifen rintasyövän hoidossa Aspiriini sydän- ja verisuonitautien hoidossa Antibiootit lasten virtsatietulehdusten hoidossa Bartolucci. Yonsei Med J 2007;48:157-63.

Havaintotutkimusten meta-analyysit Meta-analyyseissa havaintotutkimuksissa voidaan tutkia riskitekijöitä (esim. passiivisen tupakoinnin yhteyttä keuhkosyöpään), sairauden yleisyyttä, tms. Saha ym. (PLoS Medicine 2005; 2: e141) arvioivat skitsofrenian elinaikaiseksi prevalenssiksi 0.4-0.7% Polanczyk ym. (Am J Psychiatry 2007; 164: 942-8) arvioi ADHD:n prevalenssiksi 5.6 %

Polanczyk ym. Am J Psychiatry 2007; 164: 942-8

Havaintotutkimusten meta-analyyseja Sukupuolierot temperamenttipiirteissä Temperamenttipiirteiden väliset korrelaatiot Maiden väliset erot temperamenttipiirteissä Psykiatristen sairauksien yhteys temperamenttiin Alkoholismin prevalenssi skitsofreniassa Kannabisdiagnoosien prevalenssi skitsofreniassa Sukupuolierot skitsotypaalisissa persoonallisuuspiirteissä Miettunen ym. Pers Individ Dif 2006; 41:1515-26; Miettunen ym. Compr Psychiatry 2007; 48:161-9; Miettunen ym. Psychiatry Res 2008; 160:106-14; Miettunen & Jääskeläinen. Schizophr Bull 2010; 36:347-58; Koskinen ym. Acta Psychiatr Scand 2009; 120:85-96; Koskinen ym. Schizophr Bull 2010; 36:1115-30; Miettunen & Raevuori 2012; 53:152-66.

TIEDONHAKU

Tutkimuskysymys? Epäselvä yhteys tai vaikutus ? Vaikutuksen suuruus epäselvä ? Alkuperäisten tutkimusten voima ei riitä ? Tutkimusten heterogeenisyys ja siihen vaikuttavat tekijät ? Selkeä ja rajattu kysymys tai kysymyksiä

Tutkimuskysymys? Inkluusio/eksluusio kriteerit PICO(TS) Population (participants) Intervention Comparator (controls/placebo) Outcome Time (duration) Study design (experimental / observational, N) Inkluusio/eksluusio kriteerit otoskoko, diagnostiikka, trial… mieluummin laajasti kuin suppeasti helpompi myöhemmin rajata

Systemaattinen haku Useita tietokantoja Julkaisemattomat tutkimukset tuplien poisto Julkaisemattomat tutkimukset kliinisten kokeiden tietokannat konferenssiabstraktit otetaan yhteyttä kirjoittajiin Manuaalinen haku lähdeluettelot kirjat

Systemaattinen haku Hakusanojen valinta Resurssien mukaan ? 4/7/2017 Systemaattinen haku Hakusanojen valinta synonyymeja, mahdollisuus käyttää logistisía operaattoreita esim. ((schizophrenia OR psychosis) AND (cognition OR brain)) NOT (trial OR intervention) … Resurssien mukaan ? Aikakriteerit? Kieli ? Hakurajaus otsikko/abstrakti Hakukriteerit, tietokannat ja haun päivämäärä ilmoitettava haku kannattaa päivittää tarvittaessa Lue liberati ref 71-73

4/7/2017 Check…. –tw title/abstract…. pt publication type ….

TIETOKANTOJEN VALINTA ? Löhönen ym. Int J Circumpolar Health 2009; 68: 394-404

Löhönen ym. Int J Circumpolar Health 2009; 68: 394-404

Artikkelien arviointi Otsikko Abstrakti Artikkeliteksti Kaksi arvioijaa arvioi kaikki artikkelit Inkluusioon liittyen Tulosten poimintaan liittyen Vaikeissa aiheissa arvioijien reliabiliteetti arvioitava Resurssit ?

RAPORTOINTI

Hyvä raportointi auttaa arvioimaan ko. tutkimusta läpinäkyvyys, toistettavuus Kliiniset kokeet laadukkaampia (tiukemmat säännöt) Cochrane Risk of Bias –tool (Higgins & Altman, www.cochrane-handbook.org) Miksi tehdään Peruste ? Onko aiemmin tehty ? Erot aiempiin ?

Ohjeita raportointiin Moher et al. 2009, Liberati et al. 2009 (PRISMA) Kliinisille kokeille, voi joutua muokkaamaan havaintotutkimuksiin Stroup et al. 2000 (MOOSE) havaintotutkimukset Shea et al. 2007 (AMSTAR) työkalu laadun arviointiin

Moher et al. 2009, Liberati et al. 2009 PRISMA checklist Moher et al. 2009, Liberati et al. 2009

Moher et al. 2009, Liberati et al. 2009

Moher et al. 2009, Liberati et al. 2009

Vaiheet Haku Arviointi Harhan lähteet Data Laadullinen synteesi Meta-analyysi

HAKU / ARVIOINTI Haun antamien tutkimusten lukumäärä Artikkelien arvioinnin jälkeinen kriteerit täyttävien tutkimusten lukumäärä Osin päällekkäisiä aineistoja jne. Voi tarkistaa projektin nimen, kirjoittajat, maa, otoskoko, muuttujat, jne. Poisjätettyjä tutkimuksia voi raportoida (taulukko, syy poisjättöön) Vuokaavio

LAADUN ARVIOINTILOMAKE Jääskeläinen ym. Käsikirjoitus.

KERÄTYT MUUTTUJAT Tiedonkeruun lomake, muuttujaluettelo Jääskeläinen ym. Käsikirjoitus.

KIRJALLISUUSTAULUKKO systemaattisen haun tulokset oleelliset muuttujat Miettunen & Jääskeläinen ym. Schizophr Bull 2010; 36:347-58

HARHAN LÄHTEET Heikkoudet / limitations Alkuperäiset jutut Laatu Tutkimusten yhdistäminen ja katsaus Haku Julkaisuharha (funnel plot) Sensitiivisyysanalyysit ja alaryhmäanalyysit Voidaan arvioida saadun tuloksen vahvuus (GRADE, Guyatt 2008) ”meta-review” Guyatt, et al. (2008) GRADE: An emerging consensus on rating quality of evidence and strength of recommendations. BMJ 336: 924–926.

HARHAN LÄHTEET Julkaisuharhaa arvioidaan funnel plotilla Oletetaan että tarkimmat (suurimmat) tutkimukset saavat keskimääräisiä tuloksia, pienemmät tutkimukset keskiarvon molemmille puolille ”Trim and fill”, ”Fail-safe” N Rosenberg. Evolution 2005;59: 464-8

Funnel Plot Corpet & Pierre Eur J Cancer 2005 (http://corpet.free.fr/MAaspirin.html)

Korjausmenetelmä julkaisuharhan tilanteessa Trim and Fill Korjausmenetelmä julkaisuharhan tilanteessa

TULOKSET Yhdistetty vaikutus (95% luottamusväli) Forest plot Kliiniset kokeet Suhteellisen vs. absoluuttisen riskin väheneminen (Leucht ym 2009)

JOHTOPÄÄTÖKSET Ei liian optimistinen Kriittinen Pohditaan kriteerien takia poisjätettyjen juttujen merkitystä

KRITIIKKIÄ

Heterogeenisyys Alkuperäiset tutkimukset eroavat huomattavasti toisistaan (heterogeenisia), joten yhdistäminen ongelmallista, esim. Eroja arviointimenetelmien käytössä Aineistot eri tavoin valikoituneet Tulokset vakioimattomia tai eri tavoin vakioituja Tieto vakioinnista esitettävä esim. kirjallisuustaulukossa Metaregressio, mediaani vaikutuksista , … Alaryhmien tulokset

Hankalasti avautuvat menetelmät Meta-analyysin tekijöiden valinnat? Inkluusio, eksluusio, risk/outcome Vaikka menetelmät ja tulokset hyvin tehty  kirjoittajien tulkinnat voi erota Tutkimukset eivät ilmoita kaikkia tietoja mitä haluttaisiin käyttää Saatujen pienten riskiestimaattien epävarmuus ?

JULKAISUHARHA Julkaisuharha (publication bias, file-drawer problem) Jos tutkimuksen tulokset eivät ole halutun mukaisia (esim. tilastollisesti merkitseviä), tulokset jätetään raportoimatta Osaratkaisuja: julkaisemattoman tutkimuksen hakeminen, kliinisten kokeiden rekisterit Joko koko juttu jätetään tekemättä tai osa tuloksista julkaisematta (outcome reporting bias) Kieli voi vaikuttaa, jos positiivinen tulos niin julkaistaan englanniksi helpommin, muuten omalla kielellä Luoto R. Julkaisuharha – Lääketieteellisen tiedon akilleenkantapää. Duodecim 2012; 128: 489-96.

TILASTOMENETELMÄT

Tutkimusten yhdistäminen Tärkeintä yhdistämisessä on vaikutuksen voimakkuus ja suunta (effect size), ei tilastollinen merkitsevyys Onko aiempien tutkimusten tulokset samankaltaisia vai ei? heterogeenisyys / homogeenisyys Tuloksen (outcomen) valinta jos päällekkäisiä tutkimuksia? Otoskoko, seuranta, tulosten keskiarvo ?

Tutkimusten yhdistäminen 4/7/2017 Tutkimusten yhdistäminen Arvioitava vaikutus (effect) jokaisesta tutkimuksesta Effect size –lukuja (luokitellut/jatkuvat muuttujat) Odds Ratio, Relative Risk, ero prosenttiosuuksissa (absolute risk difference) Korrelaatiokerroin (Pearson r ym.) standardoitu keskiarvojen ero Vakioitu vai vakioimaton effekti ? Joskus vain todetaan että tutkittiin, mutta että ei ollut merkitsevä (N.S.) ? Yksi mahdollisuus asettaa efektiksi nollaksi NNT = 1 / absolute risk difference, kts PRISMA 24 Kelley K & Preacher KJ. On Effect Size. Psychological Methods; 2012. Advance online publication

Cohenin d Standardoitu keskiarvojen ero 4/7/2017 Cohenin d Standardoitu keskiarvojen ero (ryhmä A keskiarvo – ryhmän B keskiarvo) / aineiston keskihajonta s Muita vastaavia: Hedgesin g, Glassin Δ Glassissa s on vain toisen ryhmän keskihajonta (s2), hedgesissä s:n kaavan alla lisäksi -2 (sopii pienille otoksille)

Eri effektilukuja voi muuntaa vastaamaan toisiaan Rosenthal & Rubin. Psychological Bulletin 1986;99: 400-6. Borenstein ym. Introduction to Meta-Analysis. Wiley, 2009.

Vaikutuksen suuruus Pieni (small) Kohtalainen (moderate) Suuri (large) Erittäin suuri (very large) Cohenin d 0.2 0.5 0.8 1.3 Pearson r 0.1 0.3 0.7 Odds Ratio 1.5 2.5 4 10 Prosenttiero* 7 18 30 45 * Ryhmien ero psosenttiyksiköissä, kun prosentiosuudet välillä 15-85% Cohen. Psychol Bull 1992;112:155-9; Rosenthal. J Soc Serv Res 1996;21:37-59.

Tutkimusten painottaminen Fixed effects -metodi Oletetaan että effect size on sama kaikissa aineistoissa eli sallitaan tutkimusten sisäinen vaihtelu mutta ei niiden välistä vaihtelua Käytännössä painotus perustuu otoskokoon Muissa kuin kliinisissä kokeissa käytännössä epätodennäköistä

Tutkimusten painottaminen 4/7/2017 Tutkimusten painottaminen Random effects –metodi Oletetaan että effect size voi vaihdella tutkimusten välillä sallitaan tutkimusten sekä sisäinen että niiden välinen vaihtelu Painotus perustuu osin otoskokoon mutta jos heterogeeniset tulokset, painojen erot pienempiä Jos heterogeenisyys alhainen fixed effect ≈ random effect subjektiivisia menetelmiä ? Laatukriteereillä painottaminen Bayesiläinen meta-analyysi Oma slide laatukriteereistä

Heterogeenisyys Cochranin Q tunnusluku Muunnos I2 = (Q-df)/Q*100% Perustuu X2 testiin Riippuvainen tutkimusten lukumäärästä Muunnos I2 = (Q-df)/Q*100% df = tutkimusten lkm - 1 25% alhainen (low), 50% keskinkertainen (moderate) ja 75% korkea (high) heterogeenisyys Tulkinta: kuinka suuri osuus kokonaisvaihtelusta tutkimusten välillä ei riipu sattumasta Kun tutkimuksia vähän, molemmat menetelmät ovat tehottomia Cochran. Biometrics 1954;10:101-29; Higgins & Thompson. Stat Med 2002;21:1539-58; Ioannidis et al. BMJ 2007;335:914-6.

Meta-regressio Miten taustamuuttujat selittävät heterogeenisyyttä effect size –lukujen välillä Taustamuuttujat liittyvät tutkimukseen ei suoraan henkilöihin Jatkuvia tai luokiteltuja muuttujia Esimerkkejä Miesten osuus prosentteina Aineiston keski-ikä Aineiston maa Tutkimusmenetelmät (esim. mittarit) Tutkimuksen laatu Tutkimuksen keruuaika (tai julkaisuvuosi) Diagnoosiryhmät Seurannan kesto

Meta-regressio Tilastollinen testi taustatekijän vaikutuksesta heterogeenisyyteen (t-tai z-testi) Ei adjustoi tulosta Vaihtoehtona meta-regressiolle on tutkia suoraan kovariaatin vaikutusta effektiin, jolloin tutkimuskysymys on eri ja data on erilaisessa muodossa (eli tallennetaan efektit esim. sukupuolittain)

Acta Psychiatr Scand 2009; 120: 85-96.

”network meta-analyysi” Tutkitaan kysymystä mitä ei ole alkuperäisissä tutkimuksissa suoraan tehty Esim. yhdistetään tutkimukset joissa eri lääkkeitä verrattu lumelääkkeeseen niin että verrataankin lääkkeitä keskenään

Miettunen & Raevuori. Compr Psychiatry 2012 Meta-analyysi temperamenttipiirteistä tapaus-verrokki tutkimuksista psykiatrisissa sairauksissa 4/7/2017 Tci dg meta esim In HA, individuals with eating disorders (anorexia nervosa d= 0.63, bulimia nervosa d = 0.55) and alcohol use disorder (d = 0.29) had significantly lower scores compared with all other disorders (d’s between 0.71 and 2.66) except for bipolar disorder and for each others. Miettunen & Raevuori. Compr Psychiatry 2012

Tilasto-ohjelmat STATA SPSS http://www.blackwellpublishing.com/medicine/bmj/systreviews/pdfs/chapter18.pdf (Sterne ym. 2001) SPSS http://www.spsstools.net/Syntax/MetaAnalysis/ http://mason.gmu.edu/~dwilsonb/ma.html SAS Excel, MIX http://mix-for-meta-analysis.info Comprehensive Meta-Analysis (CMA), Metawin, RevMan http://www.meta-analysis.com/pages/comparisons.html

Muita tilastomenetelmiä Diagnostisten testien ja seulojen meta-analyysi (Hasselblad & Hedges. Psychol Bull 1995;117:167-78) Bayesilainen meta-analyysi (Berry. Clin Trials 2009;6:28-41; Schmid. Eval Health Prof 2001;24:165-89; Sutton & Abrams. Stat Meth Med Res 2001; 10: 277–303; Warn et al. Stat Med 2002; 21: 1601-23. Faktorianalyysien meta-analyysi (Becker. Psychol Med 1996;1:341-53) Rakenneyhtälömallitusten meta-analyysi (Cheung & Chan. Psychol Meth 2005;10:40.64) Puuttuvan tiedon imputointi, esim. kliinisten kokeiden vaste (Higgins ym. Clin Trials 2008;5:225-39) jne.

4/7/2017 KIRJALLISUUTTA Päivitä kirjallisuus

Meta-analyysit - kirjallisuutta 4/7/2017 Meta-analyysit - kirjallisuutta Stroup ym. Meta-analysis of observational studies in epidemiology. A proposal for reporting. JAMA 2000; 283:2008-12. Shea ym. Development of AMSTAR: a measurement tool to assess the methodological quality of systematic reviews. BMC Medical Research Methodology 2007; 7:10 Moher ym. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. PLoS Med 2009;6:e1000097 Liberati ym. The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. PLoS Med 2009;6:e1000100 Cochranessa oli 134 sch ja 168 dep/anxi meta-analyysia

Meta-analyysit - kirjallisuutta 4/7/2017 Meta-analyysit - kirjallisuutta Guyatt GH, et al. (2008) GRADE: An emerging consensus on rating quality of evidence and strength of recommendations. BMJ 336: 924–926. Leucht S, et al. (2009). How to read and understand and use systematic reviews and meta-analyses. Acta Psychiatr Scand 119: 443–450 Jadad A, et al. (1996) Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials 17:1–12. Kelley K & Preacher KJ (2012) On effect size. Psychol Meth, in press. Cook ym. (1995) Methodological guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation on meta-analysis. J Clin Epidemiol 48: 167-71. Cochranessa oli 134 sch ja 168 dep/anxi meta-analyysia

Meta-analyysit - kirjallisuutta Blettner ym. Traditional reviews, meta-analyses, and pooled analyses in epidemiology. Int J Epidemiology 1999; 28: 1-9. Egger ym. Systematic reviews in health care. 2. painos. Lontoo: BMJ Publishing Group, 2001. Sauerland & Seiler. Role of systematic reviews and meta-analysis in evidence-based medicine. W J Surgery 2005;29:582-7. Borenstein ym. Introduction to Meta-Analysis. Wiley, 2009.

Meta-analyysit - kirjallisuutta Gerber ym. Bibliographic study showed improving methodology of meta-analyses published in leading journals 1993-2002. J Clin Epidemiol 2007;60:773-80 Sutton ym. Methods for Meta-analysis in Medical Research. London: John Wiley, 2000. Sterne JAC (toim.). Meta-Analysis in Stata: An Updated Collection from the Stata Journal, 2009. Glass GV ym. (toim.). Meta-analysis in Social Research. Beverly Hills, CA: Sage, 1981. Tämä esitys on netissä: www.joukomiettunen.net/presentations