Meta-analyysit Jouko Miettunen, dosentti Psykiatrian klinikka

Esitys aiheesta: "Meta-analyysit Jouko Miettunen, dosentti Psykiatrian klinikka"— Esityksen transkriptio:

1 Meta-analyysit Jouko Miettunen, dosentti Psykiatrian klinikka
Oulun yliopisto

2 Katsaukset ja meta-analyysit
Katsaus Systemaattinen katsaus Meta-analyysi Yhdistetty eli “pooled” analyysi

3 Meta-analyysit Meta-analyysissa yhdistetään aiempien tutkimuksien tulokset, erityisesti kun aiemmat tulokset ovat ristiriitaisia kun vaikutuksen suuruus on epäselvä Useimmiten käytetään kokeellisten tutkimusten (esim. lääke tai terapia) arviointiin

4 Ensimmäinen meta-analyysi
Eysenck esitti vuonna 1952 että ei ole todisteita psykoterapian toimivuudesta, tämä johti kiivaaseen keskusteluun. Smith & Glass yhdistivät vuonna 1977 aiemmat 375 psykoterapian vaikutusta tutkineet artikkelit ja yhteenvetona oli että psykoterapia todellakin toimii. Smith & Glass. Meta-analysis of psychotherapy outcome studies. Am Psychol 1977; 32:

5 Artikkelien haku Systemaattinen artikkelien haku
Tutkimuskysymys? Inkluusio/eksluusio kriteerit otoskoko, diagnostiikka, … Artikkelin kieli? Kirjallisuustietokannat PubMed, PsycINFO, Web of Science, EMBASE CINAHL, ERIC, Cochrane, … Julkaistut ja julkaisemattomat tutkimukset? otetaan yhteyttä kirjoittajiin Kaksi arvioijaa arvioi kaikki artikkelit

6 Kokeellisten tutkimusten meta-analyysit
Ylivoimaisesti suurin osa meta-analyyseista on kokeellisista tutkimuksista Haku “meta-analysis” AND “trials” antoi Pubmedissa syyskuussa 2009 yli hakutulosta Kliiniset kokeet, interventiot, ym.

7 Kokeellisten tutkimusten meta-analyysit
Esimerkkejä Tamoxifen rintasyövän hoidossa Aspiriini sydän- ja verisuonitautien hoidossa Antibiootit lasten virtsatietulehdusten hoidossa Bartolucci. Yonsei Med J 2007;48:

8 Havainnollisten tutkimusten meta-analyysit
Meta-analyyseissa havainnollissa tutkimuksissa voidaan tutkia riskitekijöitä (esim. passiivisen tupakoinnin yhteyttä keuhkosyöpään), sairauden yleisyyttä, tms. Saha ym. (PLoS Medicine 2005; 2: e141) arvioivat skitsofrenian elinaikaiseksi prevalenssiksi % Polanczyk ym. (Am J Psychiatry 2007; 164: 942-8) arvioi ADHD:n prevalenssiksi 5.6 %

9 Polanczyk ym. Am J Psychiatry 2007; 164: 942-8

10 Omia havainnollisia meta-analyyseja
Sukupuolierot temperamenttipiirteissä Temperamenttipiirteiden väliset korrelaatiot Maiden väliset erot temperamenttipiirteissä Alkoholismin prevalenssi skitsofreniassa Kannabisdiagnoosien prevalenssi skitsofreniassa Sukupuolierot skitsotypaalisissa persoonallisuuspiirteissä Miettunen ym. Pers Individ Dif 2006; 41: ; Miettunen ym. Compr Psychiatry 2007; 48:161-9; Miettunen ym. Psychiatry Res 2008; 160: ; Miettunen & Jääskeläinen. Schizophr Bull (online); Koskinen ym. Acta Psychiatr Scand 2009; 120: 85-96; Koskinen ym. Schizophr Bull (online)

11 Tutkimusten yhdistäminen
Tärkeintä yhdistämisessä on vaikutuksen voimakkuus ja suunta (effect size), ei tilastollinen merkitsevyys Onko aiempien tutkimusten tulokset samankaltaisia vai ei? heterogeenisyys / homogeenisyys Meta-regressiolla voidaan tutkia mitkä tutkimusten ominaisuudet vaikuttavat siihen että aiemmat löydökset eroavat toisistaan

12 Meta-analyysien ongelmia
Alkuperäiset tutkimukset eroavat huomattavasti toisistaan (heterogeenisia), joten yhdistäminen ongelmallista, esim. eroja arviointimenetelmien käytössä Aineistot eri tavoin valikoituneet Tutkimukset eivät ilmoita kaikkia tietoja mitä haluttaisiin käyttää Meta-analyysin inkluusiokriteerit vaikuttavat tuloksiin Julkaisuharha (publication bias, file-drawer problem) Jos tutkimuksen tulokset eivät ole halutun mukaisia (esim. tilastollisesti merkitseviä), tulokset jätetään raportoimatta Osaratkaisu: kliinisten kokeiden rekisterit

13 Tilastomenetelmät meta-analyyseissä

14 Tutkimusten yhdistäminen
Tutkimuksissa esitetään tuloksia useilla eri tavoin Keskiarvoja, prosentteja, korrelaatioita, beta-lukuja, p-arvoja, … Ensin arvioitava vaikutus (effect) jokaisesta tutkimuksesta Effect size -lukuja standardoitu keskiarvojen ero (keskiarvojen ero jaettuna yhdistetyllä keskihajonnalla) Cohenin d, Hedgesin g, Glassin Δ Odds Ratio, Risk Ratio, prosenttiosuus Korrelaatiokerroin (Pearson r ym.) r, logOR ja d on mahdollistaa muuntaa vastaamaan toisiaan (Borenstein et al. 2009)

15 Tutkimusten yhdistäminen
Artikkelien painotus Fixed effects -metodi Oletetaan että effect size on sama kaikissa aineistoissa eli sallitaan tutkimusten sisäinen vaihtelu mutta ei niiden välistä vaihtelua Käytännössä painotus perustuu otoskokoon Käytännössä epätodennäköistä Random effects –metodi Oletetaan että effect size voi vaihdella tutkimusten välillä sallitaan tutkimusten sekä sisäinen että niiden välinen vaihtelu Painotus perustuu pääosin otoskokoon mutta ei niin vahvasti kuin fixed metodissa, painojen erot pienempiä Laatukriteereillä voidaan myös painottaa

16 Heterogeenisyys Cochranin Q tunnusluku Muunnos I2 = (Q-df)/Q*100%
Perustuu X2 testiin Riippuvainen artikkelien lukumäärästä Muunnos I2 = (Q-df)/Q*100% df = artikkelien lkm - 1 25% alhainen (low), 50% keskinkertainen (moderate) ja 75% korkea (high) heterogeenisyys Tulkinta: kuinka suuri osuus kokonaisvaihtelusta tutkimusten välillä ei riipu sattumasta Kun tutkimuksia vähän, molemmat menetelmät ovat tehottomia Cochran. Biometrics 1954;10:101-29; Higgins & Thompson. Stat Med 2002;21: ; Ioannidis et al. BMJ 2007;335:914-6.

17 Vaikutuksen suuruus Pieni (small) Kohtalainen (moderate) Suuri (large)
Erittäin suuri (very large) Cohenin d 0.2 0.5 0.8 1.3 Pearson r 0.1 0.3 0.7 Odds Ratio 1.5 2.5 4 10 Prosenttiero* 7 18 30 45 * Ryhmien ero psosenttiyksiköissä, kun prosentiosuudet välillä 15-85% Cohen. Psychol Bull 1992;112:155-9; Rosenthal. J Soc Serv Res 1996;21:37-59.

18 Meta-regressio Miten taustamuuttujat selittävät heterogeenisyyttä effect size –lukujen välillä Taustamuuttujat liittyvät tutkimukseen ei suoraan henkilöihin Jatkuvia tai luokiteltuja muuttujia Esimerkkejä Miesten osuus prosentteina Aineiston keski-ikä Aineiston maa Tutkimusmenetelmät (esim. mittarit) Tutkimuksen laatu Tutkimuksen keruuaika (tai julkaisuvuosi) Diagnoosiryhmät Seurannan kesto

19 Meta-regressio Tutkitaan onko vaikutusta kovariaatilla (z-testi) tai luokitellaan tutkimukset kovariaatin mukaan Ei adjustoida tulosta! Vaihtoehtona meta-regressiolle on tutkia suoraan kovariaatin vaikutusta effektiin, jolloin tutkimuskysymys on eri ja data on erilaisessa muodossa (eli tallennetaan efektit esim. sukupuolittain)

20 Muita tilastomenetelmiä
Diagnostisten testien ja seulojen meta-analyysi (Hasselblad & Hedges. Psychol Bull 1995;117:167-78) Bayesilainen meta-analyysi (Berry. Clin Trials 2009;6:28-41; Schmid. Eval Health Prof 2001;24:165-89) Faktorianalyysien meta-analyysi (Becker. Psychol Med 1996;1:341-53) Rakenneyhtälömallitusten meta-analyysi (Cheung & Chan. Psychol Meth 2005;10:40.64) Puuttuvan tiedon imputointi, esim. kliinisten kokeiden vaste (Higgins ym. Clin Trials 2008;5:225-39)

21 Tilasto-ohjelmat STATA SPSS
(Sterne ym. 2001) SPSS SAS Excel, MIX Metawin, RevMan, CMA

22 STATA -komentoja meta Meta-analysis of Effects
metan Meta-analysis of Binary and Continuous metap Meta-analysis of p-values metareg Meta-analysis Regression metacum Cumulative Meta-analysis funnel Metan-based Funnel Graph (original) funnel2 Funnel Graph (funnel, vars reordered) labbe Metan-based L'abbe Graph metannt Metan-based NNT metaninf Metan-based Influence Analysis metainf Meta-based Influence Analysis galbr Galbraith Plot for Heterogeneity metabias Publication Bias in Meta-analysis metatrim Trim and Fill Analysis

23 metan / meta meta estimate se_est , [other analysis options] [display options]

24 metan aggr_d nonaggr_d aggr_nd nonaggr_nd, or random xlab(1,1
metan aggr_d nonaggr_d aggr_nd nonaggr_nd, or random xlab(1,1.5,2,3,4,5,6,7,8) boxsca(.5) label(namevar=referen)

25 meta meta ns_es ns_se if dglk==4, graph(r) b2(effect size) id(referen) boxysca(0.2) boxshad(4) xlab(-2 (.2) 2) cline fmult(1.7) Meta-analysis | Pooled % CI Asymptotic No. of Method | Est Lower Upper z_value p_value studies Fixed | Random | Test for heterogeneity: Q= on 10 degrees of freedom (p= 0.512) Moment-based estimate of between studies variance =

26 Meta-regressio metareg cltj100 a_abuse a_dep firstepi, wsse (lt_cj_s2)
Iteration 1: tau^2 = 0 Iteration 2: tau^2 = Iteration 3: tau^2 = Iteration 4: tau^2 = Meta-analysis regression No of studies = 21 tau^2 method reml tau^2 estimate = Successive values of tau^2 differ by less than 10^-4 :convergence achieved | Coef. Std. Err z P>|z| [95% Conf. Interval] a_abuse | a_dep | firstepi | _cons |

27 STATA -komentoja metabias
Performs statistical test of asymmetry in funnel plot (“Begg graph”) or Galbraith plot (“Egger graph”). (Optionally) gives graphical display corresponding to either metainf Assesses the influence of a single study metatrim Performs the Duval & Tweedie “Trim and Fill” analysis.

28 Miten yhden tutkimuksen poisto vaikuttaa tulokseen?
metainf ns_es ns_se if dglk==3, random referen(study)

29 galbr ns_es ns_se if dglk==3, id(referen) yline(0)
For each trial, the z statistic theta/setheta is plotted against the reciprocal standard error 1/setheta. The (unweighted) regression line constrained through the origin, with its 95% confidence interval, has a slope equal to the overall log rate ratio, or log odds ratio, or log hazard ratio in a fixed effects meta-analysis. The position of each trial on the horizontal axis gives an indication of the weight allocated to it in a meta-analysis. The position on the vertical axis gives the contribution of each trial to the Q statistic for heterogeneity. In the absence of heterogeneity we could expect all the points to lie within the confidence bounds (positioned 2 units over and below the regression line).

30 Funnel Plot (Begg) . metabias ns_es ns_se if dglk==2 | dglk==4, graph(begg) Note: default data input format (theta, se_theta) assumed. if dglk == bipolar disorders | dglk == schizophrenia Tests for Publication Bias Begg's Test adj. Kendall's Score (P-Q) = Std. Dev. of Score = Number of Studies = z = Pr > |z| = z = (continuity corrected) Pr > |z| = (continuity corrected) Egger's test Std_Eff | Coef. Std. Err t P>|t| [95% Conf. Interval] slope | bias |

31 Funnel Plot (Begg)

32 metatrim es_ns se_ns, funnel print

33 Meta-analysis | Pooled % CI Asymptotic No. of Method | Est Lower Upper z_value p_value studies Fixed | Random | Filled Meta-analysis | Pooled % CI Asymptotic No. of Method | Est Lower Upper z_value p_value studies Fixed | Random |

34 Meta-analyysit - kirjallisuutta
4/3/2017 Meta-analyysit - kirjallisuutta Cook ym. Methodological guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation on meta-analysis. J Clin Epidemiol 1995, 48, Stroup ym. Meta-analysis of observational studies in epidemiology. A proposal for reporting. JAMA 2000, 283, Cochrane Database for Systematic Reviews ( kerää tietyin laatukriteerein tehdyt meta-analyysit Cochranessa oli 134 sch ja 168 dep/anxi meta-analyysia

35 Meta-analyysit - kirjallisuutta
Blettner ym. Traditional reviews, meta-analyses, and pooled analyses in epidemiology. Int J Epidemiology 1999; 28: 1-9. Egger ym. Systematic reviews in health care. 2. painos. Lontoo: BMJ Publishing Group, 2001. Sauerland & Seiler. Role of systematic reviews and meta-analysis in evidence-based medicine. W J Surgery 2005;29:582-7. Borenstein ym. Introduction to Meta-Analysis. Wiley, 2009.

36 Meta-analyysit - kirjallisuutta
Gerber ym. Bibliographic study showed improving methodology of meta-analyses published in leading journals J Clin Epidemiol 2007;60:773-80 Sutton ym. Methods for Meta-analysis in Medical Research. London: John Wiley, 2000. Sterne JAC (toim.). Meta-Analysis in Stata: An Updated Collection from the Stata Journal, 2009. Tämä esitys on netissä: