Meta-analyysit Jouko Miettunen, dosentti Psykiatrian klinikka Oulun yliopisto jouko.miettunen@oulu.fi

Katsaukset ja meta-analyysit Katsaus Systemaattinen katsaus Meta-analyysi Yhdistetty eli “pooled” analyysi

Meta-analyysit Meta-analyysissa yhdistetään aiempien tutkimuksien tulokset, erityisesti kun aiemmat tulokset ovat ristiriitaisia kun vaikutuksen suuruus on epäselvä Useimmiten käytetään kokeellisten tutkimusten (esim. lääke tai terapia) arviointiin

Ensimmäinen meta-analyysi Eysenck esitti vuonna 1952 että ei ole todisteita psykoterapian toimivuudesta, tämä johti kiivaaseen keskusteluun. Smith & Glass yhdistivät vuonna 1977 aiemmat 375 psykoterapian vaikutusta tutkineet artikkelit ja yhteenvetona oli että psykoterapia todellakin toimii. Smith & Glass. Meta-analysis of psychotherapy outcome studies. Am Psychol 1977; 32: 752-60.

Artikkelien haku Systemaattinen artikkelien haku Tutkimuskysymys? Inkluusio/eksluusio kriteerit otoskoko, diagnostiikka, … Artikkelin kieli? Kirjallisuustietokannat PubMed, PsycINFO, Web of Science, EMBASE CINAHL, ERIC, Cochrane, … Julkaistut ja julkaisemattomat tutkimukset? otetaan yhteyttä kirjoittajiin Kaksi arvioijaa arvioi kaikki artikkelit

Kokeellisten tutkimusten meta-analyysit Ylivoimaisesti suurin osa meta-analyyseista on kokeellisista tutkimuksista Haku “meta-analysis” AND “trials” antoi Pubmedissa syyskuussa 2009 yli 18000 hakutulosta Kliiniset kokeet, interventiot, ym.

Kokeellisten tutkimusten meta-analyysit Esimerkkejä Tamoxifen rintasyövän hoidossa Aspiriini sydän- ja verisuonitautien hoidossa Antibiootit lasten virtsatietulehdusten hoidossa Bartolucci. Yonsei Med J 2007;48:157-63.

Havainnollisten tutkimusten meta-analyysit Meta-analyyseissa havainnollissa tutkimuksissa voidaan tutkia riskitekijöitä (esim. passiivisen tupakoinnin yhteyttä keuhkosyöpään), sairauden yleisyyttä, tms. Saha ym. (PLoS Medicine 2005; 2: e141) arvioivat skitsofrenian elinaikaiseksi prevalenssiksi 0.4-0.7% Polanczyk ym. (Am J Psychiatry 2007; 164: 942-8) arvioi ADHD:n prevalenssiksi 5.6 %

Polanczyk ym. Am J Psychiatry 2007; 164: 942-8

Omia havainnollisia meta-analyyseja Sukupuolierot temperamenttipiirteissä Temperamenttipiirteiden väliset korrelaatiot Maiden väliset erot temperamenttipiirteissä Alkoholismin prevalenssi skitsofreniassa Kannabisdiagnoosien prevalenssi skitsofreniassa Sukupuolierot skitsotypaalisissa persoonallisuuspiirteissä Miettunen ym. Pers Individ Dif 2006; 41:1515-26; Miettunen ym. Compr Psychiatry 2007; 48:161-9; Miettunen ym. Psychiatry Res 2008; 160: 106-14; Miettunen & Jääskeläinen. Schizophr Bull (online); Koskinen ym. Acta Psychiatr Scand 2009; 120: 85-96; Koskinen ym. Schizophr Bull (online)

Tutkimusten yhdistäminen Tärkeintä yhdistämisessä on vaikutuksen voimakkuus ja suunta (effect size), ei tilastollinen merkitsevyys Onko aiempien tutkimusten tulokset samankaltaisia vai ei? heterogeenisyys / homogeenisyys Meta-regressiolla voidaan tutkia mitkä tutkimusten ominaisuudet vaikuttavat siihen että aiemmat löydökset eroavat toisistaan

Meta-analyysien ongelmia Alkuperäiset tutkimukset eroavat huomattavasti toisistaan (heterogeenisia), joten yhdistäminen ongelmallista, esim. eroja arviointimenetelmien käytössä Aineistot eri tavoin valikoituneet Tutkimukset eivät ilmoita kaikkia tietoja mitä haluttaisiin käyttää Meta-analyysin inkluusiokriteerit vaikuttavat tuloksiin Julkaisuharha (publication bias, file-drawer problem) Jos tutkimuksen tulokset eivät ole halutun mukaisia (esim. tilastollisesti merkitseviä), tulokset jätetään raportoimatta Osaratkaisu: kliinisten kokeiden rekisterit

Tilastomenetelmät meta-analyyseissä

Tutkimusten yhdistäminen Tutkimuksissa esitetään tuloksia useilla eri tavoin Keskiarvoja, prosentteja, korrelaatioita, beta-lukuja, p-arvoja, … Ensin arvioitava vaikutus (effect) jokaisesta tutkimuksesta Effect size -lukuja standardoitu keskiarvojen ero (keskiarvojen ero jaettuna yhdistetyllä keskihajonnalla) Cohenin d, Hedgesin g, Glassin Δ Odds Ratio, Risk Ratio, prosenttiosuus Korrelaatiokerroin (Pearson r ym.) r, logOR ja d on mahdollistaa muuntaa vastaamaan toisiaan (Borenstein et al. 2009)

Tutkimusten yhdistäminen Artikkelien painotus Fixed effects -metodi Oletetaan että effect size on sama kaikissa aineistoissa eli sallitaan tutkimusten sisäinen vaihtelu mutta ei niiden välistä vaihtelua Käytännössä painotus perustuu otoskokoon Käytännössä epätodennäköistä Random effects –metodi Oletetaan että effect size voi vaihdella tutkimusten välillä sallitaan tutkimusten sekä sisäinen että niiden välinen vaihtelu Painotus perustuu pääosin otoskokoon mutta ei niin vahvasti kuin fixed metodissa, painojen erot pienempiä Laatukriteereillä voidaan myös painottaa

Heterogeenisyys Cochranin Q tunnusluku Muunnos I2 = (Q-df)/Q*100% Perustuu X2 testiin Riippuvainen artikkelien lukumäärästä Muunnos I2 = (Q-df)/Q*100% df = artikkelien lkm - 1 25% alhainen (low), 50% keskinkertainen (moderate) ja 75% korkea (high) heterogeenisyys Tulkinta: kuinka suuri osuus kokonaisvaihtelusta tutkimusten välillä ei riipu sattumasta Kun tutkimuksia vähän, molemmat menetelmät ovat tehottomia Cochran. Biometrics 1954;10:101-29; Higgins & Thompson. Stat Med 2002;21:1539-58; Ioannidis et al. BMJ 2007;335:914-6.

Vaikutuksen suuruus Pieni (small) Kohtalainen (moderate) Suuri (large) Erittäin suuri (very large) Cohenin d 0.2 0.5 0.8 1.3 Pearson r 0.1 0.3 0.7 Odds Ratio 1.5 2.5 4 10 Prosenttiero* 7 18 30 45 * Ryhmien ero psosenttiyksiköissä, kun prosentiosuudet välillä 15-85% Cohen. Psychol Bull 1992;112:155-9; Rosenthal. J Soc Serv Res 1996;21:37-59.

Meta-regressio Miten taustamuuttujat selittävät heterogeenisyyttä effect size –lukujen välillä Taustamuuttujat liittyvät tutkimukseen ei suoraan henkilöihin Jatkuvia tai luokiteltuja muuttujia Esimerkkejä Miesten osuus prosentteina Aineiston keski-ikä Aineiston maa Tutkimusmenetelmät (esim. mittarit) Tutkimuksen laatu Tutkimuksen keruuaika (tai julkaisuvuosi) Diagnoosiryhmät Seurannan kesto

Meta-regressio Tutkitaan onko vaikutusta kovariaatilla (z-testi) tai luokitellaan tutkimukset kovariaatin mukaan Ei adjustoida tulosta! Vaihtoehtona meta-regressiolle on tutkia suoraan kovariaatin vaikutusta effektiin, jolloin tutkimuskysymys on eri ja data on erilaisessa muodossa (eli tallennetaan efektit esim. sukupuolittain)

Muita tilastomenetelmiä Diagnostisten testien ja seulojen meta-analyysi (Hasselblad & Hedges. Psychol Bull 1995;117:167-78) Bayesilainen meta-analyysi (Berry. Clin Trials 2009;6:28-41; Schmid. Eval Health Prof 2001;24:165-89) Faktorianalyysien meta-analyysi (Becker. Psychol Med 1996;1:341-53) Rakenneyhtälömallitusten meta-analyysi (Cheung & Chan. Psychol Meth 2005;10:40.64) Puuttuvan tiedon imputointi, esim. kliinisten kokeiden vaste (Higgins ym. Clin Trials 2008;5:225-39)

Tilasto-ohjelmat STATA SPSS http://www.blackwellpublishing.com/medicine/bmj/systreviews/pdfs/chapter18.pdf (Sterne ym. 2001) SPSS http://www.spsstools.net/Syntax/MetaAnalysis/ http://mason.gmu.edu/~dwilsonb/ma.html SAS Excel, MIX http://mix-for-meta-analysis.info Metawin, RevMan, CMA http://www.meta-analysis.com/pages/comparisons.html

STATA -komentoja meta Meta-analysis of Effects metan Meta-analysis of Binary and Continuous metap Meta-analysis of p-values metareg Meta-analysis Regression metacum Cumulative Meta-analysis funnel Metan-based Funnel Graph (original) funnel2 Funnel Graph (funnel, vars reordered) labbe Metan-based L'abbe Graph metannt Metan-based NNT metaninf Metan-based Influence Analysis metainf Meta-based Influence Analysis galbr Galbraith Plot for Heterogeneity metabias Publication Bias in Meta-analysis metatrim Trim and Fill Analysis

metan / meta meta estimate se_est , [other analysis options] [display options] www.systematicreviews.com www.medepi.net/meta/software/Bradburn_metan_updates.pdf

metan aggr_d nonaggr_d aggr_nd nonaggr_nd, or random xlab(1,1 metan aggr_d nonaggr_d aggr_nd nonaggr_nd, or random xlab(1,1.5,2,3,4,5,6,7,8) boxsca(.5) label(namevar=referen)

meta meta ns_es ns_se if dglk==4, graph(r) b2(effect size) id(referen) boxysca(0.2) boxshad(4) xlab(-2 (.2) 2) cline fmult(1.7) Meta-analysis | Pooled 95% CI Asymptotic No. of Method | Est Lower Upper z_value p_value studies -------+---------------------------------------------------- Fixed | -0.211 -0.461 0.039 -1.656 0.098 11 Random | -0.211 -0.461 0.039 -1.656 0.098 Test for heterogeneity: Q= 9.216 on 10 degrees of freedom (p= 0.512) Moment-based estimate of between studies variance = 0.000

Meta-regressio metareg cltj100 a_abuse a_dep firstepi, wsse (lt_cj_s2) Iteration 1: tau^2 = 0 Iteration 2: tau^2 = 95.006306 Iteration 3: tau^2 = 220.32289 Iteration 4: tau^2 = 220.22458 Meta-analysis regression No of studies = 21 tau^2 method reml tau^2 estimate = 220.2 Successive values of tau^2 differ by less than 10^-4 :convergence achieved ------------------------------------------------------------------------------ | Coef. Std. Err. z P>|z| [95% Conf. Interval] -------------+---------------------------------------------------------------- a_abuse | .808918 11.16735 0.07 0.942 -21.07869 22.69652 a_dep | -1.906259 9.368306 -0.20 0.839 -20.2678 16.45528 firstepi | 23.92398 6.576667 3.64 0.000 11.03395 36.81401 _cons | 16.11195 14.30928 1.13 0.260 -11.93372 44.15761

STATA -komentoja metabias Performs statistical test of asymmetry in funnel plot (“Begg graph”) or Galbraith plot (“Egger graph”). (Optionally) gives graphical display corresponding to either metainf Assesses the influence of a single study metatrim Performs the Duval & Tweedie “Trim and Fill” analysis.

Miten yhden tutkimuksen poisto vaikuttaa tulokseen? metainf ns_es ns_se if dglk==3, random referen(study)

galbr ns_es ns_se if dglk==3, id(referen) yline(0) For each trial, the z statistic theta/setheta is plotted against the reciprocal standard error 1/setheta. The (unweighted) regression line constrained through the origin, with its 95% confidence interval, has a slope equal to the overall log rate ratio, or log odds ratio, or log hazard ratio in a fixed effects meta-analysis. The position of each trial on the horizontal axis gives an indication of the weight allocated to it in a meta-analysis. The position on the vertical axis gives the contribution of each trial to the Q statistic for heterogeneity. In the absence of heterogeneity we could expect all the points to lie within the confidence bounds (positioned 2 units over and below the regression line).

Funnel Plot (Begg) . metabias ns_es ns_se if dglk==2 | dglk==4, graph(begg) Note: default data input format (theta, se_theta) assumed. if dglk == bipolar disorders | dglk == schizophrenia Tests for Publication Bias Begg's Test adj. Kendall's Score (P-Q) = 15 Std. Dev. of Score = 28.58 Number of Studies = 19 z = 0.52 Pr > |z| = 0.600 z = 0.49 (continuity corrected) Pr > |z| = 0.624 (continuity corrected) Egger's test ------------------------------------------------------------------------------ Std_Eff | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------------+---------------------------------------------------------------- slope | -.3422245 .3470654 -0.99 0.338 -1.074469 .3900195 bias | .6468728 .8071384 0.80 0.434 -1.05604 2.349786

Funnel Plot (Begg)

metatrim es_ns se_ns, funnel print

Meta-analysis | Pooled 95% CI Asymptotic No. of Method | Est Lower Upper z_value p_value studies -------+---------------------------------------------------- Fixed | -0.040 -0.112 0.033 -1.069 0.285 32 Random | -0.040 -0.112 0.033 -1.069 0.285 Filled Meta-analysis | Pooled 95% CI Asymptotic No. of Method | Est Lower Upper z_value p_value studies -------+---------------------------------------------------- Fixed | -0.098 -0.163 -0.033 -2.959 0.003 42 Random | -0.098 -0.163 -0.033 -2.959 0.003

Meta-analyysit - kirjallisuutta 4/3/2017 Meta-analyysit - kirjallisuutta Cook ym. Methodological guidelines for systematic reviews of randomized control trials in health care from the Potsdam consultation on meta-analysis. J Clin Epidemiol 1995, 48, 167-71. Stroup ym. Meta-analysis of observational studies in epidemiology. A proposal for reporting. JAMA 2000, 283, 2008-12. Cochrane Database for Systematic Reviews (www.cochrane.org) kerää tietyin laatukriteerein tehdyt meta-analyysit Cochranessa oli 134 sch ja 168 dep/anxi meta-analyysia

Meta-analyysit - kirjallisuutta Blettner ym. Traditional reviews, meta-analyses, and pooled analyses in epidemiology. Int J Epidemiology 1999; 28: 1-9. Egger ym. Systematic reviews in health care. 2. painos. Lontoo: BMJ Publishing Group, 2001. Sauerland & Seiler. Role of systematic reviews and meta-analysis in evidence-based medicine. W J Surgery 2005;29:582-7. Borenstein ym. Introduction to Meta-Analysis. Wiley, 2009.

Meta-analyysit - kirjallisuutta Gerber ym. Bibliographic study showed improving methodology of meta-analyses published in leading journals 1993-2002. J Clin Epidemiol 2007;60:773-80 Sutton ym. Methods for Meta-analysis in Medical Research. London: John Wiley, 2000. Sterne JAC (toim.). Meta-Analysis in Stata: An Updated Collection from the Stata Journal, 2009. Tämä esitys on netissä: www.joukomiettunen.net/presentations