EVIDENCE BASED SOFTWARE ENGINEERING – EBSE Ohjelmistotekniikan jatko-opintoseminaari, TTY Pori: Ohjelmistotekniikan tutkimusmenetelmät DI Jari Vainio 12.8.2009

EBSE:n taustaa Kirjallisuuslähteiden mukaan EBSE-tutkimusmenetelmää on kehitetty paljon mm. Norjalaisissa yliopistoissa. Lääketieteellisessä tutkimuksessa 1980- ja -90-lukujen vaihteessa ”tuli muotiin” (ja on edelleenkin yksi käytetyimmistä tutkimusmenetelmistä) näyttöön perustuva, Evidence Based Medicine (EBM). Em. tutkimusalueelta ”EB-ajattelu” levisi myös muille tutkimusaloille, mm. ohjelmistotutkimuksen piiriin.

EBSE:n taustaa Esityksen taustamateriaalina käytetty seminaarin kotisivuilla olevia julkaisuja aiheesta: Magne Jørgensen, Tore Dybå, Barbara Kitchenham: Teaching Evidence-Based Software Engineering to University Students, 11th IEEE International Software Metrics Symposium (METRICS 2005) David Budgen et al.: Investigating the Applicability of the Evidence-Based Paradigm to Software Engineering, WISER’06 May 20, 2006, Shanghai, China Barbara A. Kitchenham, Tore Dybå, Magne Jorgensen: Evidence-Based Software Engineering for Practitioners, Proceedings of the 26th International Conference on Software Engineering (ICSE’04) Magne Jorgensen, Tore Dybå, Barbara A. Kitchenham: Evidence-based Software Engineering, 11th IEEE International Software Metrics Symposium (METRICS 2005)

EBSE:n tarkoitus Kitchenham et al. muotoilevat sen näin: ”to provide the means by which current best evidence from research can be integrated with practical experience and human values in the decision making process regarding the development and maintenance of software.” Usein ohjelmistoprojektien laatua yritetään parantaa käyttämällä uusia tekniikoita ilman, että saadaan riittäviä todisteita niiden toimivuudesta ja tehokkuudesta. Eli EBSE:n tarkoitus on parantaa ohjelmistotuotannon päätöksentekoprosesseja, yhdistämällä tutkimustietoa ja käytännön kokemuksia.

EBSE:n viisi steppiä 1. Muodosta ongelman pohjalta kysymys, johon etsitään vastaus. 2. Etsi kirjallisuudesta paras saatavissa oleva todiste, joka vastaa kysymykseen. 3. Arvioi kriittisesti todisteen oikeellisuus, vaikutus ja käytettävyys. 4. Yhdistä arvioitu todiste käytännön tietoon ja olosuhteisiin, jotta voit tehdä päätöksen. 5. Evaluoi suorituskyky (performance) ja etsi uusia tapoja parantaa sitä.

Step 1: Ask an answerable question Kysymyksen muodostaminen on haasteellista. Ei liian laaja-/lavea-alueinen, johon saadaan myös lavea vastaus. Ei liian spesifinen, johon ei saada yhtään vastausta. SE:n puitteissa: Mikä kysymys on tärkein asiakkaallesi? Mikä kysymys on relevantti nykyisessä tilanteessasi? Mikä kysymys on kaikista tärkein oman yrityksen strategian kannalta? Mikä kysymys toistuu aina useimmin? Onnistuuko kysymykseen vastaaminen käytettävissä olevan ajan puitteissa?

Step 2: Find the best evidence Käytä luotettavia, oikeita tietokantoja ja –lähteitä. Esim. IEEE, ACM jne. Internetissä olevat tietokannat ovat ehdottomasti paras tie. Hae oikeilla hakusanoilla. Todiste voi olla raportti, artikkeli tai muu tieteellinen julkaisu.

Step 3: Critically appraise the evidence Kaikki julkaistu tieto ei valitettavasti ole hyvälaatuista. Se voi olla esim. eri tutkimusmenetelmällä tuotettua tms. Joitakin huomioitavia asioita arviointiin: ”Paistaako läpi” jonkun oma etu? Kuka on rahoittanut tutkimuksen? Miten tieto on kerätty? Millaisia metodeja käytetty tulosten analysointiin? Mitkä ovat tutkimuksen tulokset? Miten tarkkoja ovat saadut tulokset? Voidaanko tuloksia soveltaa käytäntöön? Millaisia johtopäätöksiä tuloksista on tehty?

Step 4: Apply the evidence Yhdistämällä kerätyt ”todisteet” päätöksentekoprosessiin, yhdistetään samalla oma käytännön kokemus kokonaisuuteen.

Step 5: Evaluate performance Kysytään, kuinka hyvin onnistuttiin yhdistämään kerätyt ”todisteet” ja käytännön kokemus, asiakasvaatimukset sekä vallitsevat olosuhteet. Myös (kuten SPI:ssa) pitäisi pystyä erottamaan, missä prosessin muutokset ovat olleet tehokkaita. Lopuksi pidetään esim. loppukatselmus, jossa vastataan neljään yksinkertaiseen kysymykseen: Mitä kuviteltiin tapahtuvan? Mitä oikeasti tapahtui? Miksi eroavaisuudet tapahtuivat? Mitä opimme?

Yhteenvetoa EB-ajattelu toimii lääketieteellisessä tutkimuksessa. Saatujen tutkimusten mukaan se toimii myös SE:ssa. Vaatii vielä tutkimista ja kehittämistä.