SOFTWARE TEST PROCESS DEVELOPMENT OHJELMISTOTESTAUSPROSESSIN KEHITTÄMINEN Jussi Kasurinen, Ohjelmistotekniikan laboratorio

Miksi tutkia ohjelmistotestausta  Ohjelmistotestaus on läsnä kaikessa ohjelmistotuotannossa.  Usein testaustoimintaa rajoittaa joko raha, aika, henkilöstömäärä tai muu saatavilla oleva resurssi.  Kuitenkin jo 15% ”optimaalisista” resursseista riittää perustason testaukseen.  Yhdysvalloissa puutteellinen testaus aiheuttaa vuosittain 59.5 miljardin dollarin tappiot tuotannonmenetyksinä ja vikavastuina (arvio 2002). Jussi Kasurinen, Ohjelmistotekniikan laboratorio LUT Tietotekniikka

Ohjelmistoja tuottava yritys Projecese Pof these Mitä ovat MASTO ja ESPA? Jussi Kasurinen, Ohjelmistotekniikan laboratorio LUT Tietotekniikka  ESPA oli 3-vuotinen akateeminen yhteistyöprojekti Aalto-yliopiston ja Lappeenrannan teknillisen yliopiston kesken.  Tavoite tutkimuksessa oli tutkia ohjelmistojen testaamista kaikilla organisaation eri tasoilla:  MASTO Lappeenrannassa keskittyi testausprosessiin ja organisaation komponentteihin.  SQUID Aallossa tutki itse testaustyötä yksittäisen testaajan ja projektin näkökulmasta.  Nyt arvioitava väitöskirjatyö perustuu MASTO-projektissa tehtyyn tutkimukseen Organisaation taso, jokaisella yrityksellä on yksi Projektitaso, yrityksellä voi olla useita.

Ohjelmistoprosessi Mitä on testaus? Jussi Kasurinen, Software Engineering Lab. LUT Information Technology Perinteinen mielikuva: Määrittely Suunnittelu Toteutus Testaus Ylläpito Varsinaisesti testaus on tuo vaihe tuossa Testaus on lopetettu tässä vaiheessa Testaus aloitetaan jossain täällämain ISO/IEC testaustoiminta… … On kaikki toimenpiteet alkaen määrittelystä päättyen tuotteen lopettamiseen, joilla vaikutetaan testaustoimintaan. … määritellen mitä, missä, kuka, miksi, miten ja millä välineillä, organisaation ja projektien tasolla. Eli kaikki mitä tälle välille mahtuu

Testausprosessi  Testausprosessi siinä muodossa, missä se pitäisi ymmärtään, on ohjelmiston tekemisen kaikki ne työvaiheet ja työsuoritteet, jotka liittyvät tuotteen laadun varmistamiseen ja toiminnallisuuksien testaamiseen.  Verifiointi – Ohjelma on tehty oikein  Validointi – Ohjelma on suunniteltu oikeanlaiseksi  Tässä väitöskirjatyössä 1. Tunnistettiin ne prosessin osa-alueet ja komponentit, jotka vaikuttavat käytännön testaustyöhön, 2. Arvioitiin yleisen testausstandardin soveltuvuutta käytännössä sekä 3. Kehitettiin työkalu yrityksen omien testausprosessien kehityskohteiden löytämiseen. Jussi Kasurinen, Ohjelmistotekniikan laboratorio LUT Tietotekniikka

Testausprosessi ja sen komponentit Tutkimuksen mielenkiinnonkohteet Julkaisu 2; “Software Test Automation in Practice: Empirical Observations” Julkaisu 6; “Exploring Quality Concepts in Software Organizations” Julkaisu 4; “Test Case Selection and Prioritization: … Julkaisu 1; “Analysis of Problems in Testing Practices” Julkaisu 3; “A Study on Agility and Testing Processes in Software Organizations” Julkaisu 2; “Software Test Automation in Practice: Empirical Observations” Julkaisu 5; “How Test Organizations Adopt New Testing Practices and Methods?” Julkaisu 7; “A Self-Assessment Framework for Finding Improvement Objectives with ISO/IEC Test Standard”

Yleistä tutkimuksesta ja testauksen tilasta  Väitöstutkimuksessa haastateltiin 65 ohjelmistoalan ammattilaista 31 eri organisaatiosta.  Nauhoitetut teemahaastattelut  Teemakyselyt Jussi Kasurinen, Software Engineering Lab. LUT Information Technology Max.Min.Mediaani Yrityksen työntekijämäärä Ohjelmistokehittäjien ja testaajien määrä haastatellussa organisaatiossa. 6000*30 Testausautomaation määrä testauksesta (%) (26% ka) Ketterien menetelmien määrä projekteista (%) Nykyisten testausresurssien määrä verrattuna ihannemäärään (%) (70% ka) Kuinka suuri %-osuus projektista käytetään päätoimiseen testaamiseen. 700**25 (27% ka) * 0 = kaikki hankittu alihankintana ** 0 = testaukselle ei erikseen varata aikaa

Tärkeimmät asiat testauksessa, jotka vaikuttavat lopputuotteen laatuun Jussi Kasurinen, Ohjelmistotekniikan laboratorio LUT Tietotekniikka Asiakas ja ohjelmistotuottaja luottavat toisiinsa. – Tietoa ei pimitetä, sitä voidaan tarvittaessa luovuttaa vapaasti ja kaikilla on käytössä paras mahdollinen tieto. Työmenetelmät, jotka noudattelevat ISO/IEC –mallin periaatteita. – Työstä tuleva palaute vaikuttaa jatkoprojekteihin ja muutoksia voidaan tarvittaessa tehdä. Halutun laadun määrittely – Organisaatio on määritellyt millaista laatua halutaan tuottaa ja viestinyt sen selvästi kaikille osapuolille.

Yleisen testausstandardin soveltuvuus käytännössä Jussi Kasurinen, Ohjelmistotekniikan laboratorio LUT Tietotekniikka Malli on kattava, mutta liian täynnä yksityiskohtia erityisesti hallinnon tasolla. Yleisimpiä ongelmia palautteen käyttäminen ja määritellyt hallintotason tehtävät. Organisaatiot eivät yleisesti ottaen kehitä toimintaansa parantaakseen tilannettaan vaan korjatakseen vikoja. Kehitystä tapahtuu, kun viat muuttuvat sietämättömiksi. Vaikka palautetta annettaisi, ei siihen reagoida jos prosessi on “siedettävässä kunnossa.”

Työkalu testauksen kehityskohteiden löytämiseen Jussi Kasurinen, Ohjelmistotekniikan laboratorio LUT Tietotekniikka  Yhdistelmä Test Improvement model (TIM)-mallin kypsyystasoista ja ISO/IEC –mallin prosesseista.  Kaksi päätuotosta:  Yleinen kypsyystaso ja eroavaisuudet standardin mallista.  Prosessinkehityskohteet ja käytännön ajatuksia mahdollisesti hyödyllisistä tavoista kehittää testaustoimintaa. Prosessit ISO/IEC mallista Kypsyystasot TIM-mallista Yksilöllinen arviointi jokaiselle testauksen työvaiheelle Yleinen arvio kypsyystasosta

Yhteenveto  Päätutkimuskohteena testausprosessit yleisesti, testausprosessien komponentit sekä testaustoiminnan kehittäminen.  Testausresurssien määrä monesti lähes riittävä, ”hyväksyttävä”, menetelmien hyödyntäminen tehotonta.  Organisaatiot muuttavat toimintaansa korjatakseen vikoja, eivät parantaakseen tehokkuuttaan.  Tutkittu ISO/IEC testausmalli havaittiin olevan teoreettisesti pätevä, mutta sisältävän muutostarpeita sekä olevan vaikea käyttää nykyisessä muodossaan. Jussi Kasurinen, Ohjelmistotekniikan laboratorio LUT Tietotekniikka