© Conformiq Software Ltd. | The Future of Software Testing Testauksen historia

© Conformiq Software Ltd. | Testauksen alku ”Se oli yksi niistä kerroista kun kuljin EDSAC-huoneen ja reikäkoneen välillä, kun epäröidessäni portaiden juurella ymmärrys iski minuun koko voimallaan: Suuri osa loppuelämästäni tulisi kulumaan virheiden etsimiseen omista ohjelmistani.” - Maurice Wilkes, 1949

© Conformiq Software Ltd. | Ohjelmistoliiketoiminnan aikakaudet 1. Varhaiset palveluliiketoiminnan yritykset, 1949 – Varhaiset ohjelmistotuoteyritykset, 1959 – Yritysratkaisujen toimittajien nousu, 1969 – Kuluttajille suunnatut pakettiohjelmistot 1981 – Internetin lisäarvopalvelut, 1994 – 2008 [Hoch et al. 2000]

© Conformiq Software Ltd. | Ohjelmistoliiketoiminnan aikakaudet 1-3 Massiivisien järjestelmien aikaa Tyypillisesti tilaustyötä, räätälöityjä järjestelmiä, pieni asiakasjoukko Testauksessa: Kirjoitetaan testit paperille Testataan kontrollivuota, algoritmeja, tietoaineiston käsittelyä Kattavuustestaus Testauksen hallinta, vaatimukset

© Conformiq Software Ltd. | Ohjelmistoliiketoiminnan aikakausi 4 Vakiotavaraa, suuria määriä kopioita Käyttäjille, eikä enää asiakkaalle Yhteiselle käyttöjärjestelmäalustalle Reaaliaikaiset, usean käyttäjän järjestelmät eräajopohjaisten tilalle Testauksessa: Permutaatioiden määrän kasvu kasvatti tarvittavien testien määrää räjähdysmäisesti Reaaliaikaisuus lisää ohjelman osien mahdollisia suoritusjärjestyksiä

© Conformiq Software Ltd. | Ohjelmistoliiketoiminnan aikakausi 5 Internetin yli toimiva kommunikointi lisää järjestelmien hajautusta Kasvava määrä käyttöjärjestelmä- ja laitteistoalustoja Testauksessa: Lisää testattavia yhdistelmiä Käytettävyyden testaus Suorituskyvyn testaus

© Conformiq Software Ltd. | Ohjelmistoprosessin tasot

© Conformiq Software Ltd. | Prosessien kehitys Ohjelmistoprosessit kehittyneet vesiputousmallista eteenpäin, tarjolla monia vaihtoehtoja Iteratiiviset ja inkrementaaliset, esim. USDP Ketterät, esim. Synch-and-Stabilize Testaus edelleen pitkälti V-malliin perustuvaa -> sitoo vesiputousmalliseen kehitykseen

© Conformiq Software Ltd. | Testausvälineiden neljä aikakautta I II III IV Testauksen hallinta & räätälöidyt työkalut Testauksen kattavuus & lasilaatikkotestaus Uusinta- & mustalaatikkotestaus Automatisoitu testien generointi & Määrittelykattavuus

© Conformiq Software Ltd. | Testausautomaation kehitys I Metodologia - aikakausi Vaatimusten jäljitettävyys Talon sisäiset työkalut II Lasilaatikkoaikakausi McCaben staattinen analyysi Yksikkötestauksen työkalut, testipedit ja koodikattavuus III Uusintatestauksen aikakausi Käyttöliittymätestaus Skriptien nauhoittaminen ja ajoympäristöt IV Automatisoitu testien generointi Määrittelypohjainen mustalaatikkotestaus Algoritminen testien generointi Määrittelypohjaiset kattavuusmittarit Mallipohjainen testaus

© Conformiq Software Ltd. | Kehitys testausvälineissä (1. aikakausi /4) Tavoite: Hallita testauksen kokonaisuutta ja testattuja vaatimuksia Työkalut: Sisäisen kehityksen tuottamia räätälöityjä ohjelmistoja Painopiste lasilaatikkotestauksessa

© Conformiq Software Ltd. | Kehitys testausvälineissä (2. aikakausi /4) Tavoite: Testauksen kattavuuden varmistaminen Nimenomaan koodikattavuus Työkalut: Kattavuusvarmentimet (60-luvun puolivälissä) Kattavuuskriteerit kehittyivät paremmiksi 70- luvulla 80-luvulla kompleksisuuden mittaamista ja tiedon hyödyntämistä Painopiste lasilaatikkotestauksessa

© Conformiq Software Ltd. | Kehitys testausvälineissä (3. aikakausi /4) Tavoite: Testien toistaminen Uusintatestauksen automatisointi Työkalut: Järjestelmän testaaminen skripteillä käyttöliittymän kautta Painopiste siirtyy mustalaatikkotestaukseen

© Conformiq Software Ltd. | Kehitys testausvälineissä (4. aikakausi /4) Tavoite: Ajoitukseen, järjestykseen, rinnakkaisuuteen ja aineisto-arvokombinaatioihin liittyvien virheiden löytäminen Työkalut: Älykkäät testausjärjestelmät, jotka tietävät mitä testata Määrittelypohjainen testaus Mallipohjainen testaus

© Conformiq Software Ltd. | Kehitys: uutta vanhan avuksi Uusi aikakausi ei korvaa vanhoja hyviä keinoja, vaan antaa lisää keinoja niiden lisäksi Testaus hyvin työvoimavaltaista joten ymmärrettävää haluta automatisoida työkaluin Olennaista ymmärtää oma tilanne ja oman testauksen ongelmat ENNEN työkaluostoksia tai menetelmien käyttöönottoa

© Conformiq Software Ltd. | Testauksen kasvun vaiheet Virheen jäljitykseen keskittynyt aikakausi Toteennäyttämiskeskeinen aikakausi Tuhoamiskeskeinen aikakausi Arviointikeskeinen aikakausi Estämiskeskeinen aikakausi [Gelperin & Hetzel 1988]

© Conformiq Software Ltd. | Testauksen tulevaisuus

© Conformiq Software Ltd. | Testauksessa tapahtuu Ohjelmoijan tekemä testaus Ohjelmoijan tekemän testauksen vaikutus visioon muiden testausta tekevien testauksen luoteesta Tietoturvatestauksen painotuksen opit harmaalaatikkotestauksesta ja siihen tarvittavista kyvyistä Tilamallipohjainen testaus ja muut suurivolyymiset automaatiostrategiat Uudet suunnat perusuusintatestausvälineiden käytössä Suuntaus testaajien sertifioimiseksi ja lisensoimiseksi [Kaner 2003]

© Conformiq Software Ltd. | Lähteet Gelperin, D., and B. Hetzel The Growth of Software Testing. Communications of the ACM 31, no. 6: Hoch, Detlev J., Cyriac R. Roeding, Gert Purkert, Sandro K. Lindner, and Ralph Müller Secrets of Software Success: Management Insights from 100 Software Firms around the World. Boston, Massachusetts: Harvard Business School Press. Nukari, J., and M. Forsell Suomen ohjelmistoteollisuuden kasvun strategia ja haasteet. Helsinki: Teknologian kehittämiskeskus.