© Conformiq Software Ltd. | www.conformiq.com The Future of Software Testing Testauksen historia.

Esitys aiheesta: "© Conformiq Software Ltd. | www.conformiq.com The Future of Software Testing Testauksen historia."— Esityksen transkriptio:

1 © Conformiq Software Ltd. | www.conformiq.com The Future of Software Testing Testauksen historia

2 © Conformiq Software Ltd. | www.conformiq.com Testauksen alku ”Se oli yksi niistä kerroista kun kuljin EDSAC-huoneen ja reikäkoneen välillä, kun epäröidessäni portaiden juurella ymmärrys iski minuun koko voimallaan: Suuri osa loppuelämästäni tulisi kulumaan virheiden etsimiseen omista ohjelmistani.” - Maurice Wilkes, 1949

3 © Conformiq Software Ltd. | www.conformiq.com Ohjelmistoliiketoiminnan aikakaudet 1. Varhaiset palveluliiketoiminnan yritykset, 1949 – 1959 2. Varhaiset ohjelmistotuoteyritykset, 1959 – 1969 3. Yritysratkaisujen toimittajien nousu, 1969 – 1981 4. Kuluttajille suunnatut pakettiohjelmistot 1981 – 1994 5. Internetin lisäarvopalvelut, 1994 – 2008 [Hoch et al. 2000]

4 © Conformiq Software Ltd. | www.conformiq.com Ohjelmistoliiketoiminnan aikakaudet 1-3 Massiivisien järjestelmien aikaa Tyypillisesti tilaustyötä, räätälöityjä järjestelmiä, pieni asiakasjoukko Testauksessa: Kirjoitetaan testit paperille Testataan kontrollivuota, algoritmeja, tietoaineiston käsittelyä Kattavuustestaus Testauksen hallinta, vaatimukset

5 © Conformiq Software Ltd. | www.conformiq.com Ohjelmistoliiketoiminnan aikakausi 4 Vakiotavaraa, suuria määriä kopioita Käyttäjille, eikä enää asiakkaalle Yhteiselle käyttöjärjestelmäalustalle Reaaliaikaiset, usean käyttäjän järjestelmät eräajopohjaisten tilalle Testauksessa: Permutaatioiden määrän kasvu kasvatti tarvittavien testien määrää räjähdysmäisesti Reaaliaikaisuus lisää ohjelman osien mahdollisia suoritusjärjestyksiä

6 © Conformiq Software Ltd. | www.conformiq.com Ohjelmistoliiketoiminnan aikakausi 5 Internetin yli toimiva kommunikointi lisää järjestelmien hajautusta Kasvava määrä käyttöjärjestelmä- ja laitteistoalustoja Testauksessa: Lisää testattavia yhdistelmiä Käytettävyyden testaus Suorituskyvyn testaus

7 © Conformiq Software Ltd. | www.conformiq.com Ohjelmistoprosessin tasot

8 © Conformiq Software Ltd. | www.conformiq.com Prosessien kehitys Ohjelmistoprosessit kehittyneet vesiputousmallista eteenpäin, tarjolla monia vaihtoehtoja Iteratiiviset ja inkrementaaliset, esim. USDP Ketterät, esim. Synch-and-Stabilize Testaus edelleen pitkälti V-malliin perustuvaa -> sitoo vesiputousmalliseen kehitykseen

9 © Conformiq Software Ltd. | www.conformiq.com Testausvälineiden neljä aikakautta I II III IV Testauksen hallinta & räätälöidyt työkalut Testauksen kattavuus & lasilaatikkotestaus Uusinta- & mustalaatikkotestaus Automatisoitu testien generointi & Määrittelykattavuus

10 © Conformiq Software Ltd. | www.conformiq.com Testausautomaation kehitys I Metodologia - aikakausi Vaatimusten jäljitettävyys Talon sisäiset työkalut II Lasilaatikkoaikakausi McCaben staattinen analyysi Yksikkötestauksen työkalut, testipedit ja koodikattavuus III Uusintatestauksen aikakausi Käyttöliittymätestaus Skriptien nauhoittaminen ja ajoympäristöt IV Automatisoitu testien generointi Määrittelypohjainen mustalaatikkotestaus Algoritminen testien generointi Määrittelypohjaiset kattavuusmittarit Mallipohjainen testaus

11 © Conformiq Software Ltd. | www.conformiq.com Kehitys testausvälineissä (1. aikakausi /4) Tavoite: Hallita testauksen kokonaisuutta ja testattuja vaatimuksia Työkalut: Sisäisen kehityksen tuottamia räätälöityjä ohjelmistoja Painopiste lasilaatikkotestauksessa

12 © Conformiq Software Ltd. | www.conformiq.com Kehitys testausvälineissä (2. aikakausi /4) Tavoite: Testauksen kattavuuden varmistaminen Nimenomaan koodikattavuus Työkalut: Kattavuusvarmentimet (60-luvun puolivälissä) Kattavuuskriteerit kehittyivät paremmiksi 70- luvulla 80-luvulla kompleksisuuden mittaamista ja tiedon hyödyntämistä Painopiste lasilaatikkotestauksessa

13 © Conformiq Software Ltd. | www.conformiq.com Kehitys testausvälineissä (3. aikakausi /4) Tavoite: Testien toistaminen Uusintatestauksen automatisointi Työkalut: Järjestelmän testaaminen skripteillä käyttöliittymän kautta Painopiste siirtyy mustalaatikkotestaukseen

14 © Conformiq Software Ltd. | www.conformiq.com Kehitys testausvälineissä (4. aikakausi /4) Tavoite: Ajoitukseen, järjestykseen, rinnakkaisuuteen ja aineisto-arvokombinaatioihin liittyvien virheiden löytäminen Työkalut: Älykkäät testausjärjestelmät, jotka tietävät mitä testata Määrittelypohjainen testaus Mallipohjainen testaus

15 © Conformiq Software Ltd. | www.conformiq.com Kehitys: uutta vanhan avuksi Uusi aikakausi ei korvaa vanhoja hyviä keinoja, vaan antaa lisää keinoja niiden lisäksi Testaus hyvin työvoimavaltaista joten ymmärrettävää haluta automatisoida työkaluin Olennaista ymmärtää oma tilanne ja oman testauksen ongelmat ENNEN työkaluostoksia tai menetelmien käyttöönottoa

16 © Conformiq Software Ltd. | www.conformiq.com Testauksen kasvun vaiheet -1956 Virheen jäljitykseen keskittynyt aikakausi 1957-1978 Toteennäyttämiskeskeinen aikakausi 1979-1982 Tuhoamiskeskeinen aikakausi 1983-1987 Arviointikeskeinen aikakausi 1988- Estämiskeskeinen aikakausi [Gelperin & Hetzel 1988]

17 © Conformiq Software Ltd. | www.conformiq.com Testauksen tulevaisuus

18 © Conformiq Software Ltd. | www.conformiq.com Testauksessa tapahtuu Ohjelmoijan tekemä testaus Ohjelmoijan tekemän testauksen vaikutus visioon muiden testausta tekevien testauksen luoteesta Tietoturvatestauksen painotuksen opit harmaalaatikkotestauksesta ja siihen tarvittavista kyvyistä Tilamallipohjainen testaus ja muut suurivolyymiset automaatiostrategiat Uudet suunnat perusuusintatestausvälineiden käytössä Suuntaus testaajien sertifioimiseksi ja lisensoimiseksi [Kaner 2003]

19 © Conformiq Software Ltd. | www.conformiq.com Lähteet Gelperin, D., and B. Hetzel. 1988. The Growth of Software Testing. Communications of the ACM 31, no. 6: 687-695. Hoch, Detlev J., Cyriac R. Roeding, Gert Purkert, Sandro K. Lindner, and Ralph Müller. 2000. Secrets of Software Success: Management Insights from 100 Software Firms around the World. Boston, Massachusetts: Harvard Business School Press. Nukari, J., and M. Forsell. 1999. Suomen ohjelmistoteollisuuden kasvun strategia ja haasteet. Helsinki: Teknologian kehittämiskeskus.