© Conformiq Software Ltd. | www.conformiq.com The Future of Software Testing Virheenarvaus.

Esitys aiheesta: "© Conformiq Software Ltd. | www.conformiq.com The Future of Software Testing Virheenarvaus."— Esityksen transkriptio:

1 © Conformiq Software Ltd. | www.conformiq.com The Future of Software Testing Virheenarvaus

2 © Conformiq Software Ltd. | www.conformiq.com Tyypillisistä virheistä oppiminen Ihmiset eivät ole niin mielikuvituksellisia virheitä tehdessään He pyrkivät tekemään samoja virheitä kuin ennenkin Testien suunnittelu on (pääasiassa) historiallisesti uskottavan aineiston herättelyä Tässä myös tarkistetaan, että koodi tekee kaiken, mitä on aiottukin Virheluettelot Arvauksen perustaminen jonkun muun kokemukseen

3 © Conformiq Software Ltd. | www.conformiq.com Merkittävät virheluokat (1/3) Käyttöliittymävirheet: Puuttuva toiminnallisuus, puuttuva (on-line) dokumentaatio, huono komentorakenne, puuttuvat käyttäjäkomennot, huono suorituskyky, huonosti suunniteltu tuloste Virheiden käsittely: epäonnistutaan virheiden mahdollisuuden ennakoinnissa ja niitä vastaan puolustautumisessa, epäonnistutaan huomaamaan virhetilanteita, epäonnistutaan havaitun virheen järkevässä käsittelyssä Raja-arvoihin liittyvät virheet: numeeriset rajat: hyvin pienet numerot, erittäin suuret numerot, numerot lähellä nollaa; ohjelma käyttää rajoja: ensimmäisen kerran, toisen kerran, hyvin pitkän aikaa, uuden dokumentin jälkeen jne; muistin konfigurointivirheet: liian vähän muistia, liian paljon muistia (kyllä, se on mahdollista). Laskentavirheet: kaavavirheet, tarkkuusvirheet, Pyöristys- ja katkaisuvirheet, laskenta-algoritmivirheet. [Kaner 1999]

4 © Conformiq Software Ltd. | www.conformiq.com Merkittävät virheluokat (2/3) Alku- ja myöhemmät tilat: ohjelma epäonnistuu viimeisellä suorituskierroksella, ohjelma epäonnistuu toisella suorituskierroksella, varmuustallennus- ja peruutusprosessit ovat viallisia. Kontrollivuovirheet: väärä suoritusjärjestys, väärä ehtohaara. Virheet aineiston käsittelyssä tai tulkinnassa: väärin tulkittu aineisto, viimeisten muutosten hukkaaminen aineiston vaihdon yhteydessä. Kilpailutilanteet: ohjelma odottaa kahden tapahtuman, A:n ja B:n tapahtuvan järjestyksessä AB, kun myös BA on mahdollinen (vaikkakin harvinainen) tapaus. Kuormitustilanteet: ohjelmisto epäonnistuu suuren volyymin alla (paljon työtä pitkällä aikajaksolla), ohjelmisto epäonnistuu kovan rasituksen alaisena (maksimikuorma kerralla). Laitteisto: ohjelma lähettää huonoa aineistoa laitteille, ohjelma jättää laitteen tilatiedot huomiotta, ohjelma ei tunnista laitteiston vikatilanteita. Source: Kaner et al. Testing Computer Software. 1999 [Kaner 1999]

5 © Conformiq Software Ltd. | www.conformiq.com Merkittävät virheluokat (3/3) Lähdekoodin ja versionhallinta: Moduulien tai kirjastojen vanhoja, epäyhteensopivia versioita käytetään uudessa ohjelmassa vääriä tekijänoikeusviestejä, tunnistenäyttöjä tai versionumeroita, väärää alustatietoa. Dokumentaatio: huono dokumentaatio, keskeneräinen dokumentaatio. Testausvirheet: virheet testikoodissa, virheet testiaineistossa, ohjelman toiminnallisuus ymmärretty väärin testeissä, vajaavainen testikattavuus. Source: Kaner et al. Testing Computer Software. 1999 [Kaner 1999]

6 © Conformiq Software Ltd. | www.conformiq.com Testiluettelot Listoja tyypillisistä testitilanteista

7 © Conformiq Software Ltd. | www.conformiq.com Testaajille erityisen vaikeita virheitä löytää: Viiveellä ilmenevät Muistivuodot Rikkinäiset pinot Villit osoittimet Piilotetut ja näkymättömät muuttujat Korruptoitunut data Tietyt ajan hetket tai päivämäärät Yhdistelty data muuttujissa Erikoiset ajan tai tilan optimointiratkaisut Tehtävien suorittamisjärjestys Resurssikilpailu Keskeytykset Viestien odottamaton ajoitus Datan odottamaton muutos Virheenkäsittely-virheet Aikakeskeytykset moniprosessi- ympäristöissä [Kaner]

8 © Conformiq Software Ltd. | www.conformiq.com Testaajille erityisen vaikeita virheitä löytää: Prosessien väliset viipyvät viestit Odotetun ja todellisen viestin erot Alkutilaongelmat DLL-versio- riippuvuudet Järjestelmän epätäydellinen asennus Riippuvuudet muihin ohjelmistoihin Muiden jo poistettujen ohjelmien vaikutus Varatut tai kytkemättömät laitteet Laitteisto- tai konfigurointiriippu- vuudet [Kaner]