Case Veikkaus Testauksen automatisointi

Esitys aiheesta: "Case Veikkaus Testauksen automatisointi"— Esityksen transkriptio:

1 Case Veikkaus Testauksen automatisointi
Karri Kolehmainen / Veikkaus Ilkka Myllylä / Reaaliprosessi

2 Sisältö 1.Testauksen yleiskuva : Sisältö ja työkalut
2. Suorituskyky testaus 3. Toiminnallisen testauksen automatisointi Esittäjä/Aihe

3 Veikkauksen Testauksen yleiskuva
Sisältö ja työkalut Esittäjä/Aihe

4 Testauksen sisältö Kolme suurta päivitys Batchia vuodessa
Onnet ja OnLine -> laaja kokonaisuus Laaja toiminnallinen testaus Laaja suorituskyky testaus Esittäjä/Aihe

5 Työkalut Compuwaren QACenter QADirector TrackRecord QALoad TestPartner
Esittäjä/Aihe

6 Veikkaus Suorituskyky testaus
Esittäjä/Aihe

7 Suorituskyky testauksen vaiheet
Järjestelmä testaus toimittaja tekee omalla kaupallisella työkalullaan yksi skenaario jossa toimintoja tuotannon suhteessa Hyväksymistestaus Veikkauksen testaus tekee QALoad:lla regressiotestit piikki kuorman testit uudet ominaisuudet Esittäjä/Aihe

8 Hyväksymistestauksen haasteet
Suuret kuormituspiikit Onnet/Online pelaamisessa tuhansia yhtäaikaisia käyttäjiä tuhansia kutsuja (=request) sekunnissa kymmeniä pelejä sekunnissa Paljon vaihtoehtoisia skenaarioita Onnet : web ja robotti pelaajia -> määrä vaihtelee Erilaisia pelejä ja näiden kombinaatioita Suuret tietomassat ja raskaita hakuja Esittäjä/Aihe

9 Hyväksymistestauksen haasteet
Rajallinen aika testata ja testausympäristö ympäristön pitäminen ”vireessä” haasteena testiympäristö puolet tuotannosta (web/app) Toimittajalla uusi organisaatio lisää volyymitestejä jo järjestelmätesteissä käytännön toimintatavat haettava/sovittava uudestaan Uusi arkkitehtuuri Corba -> EJB Laajat regressiotestit ja uusia testejä Esittäjä/Aihe

10 QALoad vahvuuksia Monimutkaiset skenaariot Suuret käyttäjämäärät
Käyttäjämäärän säätö manuaalisesti -> myös muu kuin perus porrastus onnistuu Suuret käyttäjämäärät Hallinta kone ja useita Player koneita -> yksi pystyy käsittelemään satoja/tuhansia käyttäjiä skriptistä/use-casesta riippuen IP spoofing -> sama kone, monta ip:tä SSL/HTTPS tuki Selkeä käyttöliittymä Testeissä paljon optioita -> yksikin väärä voi pilata testin Esittäjä/Aihe

11 QALoad vahvuuksia Kehittyvä/päivittyvä tuote Verkkoviiveen mittaus
transaktio kohtainen Hälytysrajojen asetus Raportointi kehittynyt suoraan generoitava HTML raportti pakattuna Testien aikainen monitorointi kehittynyt Throughput / Requests Player kohtainen seuranta Esittäjä/Aihe

12 QALoad kehityskohteita
Hankalat dynaamiset skiptit debuggaus on työlästä -> ei riittävän hyviä työkaluja Monitorointi asetusten säilytys Raportointi : summaus tasoja puuttuu (top – down) Läpimeno aikavälillä yhteensä Kutsut aikavälillä yhteensä Verkkoviive yhteensä Web Service tuki Esittäjä/Aihe

13 QALoadin käytön laajennus
QALoadin käyttö toiminnalliseen testaukseen numeron murskaus protokolla tason testaus -> Firefox Esittäjä/Aihe

14 Veikkaus Toiminnallisen testauksen automatisointi
Esittäjä/Aihe

15 Testiautomaation toteutus
70 laajaa testiskriptiä ja 10 happo testiskriptiä 1 kestää 5 min – 2 tuntia QADirector / TestPartner työkaluina Testaussuunnitelma ja ajo QADirectorista manuaalikäynnistys skriptiä 2:een ajo työasemaan Data ohjattu syöttötiedot ja casen logiikan ohjaus Esittäjä/Aihe

16 Testiautomaation toteutus
Komponenttipohjainen käyttöliittymän, datan ja virheiden käsittely ali funtioissa ensin funktio kirjastojen luonti 20 htp Erillinen räätälöity raportointi Esittäjä/Aihe

17 Testiautomaation haasteet
Paljon pelejä ja pelikombinaatioita kattava manuaalinen testaus käytännössä vaikeaa/kallista Laaja automatisointi on uusi asia ollaan vasta evoluution alussa Käyttöliittymän gui komponenttien tunnisteet muuttuvat pitäisi olla standardi nimeämiselle ja vaatimus Esittäjä/Aihe

18 Testiautomaation haasteet
Testitapausten laatu riittävät tarkistukset numeron murskaus vs riskikohtiin keskittyvä testidata Virhetilanteiden seuranta ja tulkinta kuvaruutukopiot ja virheilmoitukset sähköpostia heti kun virhe Testausympäristön vakaus/nopeus Esittäjä/Aihe

19 TestPartner vahvuuksia
Kehitysympäristö helppo debuggaus tallennus keskitetysti tietokannassa useita ikkunoita auki yhtä aikaa kehityksessä Ylläpidettävän toteutuksen teko komponenttien kehitys helppoa data ohjauksen teko helppoa oliokartan saa pidettyä pienenä Esittäjä/Aihe

20 TestPartner vahvuuksia
QADirector – TestPartner integrointi QADir lukee TP tietokantaa VBA kehityskieli helppo, paljon osaajia paljon valmista koodia Esittäjä/Aihe

21 TestPartner kehityskohteita
Vain IE/Windows tuki Firefox, Linux, Mac puuttuu Version hallinta ei vielä kovin hyvä Esittäjä/Aihe

22 TestPartner haasteita
API/kassapääte testaus tehdäänkö TestPartnerilla kokonaan ja jos ei miten integrointi onnistuu Keyword Driven lähestymisen rakennus TestPartnerin päälle Esittäjä/Aihe