februari 11, 2017

Uitleg

Agenda

Datum competitie: 1 mei 2017

  • Locatie: NBC Nieuwegein
  • 16:00u – 17:00u: Aankomst & klaarzetten van je spullen (laptops ed).
  • 17:00u – 18:00u: Diner.
  • 18:00u – 21:00u: Competitie.
  • Vanaf 21:00u: Borrel.

Bekendmaking Winnaars NK Software Testing 2017 en uitreiking prijzen: 15 mei 2017

Opbouw wedstrijd

Het Nederlands Kampioenschap Software Testen volgt de zelfde principes als de Europese en Wereld-kampioenschappen die plaatsvonden in Potsdam (Berlijn) in 2015 en 2016. Zie voor meer informatie: http://www.softwaretestingworldcup.com/

De totale tijd van de wedstrijd is drie uur.

Eerste 30 minuten:

  • De te testen software (SUT) -inclusief hoe je deze kan downloaden en installeren-, wordt bekend gemaakt.
  • Korte uitleg van het proces van de wedstrijd.
  • De Product Owner legt het software product en zet uiteen wat voor hem de belangrijkste doelen voor het testen zijn.
  • Tijdens dit half uur kunnen vragen gesteld worden aan de product owner aangaande het product, de gewenste focusgebieden en doelen.

Resterende 2,5 uur:

  • De teams testen de software. En voeren gevonden bugs in, in de beschikbaar gestelde bugtracker.
  • Tijdens deze tijd, kunnen de teams vragen stellen aan de Product Owner en/of de aangewezen technisch persoon over het product.
  • De teams werken aan het testrapport dat voor het sluiten van de wedstrijd ingezonden moet worden.

Tips:

  • Zorg dat je ruim op tijd begint met je testrapport. Deze moet binnen 5 minuten na het einde van de wedstrijd door de jury ontvangen zijn. Een team dat zijn testrapport niet of te laat inzendt, wordt niet beoordeelt, en dient dan ook NIET mee naar de prijzen.
  • Zorg dat alle bugmeldingen voor het einde van de competitie ingevoerd zijn in de beschikbaar gestelde bugtracker tool.
  • Draag zorg voor goed ingevoerde, volledige, en reproduceerbare bugmeldingen. Onvolledige en/of gemankeerde bugmeldingen kunnen de score van een team negatief beïnvloeden.
  • Net als in het echte leven kan je niet alles testen en zul je als team moeten kiezen waar je je beperkte tijd en middelen in zet: wat te testen, wat niet te testen, en ook waarom.
  • Team samenwerking en interactie is belangrijk voor het behalen van een goed resultaat.

Software Under Test (SUT)

De Software Under Test is een ‘echt’ software product dat niet speciaal voor deze competitie software gemaakt is. De ins-and-outs van de SUT, alsmede hoe deze te installeren / te gebruiken, wordt bij de start van de competitie uiteengezet.

Op te leveren resultaten

Bugmeldingen

Team voert bugmeldingen in, in de beschikbaar gestelde bugtracker tool. Een goede bugmelding bestaat uit:

  • een titel die het probleem omschrijft in één zin,
  • een goede classificatie van de zwaarte van de bug (inschatting van het team),
  • en een goede omschrijving bestaande uit:
    • reproduceerbare stappen,
    • uitleg van wat er verwacht wordt en daadwerkelijk gebeurt en waarom het een probleem is,
    • verder helpen plaatjes (of video’s) goed bij het beschrijven van issues.

Test rapport

Het team stuurt direct na het sluiten van de wedstrijd (binnen 5 minuten) een testrapport in. De inhoud en opmaak van het rapport is de verantwoordelijkheid van het team. Echter het testrapport moet de PO helpen om erachter te komen of hij klaar is om het product te releasen, of dat het eerder nodig is om meer issues op te lossen voor een livegang.

Een overzicht van wat je wel en niet getest hebt, risico’s en de voor de PO belangrijke zaken die je aantreft, zijn in een goed testrapport van groot belang. Het is eveneens belangrijk dat het testrapport inzicht geeft over het besluitproces wat er getest is, en het waarom, alsmede hoe het team de beschikbare 3 uur heeft besteed.

Aan het einde van de wedstrijd moet u uw rapport per e-mail met als onderwerp ” Test rapport [TEAMNR_TEAMNAAM]” versturen naar een -nog te verstrekken- e-mailadres. Let op! Het testrapport moet binnen 5 minuten na het einde van de wedstrijd ontvangen zijn door de jury. Teams die daar niet in slagen, worden niet meegenomen bij de jury-beoordeling en dingen derhalve niet mee met de prijzen.

Score en criteria

De jury bepaalt de score van een team op basis van gepunte criteria. Hoofdcategorieën van deze criteria zijn:

  • Doelgerichtheid; de juiste missie volgen, juiste soort bugs,
  • Kwaliteit van bugmeldingen,
  • Kwaliteit van het testrapport,
  • Juistheid van het testrapport,
  • Uitgevoerde niet-functionele testen,
  • Communicatie en interactie: De interactie met de klant (PO, en technische mensen), samenwerking en afstemming binnen het team.

Het team met de hoogste score wordt gekroond als Nederlandskampioen Software Testing 2017. In het geval van een ex aequo, beslist de jury op basis van 1 of meerdere stemrondes, de winnaar.