februari 11, 2017

Uitleg

Nieuwe opzet NK Software Testen 2020

Dit jaar is de opzet van het NK anders dan in vorige jaren. Dit jaar sluit de vorm beter aan bij de dagelijkse realiteit. Dit betekent dat de nadruk niet meer ligt op het opleveren van een testrapport, maar op het vertellen van jullie testverhaal.

Hiervoor hebben we de competitie gesplitst in een online voorronde waaraan 30 teams mogen meedoen en een finale waarin de beste 10 teams uit de voorronde zullen deelnemen.

Hieronder lees je alles over hoe het nieuwe NK Software Testen is vormgegeven.

De Voorronde

De voorronde vind plaats op 26 maart 2020 en zal geheel online zijn.

Tijdschema

  • 20 maart 2020: bekendmaking type SUT (Windows/Mac/Linux, Web, native-App)
  • 26 maart 2020: De voorronde:
  • 18:00 Bekendmaking SUT en openstellen SUT
  • 18:00 Video wordt getoond met uitleg door de PO over SUT
  • 18:15 – 21:00 Mogelijkheid tot stellen vragen aan PO via Slack
  • 19:30 Deadline 1: inleveren teststrategie video en aanvullende documentatie
  • 21:00 SUT wordt dichtgezet
  • 21:30 Deadline 2: inleveren testverhaal video en aanvullende documentatie

Bekendmaking finalisten: 3 april 2020

Publicatie juryrapporten: 6 april 2020

Opbouw van de voorronde

De productowner zal een video-presentatie geven over het SUT waarin het product wordt uitgelegd en wat belangrijke doelen voor het testen zijn, waarna alle teams online via slack vragen kunnen stellen die beantwoord zullen worden door de PO. De vragen en antwoorden zijn voor iedereen in de competitie zichtbaar.

https://nk-softwaretesten.slack.com

Deadline 1 – 19:30: Teststrategie

Teams moeten een video van hun teststrategie/aanpak hebben ingeleverd die voldoet aan de volgende eisen:

  • Maximaal 5 minuten
  • Geupload op youtube in het NK channel 
  • Duidelijk voorzien van de teamnaam
  • Aanvullende documenten mogen worden toegevoegd middels links in de beschrijving van de video
  • Voldoet aan de beoordelingscriteria

https://www.youtube.com/channel/UCYdX2EVgyTNHMa4NtDLRAaA?view_as=subscriber

Deadline 2 – 21:30: Testverhaal

Teams moeten een video met hun testverhaal hebben ingeleverd die voldoet aan de volgende eisen:

  • Maximaal 5 minuten
  • Geupload op youtube in het NK channel
  • Duidelijk voorzien van de teamnaam
  • Aanvullende documenten mogen worden toegevoegd middels links in de beschrijving van de video
  • Voldoet aan de beoordelingscriteria

https://www.youtube.com/channel/UCYdX2EVgyTNHMa4NtDLRAaA?view_as=subscriber

Tips

  • Bereid je voor door als team veel te oefenen en bekijk eerdere kampioenschappen (NK/WK).
  • Ga als team bij elkaar zitten, ook al is de wedstrijd online.
  • Net als in het echte leven kan je niet alles testen en zul je als team moeten kiezen waar je je beperkte tijd en middelen in zet: wat te testen, wat niet te testen, en ook waarom.
  • Team samenwerking en interactie is belangrijk voor het behalen van een goed resultaat.
  • Tijdens de hele competitietijd van 18:15-21:00 kun je vragen stellen aan de PO. Maak hier gebruik van.
  • Wees op tijd voor de deadlines. Te laat betekent dat je niet meer meedoet voor een plaats in de finale.
  • Naast de video´s ben je vrij om online aanvullende zaken aan te leveren als jullie denken dat dat toegevoegde waarde heeft.
  • Je bent vrij om bugs vast te leggen om een door jullie zelf gekozen wijze in een door jullie zelf te bepalen tool.
  • Draag zorg voor goed ingevoerde, volledige, en reproduceerbare bugmeldingen. Onvolledige bugmeldingen kunnen de score van een team negatief beïnvloeden.

Beoordelingscriteria globaal

Algemeen

  • De gestelde relevante vragen
  • Wat heeft het team gedaan met de antwoorden op de vragen
  • Hoe waardevol zijn de gevonden bugs voor de klant

Teststrategie

  • Wat ga je doen (en wat niet)?
  • Hoe sluit dat aan op de vraag van de klant?
  • Waarom ga je dat doen of juist niet doen?
  • Hoe ga je dat precies doen?
  • Met welke mensen en middelen ga je dat doen?

Testverhaal

  • Wat heb je gedaan?
  • Geef je antwoord op de vraag van de klant?
  • Wat waren de resultaten?
  • Welke inzichten heb je verkregen?
  • Waar ben je tegenaan gelopen?
  • Wat heb je er van geleerd?
  • Ben je afgeweken van je strategie en zo ja waarom?

De Finale

De finale vind plaats op 14 mei 2020 en zal live op locatie zijn.

Tijdschema

  • 3 april 2020: de finalisten zijn bekend
  • 7 mei 2020: bekendmaking type SUT (Windows/Mac/Linux, Web, native-App)
  • 14 mei 2020: De finale:
  • 08:00 Zaal open (teams kunnen zich voorbereiden/opbouwen)
  • 09:00 SUT bekendmaking + openstelling
  • 09:00-09:30 Uitleg door de PO
  • 09:00-10:15 Uitwerken van een teststrategie
  • 10:15-11:00 Presentaties teststrategie aan de jury
  • 11:00-14:00 Testen (inclusief lunch in de zaal)
  • 14:00 SUT sluit
  • 14:30 Testverhaal afronden
  • 14:30-15:05 Presentaties testverhaal aan de jury
  • 15:05-20:00 Juryoverleg

Bekendmaking  van de winnaar tijdens het voorjaarsevenement 2020 van TestNet

Publicatie juryrapporten: uiterlijk 21 mei 2020

Opbouw van de finale

De productowner zal een presentatie geven over het SUT waarin het product wordt uitgelegd en wat belangrijke doelen voor het testen zijn, waarna alle teams vragen kunnen stellen die beantwoord zullen worden door de PO. De teams kunnen gedurende de hele competitie vragen stellen aan de PO.

Deadline 1 – 10:15: Teststrategie

Teams moeten hun teststrategie/aanpak presenteren aan de jury volgens:

  • Maximaal 10 minuten presenteren
  • Vervolgens zijn er 10 minuten waarin de jury vragen zal stellen en  feedback zal geven
  • Voldoet aan de beoordelingscriteria

Deadline 2 – 14:30: Testverhaal + bonusvideo´s

Teams moeten hun testverhaal presenteren aan de jury volgens:

  • Maximaal 10 minuten
  • Aanvullend levert het teams maximaal 3 bonusvideo´s in. Hiermee kunnen extra punten verdient worden.
  • Voldoet aan de beoordelingscriteria

Tips

  • Bereid je voor door als team veel te oefenen en bekijk eerdere kampioenschappen (NK/WK).
  • Net als in het echte leven kan je niet alles testen en zul je als team moeten kiezen waar je je beperkte tijd en middelen in zet: wat te testen, wat niet te testen, en ook waarom.
  • Team samenwerking en interactie is belangrijk voor het behalen van een goed resultaat.
  • Tijdens de hele competitietijd van 09:00-14:30 kun je vragen stellen aan de PO. Maak hier gebruik van.
  • Wees op tijd voor de deadlines. Te laat betekent dat je niet meer meedoet voor een plaats en bent gediskwalificeerd.
  • Je bent vrij om bugs vast te leggen om een door jullie zelf gekozen wijze in een door jullie zelf te bepalen tool.
  • Draag zorg voor goed ingevoerde, volledige, en reproduceerbare bugmeldingen. Onvolledige bugmeldingen kunnen de score van een team negatief beïnvloeden.

Beoordeling

Algemeen

  • De gestelde relevante vragen
  • Wat heeft het team gedaan met de antwoorden op de vragen
  • De samenwerking binnen het team
  • Hoe waardevol zijn de gevonden bugs voor de klant

Teststrategie

  • Wat ga je doen (en wat niet)?
  • Hoe sluit dat aan op de vraag van de klant?
  • Waarom ga je dat doen of juist niet doen?
  • Hoe ga je dat precies doen?
  • Met welke mensen en middelen ga je dat doen?

Testverhaal

  • Wat heb je bijgesteld aan je strategie n.a.v. jury vragen en feedback?
  • Wat heb je precies gedaan?
  • Geef je antwoord op de vraag van de klant?
  • Wat waren de resultaten?
  • Welke inzichten heb je verkregen?
  • Waar ben je tegenaan gelopen?
  • Wat heb je er van geleerd?

Bonusvideo´s

Ieder team mag maximaal 3 video´s van maximaal 5 minuten inleveren met iets waarvan zij vinden dat het waardevol is. Dit kan b.v. een bug zijn of een advies voor de klant of een leerpunt van het team of een verkregen inzicht in het product. De jury kiest de 3 beste video´s uit en die krijgen elk bonuspunten.

De jury

De jury bestaat uit de PO en  testers die allemaal zelf een groot netwerk hebben.

De jury heeft geheimhouding over de competitie en zullen geen details bespreken buiten de eigen organisatie van het NK. Dit geldt in alle gevallen.

Ook zal een jurylid zich onthouden van beoordeling van een team van zijn eigen organisatie, directe collega’s of directe zakelijke contacten waar voordeel uit kan blijken bij de beoordeling.

Hiermee laten we de competitie en jurering zo eerlijk mogelijk verlopen.