Testen
6
Door actief samen te werken kunnen IT-testers en usability testers profiteren van elkaars kennis. In de praktijk is er nauwelijks sprake van samenwerking. Er is een kenniskloof tussen het IT-testvakgebied en het vakgebied van het usability testen. Waardoor wordt deze kloof veroorzaakt? Hoe kunnen beide vakgebieden elkaar versterken? Op die vragen zoeken we een antwoord.
Usability testen tegenover IT-testen Twee werelden, één probleem en één oplossing
G
eef een groep IT-testers en een groep usability testers de opdracht om dezelfde applicatie te onderwerpen aan een snelle test (het soort test staat vrij). Laat ze de opdracht apart uitvoeren. Laat ze daarna gezamenlijk de resultaten bespreken. De resultaten zullen vanuit een ander perspectief zijn beschreven. IT-testers zijn geïnteresseerd in mogelijke risico’s van de applicatie en de eisen en richtlijnen waar deze aan moet voldoen. Usability testers daarentegen zijn geïnteresseerd in efficiëntie, effectiviteit en voldoening betreffende het gebruik van de applicatie. Naast het verschil in resultaten zijn ook de toegepaste testmethodes verschillend. IT testers stellen beslissingstabellen op en gaan uit van eisen en richtlijnen. Usability testers daarentegen doen een expert review en stellen een gebruikerstest voor om de genoemde aspecten te testen met de eindgebruiker.
IT testers Waar kan de applicatie falen, risicobepaling? Voldoet de applicatie aan de webrichtlijnen? Voldoet de applicatie aan de huisstijl?
Bram Kersten is senior User Experience consultant bij Capgemini.
Release • Juni 2011
Usability testers Hoe duidelijk is de navigatie? Hoe duidelijk is het invoeren van gegevens? Is de lay-out en de inhoud helder?
TMap zich richt op het gestructureerd inrichten van het testproces richt UCD zich op het ontwerpen van nieuwe applicaties waar gebruikersonderzoek onderdeel van uitmaakt. Binnen UCD is usability testen daarom geen doel op zich. Een gebruiksvriendelijke applicatie ontwerpen waarbij de gebruiker centraal staat in het ontwerpproces is het doel van UCD. Usability testen is hier een onderdeel van. Oorspronkelijk hadden beide methodes geen relatie met elkaar. De laatste jaren wordt usability echter meer geïntegreerd in TMap. Zo is usability opgenomen als een testvorm en beschrijft het whitepaper ‘Usability testen volgens TMap NEXT’ de integratie van usability binnen het V-model (zie figuur 1). Desondanks kan van een serieuze integratie nog niet worden gesproken. Het integreren van usability binnen TMap is namelijk moeilijk omdat usability niet direct meetbaar is. Het is vaak een gevoel, een inzicht. Het is afhankelijk van de context en van het soort gebruikers. Het is niet samen te vatten in een controlelijst welke vervolgens ‘afgevinkt’ kan worden. Aanvullend is de IT-testkennis, en TMap in het bijzonder, binnen het usability vakgebied laag.
Knelpunt ondersteuning
Door de relatieve onbekendheid van elkaars vakgebied is er een ongewenste kenniskloof tussen Tabel 1: Het verschil tussen IT-testers en usability testers. beide vakgebieden. Het ontbreekt aan de ondersteuning van elkaar op die punten waar dit nodig TMap en UCD is. Zo lopen beide vakgebieden vaak tegen onderZowel het IT testvakgebied als het usability testvakge- staande problemen aan: bied gebruiken hun eigen werkmethode. Voor IT-tes- • Te laat aanhaken bij het ontwikkelproces: in ters is dit voornamelijk TMap. Voor usability testers beide vakgebieden is er vaak sprake van het te laat ‘aanhaken’ in een project (na de ontwikkelfais dit de User Centred Design (UCD) methode. Waar
7
se) waardoor het verwerken van testresultaten wordt bemoeilijkt. Preventief toetsen vóór de ontwikkeling en tijdens de analyse en ontwerpfase is waardevoller en goedkoper (noodzakelijke aanpassingen zijn makkelijker door te voeren) dan achteraf summatief te testen (het bepalen van de bruikbaarheid en de effectiviteit van de applicatie). Usability testers willen aan het begin en tijdens de ontwikkeling testen om te zorgen dat de applicatie aansluit bij de wensen van de eindgebruiker. IT testers willen vooraan in het project zitten om te zorgen dat wat er wordt gebouwd ook daadwerkelijk testbaar is. Op deze manier wordt er voor een optimale Quality Assurance (QA) gezorgd.
is in eerste instantie niet bedoeld om vast te stellen of de juiste functionaliteit is gebouwd. Het speelt een belangrijke rol bij het vaststellen of de gewenste functionaliteit is gebouwd, met andere woorden of de applicatie goed is gebouwd. Het hoofddoel van usability testen is het verbeteren van de applicatie door een iteratief testproces te doorlopen en verbeteringen direct door te voeren. Het hoofddoel van IT-testen is het vinden van afwijkingen van de applicatie ten opzichte van de specificaties. IT-testen is er dus op gericht om de verschillen tussen de specificaties op te sporen en te analyseren hoe de applicatie is gebouwd om daarmee het risico van implementatie te bepalen. In het boek ‘TMap Next voor resultaatgericht testen, 2006’ wordt dit nog eens benadrukt: ‘Kwaliteit kan er in worden gebouwd en kan er niet in worden getest’.
Dichten van de kenniskloof Door meer kennis over elkaars vakgebied op te doen en hierdoor de kenniskloof te dichten kunnen beide vakgebieden elkaar ondersteunen. Door elkaars werkzaamheden te combineren en te proFiguur 1: Testers willen vooraan in het project zitten om fiteren van elkaars testresultaten kan er efficiënter ervoor te zorgen dat wat er gebouwd wordt ook daadwerke- worden gewerkt. Dit kan alleen door het dichten lijk testbaar is. van de kenniskloof. Daarom is het van belang om onderstaande problemen te erkennen en actief op • De kosten gaan voor de baten uit: testen betaalt te pakken vanuit beide vakgebieden: zich pas in een later stadium uit waardoor in projecten een spanningsveld ontstaat tussen de effi- • Samenwerking tussen IT-testers en usability tesciëntie van het project versus de effectiviteit van ters: Het is van belang dat IT-testers en usability het projectresultaat. Testen wordt dan geassocitesters elkaar in het begin van het project actief eerd met extra werkzaamheden die kunnen woropzoeken en kennis met elkaar delen. Is het ene den ingeperkt of geschrapt. Voor testen in het vakgebied niet aangehaakt, dan zorgt het andere algemeen, en usability testen in het bijzonder, vakgebied voor bewustwording in de organisatie geldt dat er over de gehele Software Development om hier ook aandacht aan te besteden. Werk Life Cycle (SDLC) moet worden gemeten op effisamen aan de Product Risico Analyse (PRA) en ciëntie en effectiviteit, maar dat het zwaartepunt bepaal samen waar gebruikersonderzoek ingezet hiervan links in het V-model moet liggen. wordt en wie welke testen op zich neemt. Woon als IT-tester eens een gebruikerstest bij. Hierdoor Verschillen leer je hoe de applicatie wordt ervaren door de Naast bovenstaande overeenkomsten is er ook een eindgebruiker. Je voelt hierdoor meer betrokkengroot verschil tussen beide vakgebieden, met name heid bij het geheel en je kan je eigen bijdrage in veroorzaakt door het verschil in het testdoel: een beter perspectief plaatsen. • Usability testen is het vaststellen van initiële • Draagvlak voor testen: door een actievere samenwerking kan de noodzaak voor testen bingebruikers requirements en het opsporen van onvolkomenheden met behulp van o.a. prototynen een project meer draagvlak krijgen. Beide vakgebieden moeten aangeven dat testen in een pes om verbeteringen door te kunnen voeren in het ontwerpproces. Dit (toetsings)proces wordt vroeg stadium leidt tot een kwalitatief betere bij voorkeur iteratief doorlopen, zodat de appliapplicatie en dat vroegtijdig aanhaken ook koscatie zo effectief, efficiënt en met zo veel mogelijk tenbesparend is op de acceptatietesten. Samen plezier is te gebruiken. Op deze manier zijn de werking tussen beide vakgebieden leidt tot een juiste requirements op te stellen zodat de goede verhoging van de kwaliteitszorg door het beter integreren en combineren van toetsen en testen applicatie wordt gebouwd. • IT-testen is het vinden van afwijkingen van de en het uitwisselen van (test)resultaten. applicatie ten opzichte van de specificaties. • Uitwisseling van (test)resultaten: door het gebrek IT-testen komt vooral voor in een IT-omgeving en aan kennis van elkaars vakgebied worden verkre-
Usability testers en IT-testers moeten juist aan het begin van het project actief samen werken.
Juni 2011 • Release
8
Usability testen tegenover IT-testen gen resultaten niet optimaal benut. Men is niet op de hoogte waar het ander vakgebied kan profiteren van resultaten. Zo kunnen er, bij het betrekken van een usability expert in de Gebruikers Acceptatie Test (GAT), extra inzichten
worden verkregen in de gebruiksvriendelijkheid van de applicatie. Dit is met name van belang als een echte gebruikerstest in het ontwikkelingstraject ontbreekt. IT-testers weten wellicht knelpunten in de applicatie aan te wijzen door ervaring
‘IT-testers willen meer weten over usability testen’ De kennisgroep Usability Testen van vakvereniging TestNet heeft als doel om de kwaliteit van methoden, technieken en resultaten van usability testen te verhogen. Dit gebeurt door het actief delen van kennis en ervaring via bedrijven en opleidingsinstituten. In januari van dit jaar heeft de kennisgroep via een online enquête een landelijk onderzoek gehouden. 188 IT-testers en 40 usability testers vulden de enquête in. Het doel van de enquête was om vast te stellen wat de huidige en vooral de gewenste kennis over usability testen bij beide vakgroepen is. In dit artikel richten we ons voornamelijk op de resultaten van de ITtesters. De volledige resultaten staan op: http:// www.testnet.org/werkgroepen.html. De belangrijkste onderzoeksresultaten op een rij: IT-testers hebben verschillende opvattingen over wat usability testen inhoudt. De een denkt aan een kostbare test in een geavanceerd lab, de ander meent dat usability testen door een gebruikersacceptatietest is te vervangen. Een usability lab Gedrag observatie methoden (think aloud protocol, eye tracking, observation) Paper prototyping
Nooit van Wel van Van gehoord gehoord gehoord maar en kan weet niet wat zeggen wat het is het is
Mee oneens Neutraal Mee eens Zeer mee eens 0
20
40
60
80
100
120
Figuur 2: Response bij de stelling: “Meer aandacht voor usability tests kan de kwaliteit van ICT drastisch verhogen” De meeste IT-testers zijn ervan overtuigd dat usability testen tot een kwalitatief beter eind product leidt. Er is consensus dat meer aandacht voor usability aspecten de kwaliteit van de ontwikkelde software sterk kan verhogen. De groep respondenten verwacht zelfs dat meer aandacht voor usability de kwaliteit van eindproducten beter ten goede komt dan meer aandacht voor IT-testmethoden. Een kwart van de respondenten geeft aan dat zowel de testmanager, projectmanager als zijn klant/ opdrachtgever het nut inzien van usability testen. Bij meer dan de helft van de projecten zien testmanager, klant of opdrachtgever het nut in van usability testen of staan ze daar neutraal tegenover.
Wel eens gebruikt/ uitgevoerd
Vaak gebruikt/ uitgvoerd
Figuur 1: Response bij een van de vragen naar het kennis en ervaringsniveau van de IT-testers. Een deel van de IT-testers heeft een opleiding gevolgd die aansluit bij het usability vakgebied. Zoals psychologie, sociologie of een opleiding met de focus op methodiek. Van de IT-professionals geeft 43 procent aan één of meerdere usability technieken gebruikt of vaak gebruikt te hebben. Vier procent heeft grondige ervaring opgebouwd in het werken met een of meerdere usability methoden. Respondenten die eerder hebben deelgenomen aan usability projecten zeggen usability testen te kunnen integreren in het eigen werk.
Release • Juni 2011
Zeer mee oneens
Zeer mee oneens Mee oneens Neutraal Mee eens Zeer mee eens 0
20
40
60
80
100
120
Figuur 4: Response bij de stelling: “Ik vind het een verrijking van mijn functie om meer bezig te kunnen zijn met usability testen.”
9
met eerdere, soortgelijke applicaties. Resultaten ontwerptraject input leveren voor een testscript. van tussentijdse gebruikerstoetsen leggen Uitwisseling van kennis draagt op deze manier knelpunten bloot waar IT-testers extra aandacht bij aan de ontwikkeling van de applicatie. aan kunnen besteden. Aanvullend kan bijvoor- • Kwaliteit van de testbasis: door beide vakgebiebeeld ook een uitgevoerde taakanalyse binnen het den actief vanaf het begin te betrekken neemt de
Test / Projectmanager ziet het nut in van usability testen
Zeer mee eens
5%
1% 2%
Klant ziet het nut in van usability testen
17%
1%
7%
1% 0%
5%
Zeer mee oneens
Zeer mee eens
0%
1%
8%
20% 6% 1%
Zeer mee oneens
1% 4%
0% 0%
3%
0%
13%
1% 1%
2%
Figuur 3: Response bij de vragen of klant en projectmanager het nut van usability testen inzien. IT-testers willen weten wat usability testen inhoudt. Usability testers hebben minder behoefte aan kennis over IT-testen. De IT-testers zien het toepassen van usability methoden als een verrijking van hun functie. De usability testers zien de toegevoegde waarde van IT-testen wel maar hebben minder behoefte aan kennisdeling dan de IT-testers. IT-testers willen usability testen maar de IT-tester ziet zichzelf niet als usability test expert. Het is dan ook niet verwonderlijk dat ze aangeven meer kennis en kunde te willen vergaren. Ze wensen meer informatie over Return on Investment (ROI) en ze willen kennis en ervaring delen met usability testers.
10%
21% (Zeer) oneens Neutraal (Zeer) mee eens 69%
Figuur 5: Response welke aangeeft dat de IT-tester behoefte heeft om kennis en kunde over usability testen te verkrijgen. Eén van de vragen was of de IT-tester behoefte heeft aan gegevens die kunnen helpen om een usability test ‘verkocht’ te krijgen, zoals bijvoorbeeld een business case, een ROI, of een best practice.
De usability testers vinden dat usability testen hun specialiteit is. Zij zeggen:“Ik kan wat jij kunt maar jij kunt niet wat ik kan.” De IT-testers zeggen daarentegen:”Ik kan wat jij kunt en jij kunt wat ik kan.”
Conclusie en vervolgstappen Uit het onderzoek komt naar voren dat IT-testers meer willen weten over usability testen en deze testen ook willen uitvoeren. Aangezien de opvattingen over usability testen uiteenlopen is een eenduidig beeld gewenst. Een deel van de managers, project leden en klanten ziet het nut in van testen, maar nog lang niet iedereen is overtuigd. Om usability testen vaker in projecten te integreren willen we de groep aanspreken die het nut nu al inziet. Door deze groep actief te betrekken bij kennisuitwisseling en bedrijfsbezoeken kan de samenwerking tussen IT-testers en usability testers worden vergroot. De trend is om eerder in het proces te testen en binnen QA (Quality Assurance) meer toetsgericht werk te verrichten. Testers die een business case willen voorleggen aan projectmanagers kunnen service offerings met elkaar delen. Ook kunnen we ROI’s beter inzichtelijk krijgen.
Er wordt niet optimaal geprofiteerd van elkaars kennis en inzichten.
Heeft u interesse in kennisdeling, wilt u lid worden van de kennisgroep of wilt u meer informatie? Stuur een e-mail met uw verzoek naar
[email protected] Dit artikel is geschreven door de kennisgroep Usability Testen van TestNet bestaande uit: Anne van Brussel (voorzitter), Auke Johan Moor, Bram Kersten, Eddy Bruin, Jeroen Bultje, Rien Krol en Thomas Veltman.
Juni 2011 • Release
10
Usability testen tegenover IT-testen
Zonder een wederzijdse kennis overdracht blijft er een kloof tussen beide testvakgebieden bestaan. (foto Bob Joziasse)
Het dichten van de kenniskloof tussen beide vakgebieden is van erg groot belang.
Release • Juni 2011
kwaliteit van de toetsbare documentatie toe. Een 2. Maak kennis in het begin van een project en werk van deze documenten is bijvoorbeeld het intersamen aan de PRA. Sta open voor input vanuit het andere vakgebied en maak duidelijk wat voor actieontwerp, welke de front-end van de applicatie specificeert. De usability tester onderwerpt jouw vakgebied van belang is. het document aan een kritische review op basis 3. Laat (interactie) ontwerpen al tijdens de ontwerpvan de requirements die gesteld worden aan de fase toetsen door IT testers. Betrek testers in het ontwerpproces en gebruik hun (mogelijke) kennis testbasis, welke zijn verkregen van de IT-tester. van vergelijkbare systemen. Conclusie 4. Wissel documentatie uit. Voorkom dubbel werk Door een verschil in testdoelen van beide testvaken zorg ervoor dat er optimaal geprofiteerd wordt gebieden, een aantal overeenkomstige problemen van het werk uit beide vakgebieden. en een kenniskloof blijkt er van samenwerking 5. Betrek usability specialisten actief bij de verschilvaak geen sprake. Er wordt niet optimaal geprofilende testen in het testproces. Dit kan extra teerd van elkaars kennis, inzichten en bevindingen. inzicht geven voor het ontwerpproces en mogeOm de samenwerking tussen beide vakgebieden te lijk voor volgende releases. bevorderen is het dichten van de kenniskloof tus- 6. Zorg na oplevering van het systeem voor een sen beide testvakgebieden noodzakelijk. Alleen goede nabespreking. Analyseer de positieve en een integratie van usability binnen TMap is hiernegatieve punten in het gehele proces en deel voor niet de juiste oplossing. Zonder een wederelkaars kennis, inzichten en bevindingen. zijdse kennisoverdracht blijft er namelijk een kloof tussen beide testvakgebieden. Er moet daarom een In de praktijk is actief samenwerken vaak lastig. kruisbestuiving plaatsvinden van kennis. Beide Bovenstaande stappen helpen beide vakgebieden vakgebieden moeten hierbij hun eigen specialis- om meer kennis te nemen van elkaars vakgebied me behouden maar de samenwerking tussen beide waardoor de bestaande kenniskloof kleiner wordt. vakgebieden moet worden gestimuleerd: Hierdoor kunnen beide vakgebieden elkaar verster1. Betrek beide vakgebieden bij de project intake. Is ken, inspireren en ondersteunen en zorgen ze voor een vakgebied afwezig dan moet het betrokken een optimalisering en versterking van de Software vakgebied ervoor zorgen dat het andere vakgebied Development Life Cycle; twee werelden, één proook betrokken wordt. bleem en één oplossing. «
