Hoofdstuk 2: Het toetsproces (PDF)

## Het toetsproces ontleed en kwaliteitseisen aan toetsen ### Hoofdstuk 2 ### Het toetsproces ontleed en kwaliteitseisen aan toetsen Het toetsproces betreft alle facetten die met het vervaardigen van toetsen te maken hebben. Het vangt aan met het doel van de toetsing. Waarom toetst u en wat wilt...

## Het toetsproces ontleed en kwaliteitseisen aan toetsen ### Hoofdstuk 2 ### Het toetsproces ontleed en kwaliteitseisen aan toetsen Het toetsproces betreft alle facetten die met het vervaardigen van toetsen te maken hebben. Het vangt aan met het doel van de toetsing. Waarom toetst u en wat wilt u met de toetsing bereiken? Vaak toetsen docenten om cijfers te produceren. De voortgang moet immers gemeten worden en veel cijfers geven blijk van gedegen voortgang. Dit is echter schijn. Veel cijfers zeggen niets; het is een mist die opdoemt en de echte voortgang van leerlingen verhult. Aan de andere kant kan te weinig toetsing zorgen voor een te scherp beeld van de voortgang van de leerling. Een ander belangrijk onderdeel van toetsing heeft te maken met de inhoud. Toetst u wel wat u hebt behandeld? Hebt u van tevoren duidelijke doelen gesteld aan de inhoud van het onderwerp en weet u dit op de juiste manier in de toetsing naar voren te brengen? Dit hoofdstuk geeft uitleg aan welke standaarden een toets moet voldoen. Welke standaardeisen er worden gesteld en op welke wijze een toets tot stand kan komen. ### Het toetsproces Elk toetsproces start met dezelfde stappen die de randvoorwaarden van de toets waarborgen. Een kwalitatief goed proces van toetsing begint bij het helder formuleren van leerdoelen waar de toets op moet aansluiten. Er moet per onderwerp een passende toetsvorm gekozen worden. Dit kan, afhankelijk van het onderwerp of de vaardigheden die getoetst moeten worden, een opdracht, een meerkeuzetoets, een open-vragentoets of een gemengde (zowel meerkeuze- als open-vragen) toets zijn. Bij de toetsconstructie moet verder, zoals in hoofdstuk 1 beschreven, expliciet worden gelet op de betrouwbaarheid en validiteit. Het toetsproces start doorgaans met het toetsdoel - soms leerdoel genoemd. Het toetsdoel geeft aan wat de leerling in een bepaalde periode moet kennen en kunnen. Met de toets sluit de leerling een periode of een onderwerp af. Een goed geformuleerde toets- of goed geformuleerd leerdoel voldoet aan de volgende eisen: - Kennis, inzichten of vaardigheden die de student verworven moet hebben, zijn zo concreet mogelijk benoemd. - Gedrag dat de student moet kunnen vertonen, is beschreven in observeerbare activiteiten. Een toets moet vervolgens kunnen bepalen of de student de leerdoelen voldoende beheerst. De toetsing dient dus altijd een duidelijke relatie te hebben met de leerdoelen van een onderdeel van het curriculum dat voor dat leerjaar geldt. Het toetsproces impliceert meer dan het construeren van toetsvragen: het is een proces dat verschillende fasen en stappen kent. Elk toetsproces is in essentie te herleiden tot een viertal fasen waarin steeds een ander aspect op de voorgrond staat. Toetsproces = Doelbepaling + Meten + Cijfergeven + Beslissen Deze ontleding van het toetsproces geldt bij zowel de 'klassieke' toetsvormen (zoals open en gesloten vragen) als bij de 'modernere' varianten (zoals de casustoets). De grenzen tussen de fasen zijn niet precies te trekken, maar deze vierdeling is als analytisch denkkader zeer goed hanteerbaar. Elke fase is weer onder te verdelen in stappen die in de volgende subparagraaf worden uitgewerkt. ### Fasen in het toetsproces #### Doelbepaling De fase waarin het doel van de toets wordt bepaald, gaat om: - het formuleren van de bedoeling(en) van de toets - het formuleren van de doelstellingen - het concretiseren van de doelen. Deze fase hoeft niet bij iedere toets te worden doorlopen, omdat de doelstellingen van een toets meestal voor een aantal jaren vastliggen. Bovendien is niet iedere docent zelf verantwoordelijk voor de doelen. De verantwoordelijkheid hiervoor ligt meestal bij de vaksectievoorzitter of bij de leerdoelen/eindtermen die per leerjaar door het ministerie van Onderwijs of College Van Examens zijn vastgelegd. #### Meten De meetfase omvat alle stappen die te maken hebben met het vormgeven en afnemen van een toets en wel in een vaste volgorde: - kiezen van de toetsvorm vanuit de doelen - construeren van het toetsinstrument - vooraf controleren van de toetsvragen - samenstellen van de toets - afnemen van de toets - nakijken van de toets, inclusief een kwaliteitscontrole. Deze stappen zijn op vrijwel alle toetsvormen toepasbaar. Het construeren van vragen is bijvoorbeeld bij zowel de 'klassieke' als bij de 'innovatieve' toetsvormen nodig. #### Cijfergeven De derde fase betreft het waarderingaspect: - bepalen van de zak/slaaggrens - toekennen van cijfers aan de scores. De fase van het cijfergeven is wellicht voor leerlingen het belangrijkste, in ieder geval de spannendste. Maar ook voor docenten is deze fase belangrijk. Het is namelijk niet vanzelfsprekend dat elke vraag hetzelfde standaardaantal punten krijgt, zeker niet bij open vragen. Een docent dient zich te realiseren dat sommige vragen belangrijker zijn dan andere en dat dit consequenties heeft voor het bepalen van het gewicht of het aantal punten van een vraag. Ook komt het voor dat een toets minder betrouwbaar is dan verwacht, waardoor minder waarde kan worden gehecht aan de toegekende cijfers. Kortom, het geven van cijfers lijkt vrij simpel, maar vergt meer aandacht van docenten dan gebruikelijk is. #### Beslissen In de laatste fase worden beslissingen genomen op basis van de in de voorafgaande fase toegekende cijfers: - nemen en verantwoorden van beslissingen op grond van de toegekende cijfers - rapporteren van de toetsuitslag. In de meest eenvoudige vorm bestaat de toetsuitslag uit niet meer dan het cijfer plus de consequentie voor de (examen)leerling: meestal gezakt of (voorwaardelijk) geslaagd, zonder verdere toelichting. Een toetsuitslag is echter ook nuttig als feedbackinstrument voor zowel leerling als voor docent. ### Tabel 2.1 fasen in het toetsproces | Fase | Stappen | |---|---| | **Doelbepaling** | | | | 1. Waarom beoordelen en toetsen: het formuleren van de bedoeling(en). | | | 2. Het formuleren en concretiseren van de doelen. | | **Meten** | | | | 3. Het kiezen van de toetsvorm. | | | 4. Het construeren en vooraf controleren van de toetsvragen. | | | 5. Het samenstellen van de toets. | | | 6. Het afnemen van de toets. | | | 7. Het nakijken van de toets, inclusief een kwaliteitscontrole. | | **Cijfer geven** | | | | 8. Het bepalen van de zak/slaaggrens. | | | 9. Het toekennen van cijfers aan de scores. | | **Beslissen** | | | | 10. Het kunnen verantwoorden van de beslissing. | ### Stappen in het toetsproces De bovengenoemde fasen van het toetsproces kunnen worden uiteengerafeld in tien concrete stappen (zie tabel 2.1), die hierna worden toegelicht. #### Stap 1: Waarom beoordelen en toetsen: formuleren van de bedoeling(en) In het algemeen omvatten toetsen alle activiteiten die tot doel hebben beslissingen over leerlingen te nemen. Dat kunnen summatieve beslissingen zijn (zakken of slagen), of formatieve beslissingen (bijsturend). #### Toetsen als selectie-instrument Wanneer, voorafgaand aan het doorlopen van het onderwijs-programma moet worden nagegaan of een leerling geschikt is voor de opleiding, dan heeft de toets selectie tot doel. Deze toets wordt vaak door het Cito gedaan door middel van de befaamde Cito-toets. #### Toetsen als leermiddel en voortgangscontrole Toetsen kunnen tijdens de onderwijsperiode worden gebruikt om studenten en docenten inzicht te geven in de mate waarín leerlingen zijn gevorderd in het bestuderen van een hoofdstukonderdeel of onderwerp. Wanneer toetsen op een zorgvuldige manier worden ingepland, kunnen ze deel uitmaken van een actief leerproces. Bij de talen kan dit het leren van woordjes zijn en bij zaakvakken kan dit gaan over het bestuderen van de begrippen. Toetsen die bij wijze van voortgangscontrole zijn afgenomen, beogen het leerproces te sturen en hebben een formatieve functie. Het belang van dit soort toetsen is de feedbackfunctie. U kunt tijdig problemen bij begrip of het leren van de stof bij de leerling constateren en waar nodig bijsturen. Hierdoor kunnen eventuele hiaten in kennis en vaardigheid worden ontdekt. Naast de feedbackfunctie kan men ook spreken over de feed-forwardfunctie. Een toets wordt dan gebruikt om het studiegedrag van de leerling te sturen, niet zozeer om de lacunes in de kennis op te vullen, maar om aan te geven wat precies moet worden bestudeerd en tot welk niveau. Een toets representeert immers de doelen die behaald moeten worden; zo kan een leerling erachter komen waar de nadruk op wordt gelegd. De uitslag van een formatieve toets geeft de docent informatie in welke mate het onderwijs een opbrengst heeft gehad. Zichtbaar wordt bijvoorbeeld welke onderwerpen goed zijn blijven hangen in de hoofden van leerlingen en van welke onderdelen ze niet of minder afweten. Deze kunnen dan alsnog extra aandacht krijgen. #### Categorisering en classificatie van doelen Doelstellingen geven aan wat leerlingen van het onderwijs moeten opsteken. Dat is bijvoorbeeld feitenkennis die vrijwel uitsluitend een beroep doet op het reproduceren van kennis, maar van leerlingen mag ook worden verwacht dat ze deze feitenkennis in bepaalde situaties kunnen toepassen of er anderszins mee kunnen omgaan. Deze doelen, in de praktijk aangeduid met reproducerende kennis, inzicht en toepassen, vallen onder de noemer cognitieve doelstellingen. Daarnaast zijn opleidingen ook gericht op het bijbrengen van vaardigheden. De classificatie van Bloom e.a. (1972) is nog steeds de bekendste en meest gehanteerde. Doelstellingen worden door hen onderverdeeld in drie (hoofd) categorieën: - **Cognitieve doelstellingen:** alles wat te maken heeft met verstandelijk functioneren. - **Affectieve doelstellingen:** alles wat te maken heeft met emoties en andere gevoelsaspecten, met afkeuren en voorkeuren, en houdingen (attitudes). - **Psychomotorische doelstellingen:** alles met betrekking tot motorisch handelen, zoals het vervaardigen van een model bij handvaardigheid, of het metselen van een muur. Iedere categorie is vervolgens verder onderverdeeld aan de hand van een nadere classificatie, ook wel aangeduid met taxonomie. Voor cognitieve doelstellingen hanteren Bloom e.a. (1972) de volgende classificatie: - feitenkennis - samenvatten - toepassen - analyseren - synthetiseren - evalueren. Deze rangorde is niet willekeurig. Het doorlopen van de verschillende klassen vergt een steeds hoger intellectuele activiteiten. Het is niet voor niets dat vmboʼers vooral bezig zijn met feitenkennis en vwo'ers met analyseren en synthetiseren. Zo'n onderverdeling is daarom een belangrijk hulpmiddel bij het inhoud geven van de toets om ervoor te zorgen dat de vragen in de toets een beroep doen op een breed scala van intellectuele vaardigheden en niet uitsluitend reproductie. #### Stap 2: Het kiezen van de toetsvorm De keuze voor een toetsvorm dient aan te sluiten bij de doelstelling die de docent wil meten. Met behulp van een toets moet de beoogde leeropbrengst kunnen worden gemeten. Zo is het bijvoorbeeld nauwelijks geloofwaardig om met een meerkeuzevraag het inzicht van leerlingen te toetsen. Daar zijn open vragen meer geschikt voor. De schriftelijke toetsvormen met open of gesloten vragen zijn nog steeds de meest voorkomende, ondanks het feit dat een aantal innovatieve toetsvormen hun intrede hebben gedaan. Onder open toetsvormen vallen essay-, korte-antwoord- en aanvulvragen. Gesloten toetsvormen zijn: ja/nee-, juist/onjuist-, meerkeuze- en matchingsvragen. Bij open toetsvragen moeten leerlingen zelf een antwoord formuleren, terwijl bij gesloten vragen een van de alternatieven moet worden aangekruist. Minder bekend zijn de casustoetsen die vooral worden toegepast in praktijkopleidingen of bij vakken als economie of wiskunde. Hierbij kunnen leerlingen hun kennis gebruiken in het beantwoorden van vragen die over een voorbeeld (case) gaan. #### Stap 3: Het construeren en vooraf controleren van toetsvragen Voor welke toetsvorm men ook kiest, het is altijd noodzakelijk om vragen te construeren. Omdat veel docenten huiverig zijn om reeds gebruikte toetsvragen in de nieuwe toets op te nemen, is het construeren van vragen een steeds terugkomende klus. Het is denkbaar dat de inspiratie na verloop van tijd over eenzelfde onderwerp opraakt. Toch bestaan er meestal meer bronnen dan verwacht, waaruit docenten kunnen kiezen (Van Berkel e.a., 2006). Zie tabel 2.2. De beste methode voor het construeren van toetsvragen is uit te gaan van de doelstellingen en die vervolgens concretiseren in de vorm van vragen. Op die wijze geconstrueerde vragen dragen de beste garantie in zich dat de toets representatief is voor de doelen en zo dus inhoudsvalide is. ### Tabel 2.2 Inspiratiebronnen voor het construeren van vragen (Van Berkel e.a., 2006) | Inspiratiebron | Beschrijving | |---|---| | **Doelstellingen** | Toetsen dienen na te gaan in hoeverre de leerling de doelen beheerst en moeten dus een inhoudelijke relatie hebben met de doelen. Nu zijn deze doelen/eindtermen vaak globaal van aard. Nodig zijn daarom concretiseringen in de zin van beschrijvingen van wat leerlingen moeten kennen en kunnen, nadat zij het onderdeel hebben doorlopen. Een toetsvraag is dus een ultieme operationalisatie van een doelstelling. | | **Leerstof** | De leerstof dient een goede afspiegeling te zijn van de doelen; daarmee is de leerstof een goede inspiratiebron. | | **Vervolgopleiding** | Soms is het goed om bij een mbo-, hbo- of wo-opleiding te kijken naar de eisen die zij stellen aan de studenten. Het gaat hier om niet meer dan het opdoen van een idee. Het is niet de bedoeling dat een vooropleiding de stof van een vervolgopleiding gaat toetsen. Primair uitgangspunt zijn de doelen van het 'eigen' onderwijs. | | **Werkveld** | Soms richten bepaalde opleidingen, zoals vmbo-basisberoep, zich op een bepaalde beroepsuitoefening. De werkzaamheden in het toekomstig beroep kunnen inspiratie geven voor het maken van nieuwe vragen. | | **Antwoorden op gebruikte vragen** | De uiteenlopende antwoorden van studenten op open toetsvragen kunnen inspiratie geven voor nieuwe vragen of afleiders (dit zijn niet-correcte alternatieven bij meerkeuze- of gesloten vragen. Het komt regelmatig voor dat het vinden van goede afleiders bij gesloten vragen een lastige klus is. | #### Stap 4: Het controleren van de toetsvragen Wanneer de toetsvragen zijn geconstrueerd, moet voorafgaand aan de toetsafname- een indicatie worden verkregen over de kwaliteit van elke vraag door de vragen zorgvuldig te controleren. Alle toetsvragen moeten voldoen aan inhoudelijke en vormtechnische eisen. Dit zijn de zogenaamde kwaliteitseisen. Over een aantal eigenschappen van een toetsvraag is vooraf een oordeel te geven. Bijvoorbeeld over de relevantie, eenduidigheid, objectiviteit en specificiteit. Een dergelijke controle kan bijvoorbeeld gebeuren door de vragen aan collega's voor te leggen of zelfs aan uw partner of vriend. Als zij op totaal andere antwoorden komen dan in het correctievoorschrift staan, dan stuurt de vraag niet voldoende. Over aspecten als de moeilijkheid en het onderscheidingsvermogen van een vraag is het niet altijd mogelijk om vooraf een oordeel te geven. Wel kan er een inschatting gemaakt worden of de vraag goed of minder goed gemaakt zal worden. Dit heet de P-waarde. #### Stap 5: Het samenstellen van de toets Een toets is meer dan een verzameling vragen. De toets als geheel zal inhoudsvalide moeten zijn. Dat wil zeggen, de toets moet meten wat men wil meten. Om dit te bereiken is het in ieder geval noodzakelijk dat de doelstellingen evenwichtig in de toets aan de orde komen. Wanneer bijvoorbeeld 'het verkrijgen van inzicht in..' een belangrijk doel is, dan is een toets ongeschikt als die slechts uit vragen bestaat die de reproductiekennis toetst. Een toetsmatrijs kan hierbij helpen. Een toetsmatrijs kan laten zien welk type vragen (kennis, toepassing, begrip, inzicht) en in welke hoeveelheid de vragen in de toets voorkomen. #### Stap 6: Het afnemen van de toets Het spreekt vanzelf dat de condities waaronder een toets wordt afgenomen, zoals het lokaal, de temperatuur n een rumoerige groep, een belangrijke invloed kunnen hebben op het resultaat. De leerlingen moeten in ieder geval voldoende tijd krijgen om de toets af te maken. Verder moeten de leerlingen vooraf weten wat ze kunnen verwachten. Wat zijn de onderwerpen van de vragen? Welke vragen krijgen een hoog gewicht bij de beoordeling? Wanneer kunnen leerlingen het cijfer te horen krijgen? Er is niets op tegen om leerlingen goed op de hoogte te brengen, zolang u de vragen niet vooraf openbaar maakt. #### Stap 7: Het nakijken van de toets Het nakijken van de toets hoeft bij gesloten vragen weinig tijd te kosten als dit per computer gebeurt. Met behulp van de antwoordssleutel kan de uitslag in korte tijd bekend zijn. Bij open vragen die per stuk nagekeken dienen te worden, vergt het nakijken heel wat meer tijd. Gangbaar is een uur per tentamen per leerling. Bij kleinere toetsen vergt het nakijken vaak een kwartier per toets per leerling. Dit lijkt veel tijd, maar u moet bedenken dat het handwerk is. Het hanteren van een correctievoorschrift is onontbeerlijk. Na verloop van tijd zal de geest minder nauwkeurig worden. Een correctievoorschrift wijst de bezoedelde geest op het juiste pad. #### Stappen 8 en 9: Cijfers geven In het onderwijs dragen toetsen bijna altijd een waardering met zich mee. Rapporten en cijferlijsten drukken de waardering uit die docenten hebben voor de leerprestaties van de leerlingen. Het waarderingscijfer voor deze leerprestaties wordt ontleend aan een cijferschaal die - theoretisch gezien - loopt van 0 tot 10. Voor iedere stap op deze schaal geldt een verbale kwalificatie. Zo is een acht 'goed' en een vijf 'onvoldoende' (Wijnen, 1993). Dergelijke kwalificaties impliceren dat er ergens grenzen zijn getrokken tussen het wel of niet beheersen van de leerstof. Dat is echter niet eenvoudig, omdat er geen hanteerbare methode is die in elke situatie toepasbaar is. Daarom resteert docenten niet anders dan uit het beschikbare aanbod een methode te kiezen die het beste is voor de gegeven situatie. Daarvoor zijn wel een aantal criteria beschikbaar; daarover later meer. #### Stap 10: Beslissen Beslissingen binnen het onderwijs hebben een zeer bijzondere plaats gekregen. De telkens terugkerende spanning in een examen/toets/tentamenperiode kan dit afdoende duidelijk maken. Vreemd is dit overigens allerminst, want het zijn juist de beslissingen die een belangrijke betekenis hebben voor de (nabije) toekomst van leerlingen. Alleen al op die grond moet er met grote nauwkeurigheid en zorgvuldigheid worden bepleit bij het toekennen van cijfers aan leerlingen. Als veel leerlingen een toets maken, dan komt daar een gemiddelde uit. Vaak is het zo dat een gemiddeld toetscijfer tussen de 6.0 en 7.0 zweeft. Toetsgemiddeldes van een 5.0 of een 7.5 komen zelden of nooit voor. Als dit wel het geval is, dan is de toets te moeilijk of te gemakkelijk geweest. Docenten kunnen dan via een N-term (normering) het gemiddelde cijfer bijsturen. Doorgaans telt bij een berekening van het cijfer een N=1. (bijvoorbeeld bij een berekening waarbij het aantal behaalde punten wordt gedeeld door het maximaal te behalen aantal punten, vermenigvuldigd met 9. x/y *9 + N = cijfer.) Bij een te hoog gemiddelde kan de docent beslissen om de N = 0,5 te maken.