Toetsen zijn wat mij betreft de grote plaag van het onderwijs. En niet alleen om de bekende redenen. Natuurlijk, vaardigheden en vooral attitudevorming zijn moeilijk te toetsen, maar die constatering zal toetskundigen slechts aanmoedigen hun creativiteit te verhogen. En, natuurlijk, de opzichtige aanwezigheid van een toets verandert het leergedrag van de student, maar die constatering moedigt de toetsdeskundigen alleen maar aan om de representativiteit van toetsen te verbeteren.

Nee, ik heb nog een andere zorg en die betreft de fundamentele onjuistheid van het idee dat je met behulp van een toets kunt vaststellen of een student zich de kwalificatie heeft eigen gemaakt die getoetst moet worden. Ik kan mij vergissen, maar volgens mij zit er een heel grondige fout in het idee dat een 6 voldoende is.

Dit is mijn redenering. Stel je een toets met 40 meerkeuzevragen met vier opties voor. Corrigeer voor gokken en hanteer dan een absolute cesuur. Dat betekent dat een student 27 vragen goed moet hebben voor een voldoende. Stel je dan drie studenten voor die de toets als volgt hebben gemaakt:

• Ans heeft vraag 1 t/m 27 goed, de rest fout
• Bas heeft vraag 1 t/m 13 fout, de rest goed
• Cor heeft vraag 14 t/m 26 fout, de rest goed

Interessant genoeg is er maar één vraag die ze alledrie goed hebben (vraag 27). Ironisch genoeg is dat ook nog eens hoogstwaarschijnlijk de eerste vraag die uit de toets verwijderd zal worden als er een itemanalyse wordt gedaan. Want een vraag die iedereen goed heeft is een vraag die niet selecteert tussen de betere en de slechtere studenten, en daar heb je dus niets aan, toetstechnisch beschouwd.

En kijk ook goed naar die tien vragen die ze hebben kunnen gokken, vragen waarvan je kunt aannemen dat de studenten de betreffende stof potentieel niet beheersen. Stel dat dat bij Ans vraag 1 t/m 5 en vraag 14 t/m18 zijn, bij Bas vraag 19 t/m 23 en 28 t/m 32 en bij Cor vraag 6 t/m 10 en 33 t/m 37.

Deze drie studenten zullen in dit geval het tentamen halen. Terecht. Ze zijn geen false positives. Maar toch deelt Ans maar 10% van haar kennis met Bas (de antwoorden op vraag 24 t/m 27) en ook maar 10% van haar kennis met Cor (de antwoorden op vraag 11 t/m 13 en 27). En diezelfde percentages gelden voor Bas en Cor (die met Ans de genoemde antwoorden delen en met elkaar alleen de antwoorden op 27 en 38 t/m 40).

Dat moet je je eens concreet voorstellen. Je zit in een sollicitatiecommissie en je selecteert in eerste instantie op kandidaten met de juiste kwalificatie. Dat klinkt betrouwbaar. Maar het is een ramp! Ze hebben van kandidaat tot kandidaat potentieel immers maar 10% van dezelfde kwalificatie met elkaar gemeen. Moet je je voorstellen, een huisarts of een automonteur die maar in één van tien gevallen tot dezelfde diagnose komt als een ander. Hebben die dezelfde kwalificatie? Wat is dat dan, een kwalificatie?

Natuurlijk, ik heb het meest ongunstige scenario geschetst. Maar het is een mogelijk scenario. Zelfs al gebruik je de allerbeste toets die maar denkbaar is. En het kwaad zit niet in het feit dat ik in mijn redenering een meerkeuzetoets gebruik. Het gaat om de 6 die voldoende is, om de ruim 40% van de vragen die een kandidaat fout mag hebben. Bij open vragen kunnen drie studenten alledrie een voldoende halen zonder dat er überhaupt één vraag bij is die ze alledrie goed moeten hebben. Reken maar na.

Ans, Bas en Cor hebben de toets gehaald, minimaal weliswaar, maar toch, gewoon terecht gehaald. Alleen hebben ze de toets op heel verschillende gronden gehaald, op maximaal verschillende gronden.

Wellicht kunnen die gronden niet zo maximaal verschillen. Wellicht kun je de ene vraag alleen maar goed maken als je ook de andere vraag goed maakt, of de ene toets alleen maar halen als je ook de andere haalt.

Iedereen die op wat voor manier dan ook wel eens met toetsen te maken heeft gehad, weet echter dat die onderlinge afhankelijkheid er niet is. En de toetsdeskundigen zullen je bovendien vertellen dat die afhankelijkheid volstrekt ongewenst is. Was die afhankelijkheid er immers wel dan zou je niet zoveel vragen en niet zoveel toetsen nodig hebben. Eén toets met maar één vraag zou dan namelijk genoeg zijn.

Heeft deze kandidaat de juiste kwalificatie?

Dat lijkt me de enige correcte vraag. Maar het is geen vraag die in een toets past. Het is ook geen vraag die je met een diploma kunt afdekken. Dat moeten we ook helemaal niet willen. Dat zijn uitwassen van de papieren verdubbeling die het onderwijs is binnengeslopen. Het wordt de hoogste tijd dat we weer mensen gaan opleiden in plaats van studenten toetsen laten afvinken om diploma’s te halen!