Op basis van data kunnen mogelijke oorzaken van problemen in het onderwijs duidelijk worden. Uit de verzuimcijfers kan bijvoorbeeld blijken dat leerlingen die in 4 havo zijn blijven zitten significant meer gespijbeld hebben dan leerlingen die zijn overgegaan. Hoewel een probleem als zittenblijvers complex is en vaak meerdere oorzaken heeft, is het duidelijk dat het in ieder geval zinvol is om dit spijbelgedrag aan te pakken. Hiervoor kan er een actieplan ontwikkeld worden.
Als het gelukt is om dit actieplan op te stellen en in te voeren dan hebben de mensen vaak de neiging om weer over te gaan op de orde van de dag. Echter, het is belangrijk om na te gaan of de maatregelen daadwerkelijk ingevoerd zijn zoals bedacht. Tevens is het belangrijk om na te gaan of de maatregelen ook zo ontvangen worden bij de doelgroep als we van tevoren hadden bedacht. Dit noemen we een procesevaluatie. Ik zal een tweetal voorbeelden geven vanuit onze datateams.
Eén van onze datateams werkte aan het hierboven genoemde probleem van te veel zittenblijvers in 4 havo. Uit de verzamelde data bleek dat spijbelen één van de mogelijke oorzaken was. Ze bedachten een systeem met de mentoren om dit aan te pakken: Iedere week zouden de mentoren de spijbelaars hierop aanspreken, ook om erachter te komen waarom er gespijbeld was. Na een paar maanden schoof het datateam aan bij een mentorenoverleg en vroeg naar ervaringen met dit nieuwe systeem. De helft van de mentoren reageerde met “oh ja, dat zouden we doen, maar hier ben ik nog niet aan toegekomen”. Op deze manier wordt het probleem natuurlijk niet opgelost. De mentoren beloofden het nieuwe systeem alsnog te gaan invoeren.
Een ander voorbeeld: Een datateam werkte aan het probleem van tegenvallende rapportcijfers wiskunde in de brugklas. Ze waren erachter gekomen dat leerlingen vooral problemen hadden met breuken en percentages (en niet met verhalende sommen zoals men in eerste instantie dacht). Ze hadden als maatregel hierbij bedacht dat ze iedere les, dus vier keer in de week, zouden starten met een korte interactieve quiz op het bord om meer aandacht te besteden aan breuken en percentages. Dit zou iedere les maximaal vijf tot tien minuten duren. Langer wilden ze hier niet aan besteden, want anders zouden ze volgend jaar waarschijnlijk een probleem krijgen met andere onderwerpen zoals meetkunde, omdat hier dan te weinig tijd aan was besteed. Na een aantal maanden nam het datateam korte interviews af bij de leerlingen om te pijlen hoe dit viel bij de leerlingen. De leerlingen gaven aan het vreselijk te vinden iedere les op dezelfde manier te starten. Ze vonden het saai en sommige leerlingen gaven zelfs aan een “hekel te krijgen aan breuken en percentages”. De maatregel bleek een demotiverend effect te hebben. Het datateam paste de maatregel snel aan. Ze gebruikten de quiz nog maar eens in de week in plaats van bij iedere les.
Kim Schildkamp, e-mail: k.schildkamp@utwente.nl, Twitter: @SchildkampKim
Uit de effectevaluatie, de evaluatie die men uitvoert om te kijken of het probleem is opgelost en of het doel bereikt is, bleek dat de twee bovenstaande datateams uiteindelijk hun probleem hebben opgelost en hun doel hebben bereikt. Het is zeer waarschijnlijk dat dit zonder procesevaluatie niet gelukt was. Het toont aan hoe belangrijk het is om de invoer van zelfs de meest eenvoudige maatregelen te monitoren. De orde van de dag zou zo maar eens in de weg kunnen gaan lopen. Tevens kan iets anders uitpakken als van tevoren bedacht. Datagebruik is een cyclisch proces waarbij er continue data verzameld moeten worden om het kwaliteit van het onderwijs te monitoren en te verbeteren waar nodig en weer te monitoren enz. Datagebruik is dus nooit klaar, het is een oneindig verhaal.