Online toetsing

Een onderdeel van de goodiebag op het NVE-congres  op 17 november, was de verloting van een digitale pen. Vorige week trokken we uit de aanmeldingen een naam  en afgelopen donderdag was het tijd voor de feestelijke uitreiking.

De gelukkige was Peter Bellekom, directeur van NEVI examens. Peter was blij verrast met zijn digitale pen en gaat hem zeker gebruiken. Omdat we Peter kennen als iemand die sterk geïnteresseerd is in innovaties van het examenproces, zijn we benieuwd naar zijn ervaringen.

Achtergrond bij digitale pen

Omdat voor sommige examens het handmatig schrijven of tekenen van groot belang is, is het raadzaam de mogelijkheden van de digitale pen te onderzoeken.
Wat kan ermee? Wat kost het? Is het hufterproof? Werkt het ook met grotere aantallen tegelijk? Hoe krijg je de resultaten in een toetspakket?

In Nederland zijn verschillende systemen op de markt, zoals Mobile Notes, Livescribe en Oxford Paper Show. Ieder met hun specifieke mogelijkheden en kenmerken.

Gezonde ambitie of angst om afgerekend te worden?

Gistermiddag bezocht ik het Onderwijscafé, georganiseerd door PO-Raad, VO-raad en AVS in studio Dudok in Den Haag. Het ging deze keer over toetsen van het onderwijs – het beoordelen en afrekenen of toetsen voor het onderwijs – ter versterking van het onderwijsleerproces.

In de discussie kwamen een heleboel zaken naar voren die meer of minder met toetsen te maken hadden. Maar het meest prominent was wel de angst voor een afrekencultuur die uit de meeste bijdragen sprak. Mogen toetsen van leerlingen wel gebruikt worden in het management-proces, of worden ze dan misbruikt? Kunnen we “21th century skills” wel goed toetsen? Zijn de doelen voor de toetsen wel duidelijk?  Zijn de resultaten het eigendom van de docent zelf? Mogen we wel het eindniveau toetsen als we niet eerst het ingangsniveau getoetst hebben? Kunnen we de leerlingen niet beter pas toetsen als ze er aan toe zijn?

Uiteraard zijn deze vragen wel relevant, maar ik kreeg de indruk dat ze vooral werden opgeworpen om iets niet te doen. Dit ontlokte één van de aanwezigen de uitspraak: “Het onderwijs is de sector die iedere 5 minuten een oordeel geeft, maar zelf niet beoordeeld wil worden!”

Gelukkig was daar de bijdrage van Carola Peters, directeur van Basisschool Het Mozaïek, een “zwarte” school in een prachtwijk in Arnhem. Zij heeft de ambitie om één van de beste scholen in Nederland te zijn. Daar hoort het regelmatig toetsen van leerlingen én van het onderwijsleerproces gewoon bij. Inmiddels wordt haar school regelmatig als voorbeeld genoemd. “Maar als we dan een keer ergens lager scoren dan een andere school met vergelijkbare populatie”, stelde ze: “dan stappen we in de auto en rijden er naartoe; om te zien wat wij beter kunnen doen”.

Kortom, als iedere schoolleider, directeur of bestuurder dezelfde ambitie heeft als Carola Peters, dan is een bezoek van de onderwijsinspectie een feestje en is er feitelijk geen verschil tussen toetsen van en voor het onderwijs.

Afgelopen donderdag hebben docenten de kwaliteit van de online toetsen bij 2College Durendael geëvalueerd.

Na een korte inleiding over de verschillende perspectieven op kwaliteit van toetsen, kregen de docenten een overzicht van de psychometrische kwaliteit van de toetsen die in het afgelopen schooljaar zijn afgenomen.

Het overzicht – uitgedrukt in smileys – viel de docenten nogal tegen; ook al hadden ze de meeste vragen niet zelf gemaakt. Er is duidelijk nog werk aan de winkel.

Vervolgens bespraken de docenten in multidisciplinaire groepen een aantal van de meest extreem scorende vragen. Bijvoorbeeld vragen met een erg hoge of lage P-waarde of met een negatieve Rit-waarde.

Er werd gezocht naar oorzaken van en mogelijke herstelacties voor de extreme scores. Daarbij bleek dat docenten zonder specifieke toetskundige scholing tot goede verbetersuggesties komen. De multidisciplinaire samenstelling van de groepen droeg daar sterk aan bij.

Als voorbeeld een vraag over “de aard van de mode in de crisisjaren”. Deze vraag had een negatieve Rit-waarde. De methode blijkt met “de crisisjaren” de jaren 20 en 30 van de vorige eeuw te bedoelen, terwijl leerlingen die nadenken waarschijnlijk de afgelopen paar jaar als meest nabije crisisjaren zien.

Een vergelijkbare vraag over de “roaring twenties” scoort vanuit psychometrisch perspectief overigens uitstekend.

Afgelopen week was Eduardo Cascallar op bezoek bij Andriessen. Eduardo heeft zijn sporen verdiend op toetsgebied. Hij heeft onder andere gewerkt bij ETS en heeft nu zijn eigen bedrijf in Brussel, Assessment Group International. Daarnaast is hij hoogleraar aan de KU Leuven, met name op het gebied van psychometrie en predictive systems.

Vorige week spraken we met hem over zijn meest recente onderzoeksonderwerp, namelijk Predictive Systems.

Wat is het doel van een predictive system?

Met een ‘predictive system’ kun je – op basis van een aantal invoergegevens een voorspelling doen van een – op het moment van de voorspelling – onbekend resultaat.

We kennen natuurlijk allemaal de weers- voorspelling en we weten dus hoe moeilijk zo’n voorspelling kan zijn. Eduardo Cascallar past dit soort systemen nu met name toe in onderwijssituaties en behaalt daarmee verbluffend goede resultaten.

Waarvoor kun je een predictive system in de praktijk gebruiken?

Eduardo Cascallar liet een aantal praktijkvoorbeelden zien uit het onderwijsveld, waaronder de volgende stelling: “Een leerling behoort wel/niet tot de laagst scorende 20% op het gebied van schrijfvaardigheid“.

Uit de validatie (stap 4) blijkt dat het predictive system in ruim 95% van de gevallen een juist oordeel geeft. Veel meer  zelfs dan menige goede toets!  Bovendien blijkt, dat slechts 25% van het gewicht van de invoerparameters te beïnvloeden is in het onderwijsproces, bijvoorbeeld door gebruik van betere methoden, kleinere klassen of beter opgeleide docenten. 75% wordt dus bepaald door andere factoren, zoals bijvoorbeeld inkomen of opleiding van de ouders.

Op basis van zo’n predictive system kun je dus een deel van de leerlingen een extra programma geven, in de voorbeeldsituatie op het gebied van schrijfvaardigheid.

Zijn toetsen of testen straks dan overbodig?

Natuurlijk hangt het ervan af waarvoor je de toets of test wilt gebruiken en welke goede voorspellende invoervariabelen je kunt vinden. Maar gezien het resultaat op het gebied van schrijfvaardigheid zouden we ons best kunnen voorstellen dat er een Predictive System gemaakt kan worden dat de CITO-toets aan het einde van de basisschool vervangt. Of en hoe dat door scholen, docenten en leerlingen geaccepteerd zal worden is natuurlijk een heel andere vraag.

Een presentatie van Eduardo Cascallar met achtergrondinformatie vind je HIER.