Online toetsing

Alles wat je altijd al wilde weten over digitale toetsing

Posts Tagged ‘docent

Leveranciersdag Digitaal Toetsen SURF 9 oktober 2012

with 3 comments

Afgelopen dinsdag vond de leveranciersdag Digitaal Toetsen van SURF plaats. De bijeenkomst was strak en met zorg georganiseerd. Uitleg werd gegeven over het programma Toetsing en Toetsgestuurd leren. Het belang van SURFconext werd duidelijk gemaakt. Door SURFconext is het mogelijk single-sign-on te realiseren voor verschillende SAAS applicaties. Daarnaast is het mogelijk om zo samen te werken over de grenzen van universiteiten en hogescholen heen. Dat laatste is erg belangrijk voor SURF en wordt door hen ook verwacht in het project Toetsing en Toetsgestuurd leren. Het ideaal plaatje dat aan het eind van de middag naar voren kwam was een itembank, gemaakt in één systeem. In dat systeem moeten review functies zitten en de examencommissie moet kunnen beoordelen of het examen klaar is. Waarna de afname in een ander systeem kan plaatsvinden. Tegelijkertijd moeten de systemen wel de veiligheid waarborgen. Het gaat immers om examens in het hoger onderwijs. Na de afname moeten de resultaten teruggekoppeld worden naar de itembank om de statisische gegevens van de vraag bij de vraag zelf te houden. Naast deze wens wil SURF ook graag met behulp van SURFconext experimenteren in de cloud. Door software te leveren aan de SURFmarket krijg je toegang tot SURFconext.

Het experiment met toetsbanken van de ene leverancier en afname (players) van de andere leverancier volg ik nauwgezet. Risico’s biedt het ook, de omgeving voor itemconstructie en itembank is immers aangepast aan de afspeelomgeving. De eisen die aan een afspeelomgeving gesteld worden zijn hoog, je wilt bijvoorbeeld dat alles opgeslagen wordt, zowel antwoorden als de tijd die een examenkandidaat over bepaalde vragen doet. Deze informatie heb je nodig bij de analyse achteraf. Daarnaast wil je dat niets van de toets achterblijft op de pc. Een volgende kandidaat mag beslist geen antwoorden van de vorige kandidaat zien.

De ideeën zijn erg ambitieus. Jammer was het, dat weinig kritische vragen gesteld werden door de leveranciers. Mogelijk kwam dat doordat niemand het achterste eindje van zijn tong wil laten zien, echter de taal kan ook een barrière geweest zijn. Voertaal was Engels op verzoek van twee leveranciers.  Overduidelijk was dat het hier alleen gaat om de Nederlandse markt en wetgeving. Wordt vervolgd!

Advertenties

CVE ziet (voorlopig) af van digitale examens

with one comment

In de vakantie verscheen dit bericht in de media: Voorlopig geen digitale eindexamens meer. Zowel op twitter als op diverse blogs werd hierop gereageerd. Opvallend was de reactie van de Rode Planeet: leverancier van Wintoets en Quayn. Het devies van de Rode Planeet:

 Ga nooit digitaal examineren. Het is vragen om problemen, die je niet als CvE in de hand kunt hebben.

Jammer dat de Rode Planeet dit devies niet meer toelicht en meteen in gaat op oplossingen. Jammer ook dat de kans gemist wordt om ervaring op te doen met digitale toetsing. Het CvE laat op dit moment toetssoftware bouwen om digitaal te kunnen gaan toetsen. Ongetwijfeld zijn ze zich bewust van de haken en ogen die de Rode Planeet opnoemt:

  • stroom- en internetstoringen
  • uitrol van updates
  • hackpogingen

Zonder nu deze haken en ogen te bagatelliseren zou ik wel het volgende op willen merken. Leerlingen van nu en ouders van nu verlangen steeds meer en steeds vaker dat gebruik gemaakt kan worden van digitale hulpmiddelen. In de lessituatie zie je dit ook terug. Veel lesmateriaal wordt digitaal aangeboden, sommige scholen werken al met laptops en tablets. Het gevolg is dat leerlingen steeds meer gewend zijn aan het gebruik van ICT. Ze kunnen niet eens meer lange stukken schrijven, zie ook de blogpost van Sander Schenk: schriftelijke toetsen zijn een marteling.  Vanuit dat perspectief zou het wenselijk zijn nog eens kritisch naar de digitale afname van examens te kijken. Ook als de software van het CvE klaar is zal er eerst een pilot fase gestart moeten worden. Over het algemeen begin je niet in het groot met de uitrol van een dergelijk product.

Door ‘proven technology’ weet je dat je veilig je examenafnames kan regelen. Natuurlijk kan er iets fout gaan zoals de Rode Planeet suggereert maar ook in de papieren oplossingen die door hen gesuggereerd worden gaan dingen fout, denk aan zoekgeraakte examens of bekend geraakte (gestolen)examens. De kans op fraude bestaat, zowel bij digitale als bij papieren afname en moet niet onderschat worden. Maar het gaat te ver om digitale afname als onveiliger te betitelen. Juist digitaal en online is veel te regelen rondom veiligheid. De gesuggereerde oplossing van het lokaal opslaan draagt zeker ook risico’s in zich.

Gelukkig zijn er andere partijen in Nederland die wel degelijk op een goede en betrouwbare manier digitale online examens afnemen, deze ‘proven technology’ zou CvE kunnen helpen bij de afname van de eindexamens. Vooralsnog is het jammer genoeg nog een paar jaar wachten op een pilot met de software die CvE heeft laten bouwen. Ik wens leerlingen en docenten sterkte voor de komende jaren met de papieren toetsen.

Written by Manon Bonefaas

14 augustus 2012 at 16:01

Bedrijfsbezoek van de NVE bij ECABO

with 2 comments

Uiterst gastvrij werd de NVE ontvangen op donderdag 10 mei bij ECABO. ECABO is het kenniscentrum beroepsonderwijs bedrijfsleven voor de economisch/administratieve, ICT- en veiligheidsberoepen. Frank Huberts hield een inleiding over ECABO en haar examens. De examens die ECABO organiseert zijn zeer breed en verschillend van waarde. Soms vormt het examen een onderdeel van een assessment voor een MBO opleiding, soms is het een kwalificerend examen bijvoorbeeld voor een baan in de publieke veiligheid: de toezichthouders. Exameninstelling Toezicht en Handhaving valt onder ECABO. ECABO hecht naast de examens die ze verzorgen ook aan onderzoek op het gebied van examinering. Vanuit dat perspectief hadden ze onlangs een promovendus van het RCEC in huis. Het onderzoek betrof verschillende manieren van beoordelen: holistisch of analytisch. Het is de bedoeling om met regelmaat promovendi onderzoek rondom examineren te laten doen.

Beroepsgericht examineren is erg kostbaar. Voor praktijkexamens moeten veel zaken geregeld worden, denk bijvoorbeeld aan een locatie, kantoorruimte en inrichting, beoordelaars, examenleider, acteurs voor de rollenspelen etc. ECABO zoekt naar alternatieve en goedkopere oplossingen o.a. met de inzet van multimedia.

Na de inleiding van Frank en een inleidende film over het Praktijkexamen toezicht en veiligheid niveau 2 werden we mee naar buiten genomen om een dergelijk examen in praktijk te zien. Op het nagebootste plein compleet met zebrapad en bushalte kregen we een goed beeld van alles wat rondom de praktijkexaminering van toezichthouders aan de orde is. We zagen de examenkandidaten professioneel handelen tijdens een overval en een ongeluk. Respect voor de beide dames die zo dapper voor een groot publiek ‘examen’ deden. Aan het eind van de dag krijgen de kandidaten de (voorlopige) uitslag. In een aantal gevallen krijgen ze ook gelijk feedback zodat ze een volgende keer kunnen leren van dit examen.

Scholen willen intussen ook graag mee beoordelen en leveren dan ook assessoren voor de praktijkbeoordelingen. Deze assessoren beoordelen nooit hun eigen leerlingen. Opvallend is dat de assessoren van scholen graag precieze instructies willen hebben, terwijl de bedrijfsassessoren meer op grote lijnen en het gehele beeld beoordelen. De bedrijfsassessor heeft de doorslaggevende stem in de beoordeling. De verschillende NVE leden hadden met name over de beoordeling veel vragen. Het mag duidelijk zijn dat dit voor iedereen een moeilijk onderwerp is.

Hartelijk dank namens de NVE voor de gastvrijheid en speciale dank voor Kees Boonman onze gastheer. We hebben genoten van deze leerzame middag.

20120511-133438.jpg

Written by Manon Bonefaas

11 mei 2012 at 12:35

Kosten van een itembank en kwaliteit van toetsing

leave a comment »

De kost gaat voor de baat uit,

luidt een bekend spreekwoord. In het geval van toetsen geldt dat zeker. Het kost veel geld om goede toetsen te maken. Voor het maken van goede toetsen zijn verschillende hulpmiddelen, zoals die ook in onze trainingen worden besproken. Denk hierbij aan het gebruik van een toetsmatrijs en taxonomie. Toch zijn dit slechts hulpmiddelen. Uiteindelijk gaat het natuurlijk om de vragen, de items. De items moeten onafhankelijk van elkaar zijn en zorgen dat de kans om terecht te slagen voor de toets maximaal is en de kans om onterecht te zakken voor de toets minimaal.

Wanneer je met regelmaat een toets of examen afneemt wil je bovendien dat de toets steeds gelijkwaardig is. Daarmee bedoel ik dat de moeilijkheidsgraad van de toets gelijkwaardig is. Bij voorkeur wil je dat het een gelijkwaardig examen is. Hier gaan exameninstellingen in het onderwijs en bedrijfsleven met regelmaat de mist in. Het is niet ongebruikelijk een totaal nieuwe toets te maken voor iedere kans van het examen. Met andere woorden iedere toets wordt van scratch af aan opnieuw gemaakt. Weliswaar met gebruik van een taxonomie, toetsmatrijs, eindtermen enzovoort, maar toch helemaal opnieuw. Waarmee de kans op een gelijkwaardig examen niet te voorspellen is. Dat kan makkelijker en beter. Het is een kwestie van investeren.

Wanneer je bereid bent een itembank op te bouwen kun je met de statistische gegevens die dit oplevert, gelijkwaardige examens afnemen. Dit gaat het beste wanneer je bereid bent te pretesten. Een pre-test of proefafname kijkt, voordat echt geëxamineerd wordt, naar de vragen. Op het moment dat er voldoende goede vragen zijn om een examen af te nemen, kunnen in het examen zaai-items meegenomen worden. Deze vragen worden niet meegeteld in de score van het examen, maar leveren wel statistische informatie op over de betreffende vraag. Met deze informatie kan beoordeeld worden of de vraag al of niet in het examen opgenomen kan worden.

Dit lijkt een omslachtige weg maar bedenk je het volgende:

  • wat kost het in tijd en geld om steeds opnieuw een toets te maken?
  • wat kost het in tijd en geld om steeds aanpassingen  na de afname te moeten doen omdat vragen toch niet zo goed waren als vooraf gedacht?
  • wat levert het op als je een itembank maakt waaruit je met zekerheid gelijkwaardige toetsen kan halen?

In de VS is het niet ongebruikelijk een exameninstelling aan te klagen wanneer het vermoeden bestaat dat de toetsen niet gelijkwaardig waren. In Nederland doen we dat gelukkig niet. Toch loont het de moeite op deze manier naar kwaliteit van toetsing te kijken. Uiteindelijk verdient de itembank zichzelf namelijk terug, de kost gaat voor de baat uit!

Written by Manon Bonefaas

25 april 2012 at 07:15

‘One size fits all’ en educatie!

with one comment

Gisteren tijdens de relatiemiddag heeft Eduardo Cascallar een presentatie gehouden over neurale netwerken, ‘predictive systems’. Eerder verzorgde hij al een workshop voor de consultants van Andriessen. Paul Westeneng heeft daarover een blog geschreven.

Met een ‘predictive system’ kun je – op basis van een aantal invoergegevens een voorspelling doen van een – op het moment van de voorspelling – onbekend resultaat.

We kennen natuurlijk allemaal de weers- voorspelling en we weten dus hoe moeilijk zo’n voorspelling kan zijn. Eduardo Cascallar past dit soort systemen nu met name toe in onderwijssituaties en behaalt daarmee verbluffend goede resultaten.

In het predictieve systeem bepalen tussen de dertig en tweehonderd variabelen de uitkomst van de voorspelling. Deze variabelen dragen allemaal bij aan de uitkomst. Bijvoorbeeld de predictieve analyse van het schrijfonderwijs in Nederland, Cascallar en Boekaerts (2006).

 

 

 

 

 

 

 

 

Het linker plaatje laat zien hoeveel variabelen bijdragen aan de voorspelling rondom het schrijfgedrag van kinderen. Het rechtere plaatje laat zien dat bij de 50 belangrijkste variabelen 64% vastliggende condities zijn. Beïnvloedbaar is dus slechts eenderde deel, namelijk de andere variabelen.

In het onderwijs wordt uitgegaan van: ‘one size fits all’. De resultaten van Cascallar en Boekaerts met de predictive systems laten twee dingen helder zien:

  1. De invloed van de eerste drie jaar is ongelofelijk belangrijk! Goede verzorging zowel lichamelijk als geestelijk lijkt een belangrijke variabele in de voorspelling van schoolsucces en meer specifiek in de werking van het werkgeheugen. Dit punt betreft de preexisting conditions.
  2. Wanneer je na de eerste drie jaar nog wilt veranderen op het gebied van schoolsucces dan zul je een aantal beïnvloedende variabelen moeten veranderen. Alleen met een andere aanpak op school kom je er niet. Dit punt betreft de andere variabelen.

Door redenerend is dus een andere aanpak of ondersteuning alleen meestal niet voldoende. Wanneer je inzicht hebt in die andere variabelen kun je op meer punten beïnvloeden en op die manier trachten, binnen de mogelijkheden, tot een verbetering van het leerresultaat te komen. De manier waarop ons huidig onderwijs is georganiseerd: ‘one size fits all’ voldoet met deze wetenschap niet meer.

Written by Manon Bonefaas

14 maart 2012 at 16:10

PDCA en een toets maken

with 7 comments

Bij het maken van een toets kan je prima werken met de PDCA cyclus, het geeft structuur en je bent meteen met kwaliteit van de toets bezig en dat is iets wat iedereen nastreeft. Wanneer je PDCA correct hanteert wordt het maken van een toets een stuk makkelijker.

Plan:

1. Digitale toets of een toets op papier.

2. Wat moet een leerling weten, wat vraag je van een leerling?

3. Wat voor soort vragen wil je maken? Open vragen, multiple choice vragen, casuistiek, andere vraagsoorten?

4. In de tijd, wanneer wil je de toets afnemen?

Do:

1. Kies je voor een digitale toets: heb je de beschikking over goed werkende software? Weet je nog hoe de software werkt? Misschien kun je vragen hergebruiken.

2. Pak je leer- en toetsdoelen erbij. Zorg dat je een toetsmatrijs hebt, waarbij je gedacht hebt aan een evenredige verdeling van de leerstof in je toets en waarbij je gedacht hebt aan de taxonomie van bijv. Bloom: kennis, begrip en toepassing.

3. Aan de hand van je toetsdoelen en vaardigheidsniveau, kies je de de geschikte vraagsoort(en).

Kies je voor open vragen, denk dan aan:

  • wil ik een grens stellen aan het antwoord. Nakijken is eenvoudiger (en objectiever!) wanneer een grens aan de lengte van het antwoord gegeven is.
  • staan de vragen in de logische volgorde? (bij een casus bijvoorbeeld)
  • wanneer een leerling een vraag mist, heeft dat dan consequenties voor vervolgvragen?

Voor gesloten vragen, is belangrijk:

  • zijn mijn alternatieven allemaal goed geformuleerd, sluiten ze aan bij de stam (de vraag)?
  • gebruik geen dubbele ontkenningen, geef nadruk aan ontkenningen.
  • bevatten de alternatieven geen overlap, zodat multiple choice juist multiple gok wordt?

4. Regel dat je de beschikking hebt over een pc ruimte over of leerlinglaptops. Zorg eventueel voor surveillanten. Denk aan de dyslectische leerlingen, regel de speciale voorzieningen indien die van toepassing zijn.

Act:

Afname van de toets en nakijken van een toets. Nadat de cijfers ingevoerd zijn stopt het vaak. Belangrijk voor kwaliteit en kwaliteitsborging is dat nu gekeken wordt hoe een verbeterslag gemaakt kan worden.

In het hele proces van een toets maken tot de afname zijn verschillende aspecten die verbeterd kunnen worden. Als docent kun je naar de kwaliteit van je vragen kijken: de gemaakte toets als startpunt van kwaliteitsverbetering! Aan leerlingen kan bijvoorbeeld met behulp van Surveymonkey eens gevraagd worden wat ze van de toets vinden. Met de administratie kan naar de organisatie van de toetsafname gekeken worden. Met behulp van deze input kan een nieuwe PDCA cyclus opgestart worden. Op deze manier ben je echt bezig met kwaliteit en de borging van kwaliteit rondom toetsing.

Written by Manon Bonefaas

14 november 2011 at 08:38

5 tips voor de eerste toetsweek

with one comment

Direct na de herfstvakantie is het meestal zover: de eerste toetsweek komt eraan! Veel scholen nemen nog papieren examens af, mijn zoon (HBO student) verzuchtte gisteren:

“Weet je hoe relaxed dat is mam: schrapkaarten!”

Ik schoot in de lach. Begrijpelijk dat hij het relaxed vindt, zie ook de blogpost van Sander Schenk ‘Schriftelijke toetsen zijn een marteling‘. Leerlingen en studenten van tegenwoordig schrijven niet meer: ze typen of swypen (Samsung). Vanuit dat perspectief is een digitale toets een must, schrapkaarten voldoen ook, mits je genoegen neemt met het stellen van multiple choice vragen. Brengt mij op de vijf tips:

  1. Probeer de toets digitaal af te nemen, dat bespaart veel werk voor docent en leerling.
  2. Hergebruik vragen: geef ze een andere verschijningsvorm. Door van Jantje, Klaasje te maken en van een fiets een brood krijg je in een wiskunde of economie opdracht al een andere verschijningsvorm van dezelfde vraag. Sommige toetsprogramma’s ondersteunen dit door het instellen van variabelen in de vraag.
  3. Maak bij alle nieuwe vragen gelijk feedback. Bij hergebruik in een digitaal systeem of voor een diagnostische toets volgend jaar heb je daar profijt van.
  4. Probeer meer kwaliteit te leveren door vooraf een toetsmatrijs te maken. Het is daarmee ook makkelijker te beslissen wat wel en wat niet in de toets moet.
  5. Stel vooraf een cesuur vast. Je kunt de cesuur natuurlijk aanpassen, maar kijk ook naar het resultaat wanneer je de vooraf vastgestelde cesuur gebruikt. Het voordeel hiervan is dat je, transparant en eenduidig, vooraf bepaald hebt wat de eisen zijn. Wanneer leerlingen daar niet aan voldoen is het zaak te onderzoeken wat de oorzaak is. In een volgende weblog kom ik hier op terug.

Iedereen veel succes met de eerste toetsweek!

Written by Manon Bonefaas

7 november 2011 at 13:19

%d bloggers liken dit: