Online toetsing

Alles wat je altijd al wilde weten over digitale toetsing

Posts Tagged ‘vraagconstructie

5 tips voor toetsafname bij BYOD

with 4 comments

Veel scholen en bedrijven staan Bring Your Own Device (BYOD) toe. Het gevolg is dat iedere werknemer of leerling met andere devices werkt. Op school kunnen dat verschillende laptops, tablets of smartphones zijn.  Voor toetssoftware is het handig wanneer voor de beoordelingsexamens en de formatieve toetsen de software zich op elk device goed presenteert.

Een paar tips voor het uitleveren van toetssoftware aan kleinere devices:

1. Denk klein: hou rekening met de grootte van het (potentiele) afname scherm bij het stellen van je vragen. Dus korte teksten en korte antwoorden, weinig plaatjes (plaatjes laden duurt langer) en beperk je in het gebruik van  verschillende vraagsoorten. Een sleepvraag  op een heel klein scherm kan onhandig zijn en veel vaardigheid van de gebruiker vergen.

2. Toegankelijkheid: zorg dat de toets makkelijk toegankelijk is. Een manier om te voorkomen dat een kandidaat een lange url in moet typen is om gebruik te maken van QR codes. In een QR code kan je makkelijk een url stoppen, via deze link kun kun je je eigen QR code maken.

3. Wees voorzichtig met Flash: op veel mobiele devices wordt geen Flash ondersteuning gegeven, wellicht is het beter Flash te vermijden bij toetsafnames.

4. Alternatieve hulpbronnen: Beslis van te voren of het belangrijk is dat je kandidaten gebruik kunnen maken van alternatieve hulpbronnen. Mogen je kandidaten gebruik maken van andere bronnen of sites via hetzelfde device, check dan of ze de toets opnieuw kunnen openen.

5. Test: test je toets op verschillende devices zodat je weet hoe je toets eruit ziet op deze devices.

Voor deze blog heb ik dankbaar gebruik gemaakt van het heldere blog van Brian McNamara over BYOD en toetsing.

Advertenties

Written by Manon Bonefaas

29 oktober 2012 at 14:05

Beoordelen (met een tablet?)

with 2 comments

Stel je voor dat je een proeve van bekwaamheid moet beoordelen. Je deelnemers laten in een echte werksituatie zien dat ze in staat zijn de taken uit te voeren waar ze voor opgeleid zijn. Denk hierbij aan een schilder die een deur moet schilderen, een loodgieter die een wastafel plaatst en een rij-examinator die een rijexamen afneemt. Vrijwel altijd is een simulatie of echte omgeving nodig waarin de kandidaat kan laten zien wat hij kan. Wanneer je een dergelijke situatie visualiseert zie je iemand met een schrijfblok, veel papieren (scoringformulieren voor de verschillende kandidaten) en een pen in de weer. Het resultaat kan dan zoiets zijn als op het formulier hiernaast. Je moet er niet aan denken dat je tegelijkertijd zo tien kandidaten of in dit geval tien honden moet beoordelen. Dat levert heel veel geblader op.

Stel je voor dat je dit op je iPad kunt doen. Met een veeg ga je naar de volgende kandidaat (horizontaal beoordelen). Door een beoordelingsexamen te maken met open en gesloten vragen geef je de beoordelaar de kans om snel en efficiënt een aantal beoordelingsexamens in te vullen.

Hieronder een voorbeeld van een gesloten vraag uit TeleToets op een iPad. TeleToets kent multiplechoice, multiple select (meer-uit-meer) en open vragen met de mogelijkheid tot het uploaden van documenten of media in het beoordelingsexamen. Door gebruik te maken van een tablet met Internetverbinding kan de beoordelaar zonder iets te downloaden real time het examen beoordelen. Het invullen van open vragen of uploaden van documenten kan ook eventueel nog later op een rustig moment gedaan worden. In die situatie kan het examen desgewenst verder beoordeeld worden op een computer. Op naar een papierloos examen!

Wanneer iOS 6 op je iPad geïnstalleerd is kun je natuurlijk ook via de iPad gebruik maken van de uploadvraag!

Written by Manon Bonefaas

18 september 2012 at 14:05

Open vragen zijn beter of niet?

with one comment

De discussie over het gebruik van open of gesloten vragen wordt meestal beslecht door te zeggen: kennis en inzicht toets je met gesloten vragen. Toepassing, analyseren en creëren toets je met behulp van open vragen. Maar is dat zo? Is het mogelijk om met gesloten vragen meer te toetsen dan alleen kennis en inzicht?

Allereerst moet je vaststellen dat het heel moeilijk is om goede gesloten vragen te maken. Een goede gesloten vraag heeft namelijk antwoord alternatieven die allemaal even waarschijnlijk zijn voor degene die niet geleerd heeft of geen inzicht  in de te toetsen stof heeft. De bedoeling is dat de gesloten vraag een goede discriminatie geeft tussen de kandidaten die wel en niet mogen slagen voor een examen. Is het dan mogelijk ook toepassingsvragen te toetsen met gesloten vragen? Ja hoor dat kan, kijk maar: (voorbeeld van een gesloten toepassingsvraag bron: Universiteit Maastricht)

Voorbeeld toepassingsvraag uit de reguliere toets van het blok onrechtmatig gedrag (2003-2004)

17. Maria kan haar minnaar Kees ertoe verleiden om haar veel oudere en niet onbemiddelde echtgenoot Bart naar ‘de andere wereld’ te helpen. In ruil daarvoor belooft ze met hem te trouwen. Kees, tot over zijn oren verliefd op deze femme fatale, neemt dit aanbod gretig aan. Wanneer hij een paar dagen later met een pistool in de hand Barts werkkamer betreedt, klaar om het fatale schot af te vuren, ontdekt hij tot zijn verbazing dat de echtgenoot al morsdood op de grond ligt. Hij blijkt enkele uren tevoren aan een hartaanval te zijn overleden.

Maria is …

  1. niet strafbaar, omdat sprake is van een ondeugdelijke poging tot moord.
  2. strafbaar wegens mislukte uitlokking van poging tot moord.
  3. niet strafbaar, omdat sprake is van een ondeugdelijke poging tot uitlokking van moord.
  4. strafbaar wegens poging tot uitlokking van moord.

Vanuit dezelfde bron worden daarna open vragen gesteld. Opvallend is dat in de open vragen steeds een keuze gegeven wordt, bijvoorbeeld: Is de genoemde keuze een klassiek of een sociaal grondrecht? Motiveer je antwoord. Om het nakijken te vergemakkelijken worden bovenstaande twee keuzes gegeven die vervolgens gemotiveerd moeten worden. Wanneer de motivatie ook als gesloten vraag gesteld wordt beperk je het nakijkwerk aanzienlijk. Dat kan door van een ander type vraag dan een multiple choice vraag gebruik te maken. Een multiple select vraag bestaat uit onderdelen van de motivatie, die gezamenlijk het antwoord vormen. Het correctiemodel voor de open vraag omvat alle motiveringen die gegeven kunnen worden. Deze worden benoemd en gewaardeerd in een multiple select vraag, de ene keuze kan daarbij zwaarder wegen dan de andere (polytome scoring). Het is zelfs mogelijk punten aftrek te geven voor een onjuiste motivatie. Voor een open vraag was het nodig een correctiemodel met waardering te maken, voor de gesloten vraag worden de verschillende mogelijkheden met waardering in de multiple selectvraag gezet. Op deze wijze wordt kennis, inzicht, toepassing en analyse getoetst.

Je investeert bij de keuze voor gesloten vragen tijd en energie in het maken van goede vragen en antwoorden. Vuistregel: het kost net zoveel tijd om gesloten vragen te maken als het maken en nakijken van open vragen. De besparing zit in het hergebruik van gesloten vragen; dat is altijd voordeliger dan hergebruik van open vragen.

Written by Manon Bonefaas

27 augustus 2012 at 13:06

Inleiding toetsvraagconstructie

leave a comment »

Met regelmaat organiseren we trainingen toetsvraagconstructie. Onze klanten worden vaak verrast wanneer ze een rapportage over de kwaliteit van hun toetsen krijgen. Met veel toetssoftware is het eenvoudig om een dergelijke rapportage te regelen. Wanneer je de beschikking hebt over digitale toetssoftware en de managementrapportage, kun je je op een eenvoudige manier bezig houden met het verbeteren van toetsvragen. eerder schreef ik al over het gebruik van p-,a- en Rit- waarden en over het gebruik van de PDCA cyclus rondom vraagconstructie. Op het moment dat je een nieuwe toets moet maken heb je natuurlijk niets aan deze rapportages. Waar begin je dan? Dat is precies waar wij onze training ‘Inleiding Toetsvraagconstructie’ beginnen, met de vraag: Wat is van belang wanneer je een toetsvraag moet construeren? Met de deelnemers maken we een mindmap van alle zaken waar je rekening mee moet houden wanneer je een toets(vraag) gaat maken. Verschillende trainingsgroepen hebben nu al een dergelijke mindmap gemaakt. Na afloop van de training sturen we de deelnemers de mindmap toe met de input van eerdere groepen. Het resultaat tot nu toe:

Graag reactie of de deelnemers nog essentiële dingen vergeten zijn!

Written by Manon Bonefaas

10 juni 2012 at 19:03

Kosten van een itembank en kwaliteit van toetsing

leave a comment »

De kost gaat voor de baat uit,

luidt een bekend spreekwoord. In het geval van toetsen geldt dat zeker. Het kost veel geld om goede toetsen te maken. Voor het maken van goede toetsen zijn verschillende hulpmiddelen, zoals die ook in onze trainingen worden besproken. Denk hierbij aan het gebruik van een toetsmatrijs en taxonomie. Toch zijn dit slechts hulpmiddelen. Uiteindelijk gaat het natuurlijk om de vragen, de items. De items moeten onafhankelijk van elkaar zijn en zorgen dat de kans om terecht te slagen voor de toets maximaal is en de kans om onterecht te zakken voor de toets minimaal.

Wanneer je met regelmaat een toets of examen afneemt wil je bovendien dat de toets steeds gelijkwaardig is. Daarmee bedoel ik dat de moeilijkheidsgraad van de toets gelijkwaardig is. Bij voorkeur wil je dat het een gelijkwaardig examen is. Hier gaan exameninstellingen in het onderwijs en bedrijfsleven met regelmaat de mist in. Het is niet ongebruikelijk een totaal nieuwe toets te maken voor iedere kans van het examen. Met andere woorden iedere toets wordt van scratch af aan opnieuw gemaakt. Weliswaar met gebruik van een taxonomie, toetsmatrijs, eindtermen enzovoort, maar toch helemaal opnieuw. Waarmee de kans op een gelijkwaardig examen niet te voorspellen is. Dat kan makkelijker en beter. Het is een kwestie van investeren.

Wanneer je bereid bent een itembank op te bouwen kun je met de statistische gegevens die dit oplevert, gelijkwaardige examens afnemen. Dit gaat het beste wanneer je bereid bent te pretesten. Een pre-test of proefafname kijkt, voordat echt geëxamineerd wordt, naar de vragen. Op het moment dat er voldoende goede vragen zijn om een examen af te nemen, kunnen in het examen zaai-items meegenomen worden. Deze vragen worden niet meegeteld in de score van het examen, maar leveren wel statistische informatie op over de betreffende vraag. Met deze informatie kan beoordeeld worden of de vraag al of niet in het examen opgenomen kan worden.

Dit lijkt een omslachtige weg maar bedenk je het volgende:

  • wat kost het in tijd en geld om steeds opnieuw een toets te maken?
  • wat kost het in tijd en geld om steeds aanpassingen  na de afname te moeten doen omdat vragen toch niet zo goed waren als vooraf gedacht?
  • wat levert het op als je een itembank maakt waaruit je met zekerheid gelijkwaardige toetsen kan halen?

In de VS is het niet ongebruikelijk een exameninstelling aan te klagen wanneer het vermoeden bestaat dat de toetsen niet gelijkwaardig waren. In Nederland doen we dat gelukkig niet. Toch loont het de moeite op deze manier naar kwaliteit van toetsing te kijken. Uiteindelijk verdient de itembank zichzelf namelijk terug, de kost gaat voor de baat uit!

Written by Manon Bonefaas

25 april 2012 at 07:15

Adaptief toetsen, waarom?

leave a comment »

Adaptief toetsen wordt gebruikt om het niveau van een kandidaat te bepalen of de voortgang van een leerling te meten. Adaptief toetsen met de computer is bij uitstek geschikt voor het vlot bepalen van het niveau, denk aan een EVC procedure of een 0-meting voor een nieuwe leerling in de klas.  Bij adaptief toetsen  krijgt de kandidaat vragen aangeboden vanuit een bepaald (basis) niveau. Wanneer de kandidaat deze vragen goed maakt krijgt hij moeilijkere vragen aangeboden. Bij een goed resultaat kunnen nog moeilijkere vragen volgen. Bij een minder resultaat krijgt de kandidaat eenvoudigere vragen voorgelegd. In TeleToets kan je zelf het aantal moeilijkheidsgraden vaststellen voor de adaptieve toets. Door adaptief te toetsen kan het niveau van de kandidaat bepaald worden en een leerlijn op maat gemaakt worden.

Voordelen van adaptief toetsen:

  • de meetnauwkeurigheid neemt toe: je kunt vrij nauwkeurig bepalen op welk niveau een kandidaat zit.
  • met de inzet van een beperkt aantal items (tussen de 30 en 40) heb je al een goed beeld van het niveau, dit betekent dat je itembank minder snel veroudert
  • kandidaten krijgen allemaal een eigen unieke toets.

Voor meer informatie: consultancy@andriessen.nl

Bron: Toetswijzer

Onderwijs en bedrijfsleven ontmoeten elkaar in toetsing!

leave a comment »

Twee weken geleden (er zat een voorjaarsvakantie tussen ;)) verzorgden we een open inschrijvingstraining inleiding vraagconstructie. De aanmelding hiervoor was zo overweldigend dat we besloten een tweede dag te plannen. Op 14 en 16 februari hebben we de trainingen verzorgd. Voor ons was open inschrijving nieuw. Het viel ons op dat er zowel aanmeldingen kwamen vanuit het bedrijfsleven als uit het onderwijs voor deze workshop.

 

 

 

 

 

 

 

Ondanks het verschil in soorten en doel van de toetsen dat onderwijs en bedrijfsleven veel van elkaar konden leren tijdens de verschillende oefeningen. De vraagstukken waar het onderwijs mee worstelt zijn dezelfde vraagstukken voor examencommissies en opleiders in het bedrijfsleven. Het gaat vooral om aandacht voor de volgende vraagstukken:

  • open-gesloten vraag
  • welk type gesloten vraag gebruik je wanneer (denk aan rangschik, hotspot etc)
  • scoring van vraag
  • wanneer bepaal je de cesuur
  • wat is het niveau van je vraag

In deze eerste training inleiding vraagconstructie zijn we vooral ingegaan op de constructie van gesloten vragen. De andere punten kwamen nog niet aan de orde. Wij zijn voornemens om in maart een vervolg te geven aan deze training. Mocht je interesse hebben consultancy@andriessen.nl

Written by Manon Bonefaas

29 februari 2012 at 13:04

%d bloggers liken dit: