Online toetsing

Alles wat je altijd al wilde weten over digitale toetsing

Posts Tagged ‘kwaliteit

Leveranciersdag Digitaal Toetsen SURF 9 oktober 2012

with 3 comments

Afgelopen dinsdag vond de leveranciersdag Digitaal Toetsen van SURF plaats. De bijeenkomst was strak en met zorg georganiseerd. Uitleg werd gegeven over het programma Toetsing en Toetsgestuurd leren. Het belang van SURFconext werd duidelijk gemaakt. Door SURFconext is het mogelijk single-sign-on te realiseren voor verschillende SAAS applicaties. Daarnaast is het mogelijk om zo samen te werken over de grenzen van universiteiten en hogescholen heen. Dat laatste is erg belangrijk voor SURF en wordt door hen ook verwacht in het project Toetsing en Toetsgestuurd leren. Het ideaal plaatje dat aan het eind van de middag naar voren kwam was een itembank, gemaakt in één systeem. In dat systeem moeten review functies zitten en de examencommissie moet kunnen beoordelen of het examen klaar is. Waarna de afname in een ander systeem kan plaatsvinden. Tegelijkertijd moeten de systemen wel de veiligheid waarborgen. Het gaat immers om examens in het hoger onderwijs. Na de afname moeten de resultaten teruggekoppeld worden naar de itembank om de statisische gegevens van de vraag bij de vraag zelf te houden. Naast deze wens wil SURF ook graag met behulp van SURFconext experimenteren in de cloud. Door software te leveren aan de SURFmarket krijg je toegang tot SURFconext.

Het experiment met toetsbanken van de ene leverancier en afname (players) van de andere leverancier volg ik nauwgezet. Risico’s biedt het ook, de omgeving voor itemconstructie en itembank is immers aangepast aan de afspeelomgeving. De eisen die aan een afspeelomgeving gesteld worden zijn hoog, je wilt bijvoorbeeld dat alles opgeslagen wordt, zowel antwoorden als de tijd die een examenkandidaat over bepaalde vragen doet. Deze informatie heb je nodig bij de analyse achteraf. Daarnaast wil je dat niets van de toets achterblijft op de pc. Een volgende kandidaat mag beslist geen antwoorden van de vorige kandidaat zien.

De ideeën zijn erg ambitieus. Jammer was het, dat weinig kritische vragen gesteld werden door de leveranciers. Mogelijk kwam dat doordat niemand het achterste eindje van zijn tong wil laten zien, echter de taal kan ook een barrière geweest zijn. Voertaal was Engels op verzoek van twee leveranciers.  Overduidelijk was dat het hier alleen gaat om de Nederlandse markt en wetgeving. Wordt vervolgd!

Advertenties

Beoordelen (met een tablet?)

with 2 comments

Stel je voor dat je een proeve van bekwaamheid moet beoordelen. Je deelnemers laten in een echte werksituatie zien dat ze in staat zijn de taken uit te voeren waar ze voor opgeleid zijn. Denk hierbij aan een schilder die een deur moet schilderen, een loodgieter die een wastafel plaatst en een rij-examinator die een rijexamen afneemt. Vrijwel altijd is een simulatie of echte omgeving nodig waarin de kandidaat kan laten zien wat hij kan. Wanneer je een dergelijke situatie visualiseert zie je iemand met een schrijfblok, veel papieren (scoringformulieren voor de verschillende kandidaten) en een pen in de weer. Het resultaat kan dan zoiets zijn als op het formulier hiernaast. Je moet er niet aan denken dat je tegelijkertijd zo tien kandidaten of in dit geval tien honden moet beoordelen. Dat levert heel veel geblader op.

Stel je voor dat je dit op je iPad kunt doen. Met een veeg ga je naar de volgende kandidaat (horizontaal beoordelen). Door een beoordelingsexamen te maken met open en gesloten vragen geef je de beoordelaar de kans om snel en efficiënt een aantal beoordelingsexamens in te vullen.

Hieronder een voorbeeld van een gesloten vraag uit TeleToets op een iPad. TeleToets kent multiplechoice, multiple select (meer-uit-meer) en open vragen met de mogelijkheid tot het uploaden van documenten of media in het beoordelingsexamen. Door gebruik te maken van een tablet met Internetverbinding kan de beoordelaar zonder iets te downloaden real time het examen beoordelen. Het invullen van open vragen of uploaden van documenten kan ook eventueel nog later op een rustig moment gedaan worden. In die situatie kan het examen desgewenst verder beoordeeld worden op een computer. Op naar een papierloos examen!

Wanneer iOS 6 op je iPad geïnstalleerd is kun je natuurlijk ook via de iPad gebruik maken van de uploadvraag!

Written by Manon Bonefaas

18 september 2012 at 14:05

PDCA en examenlogistiek

with one comment

PDCA en examenlogistiek of waarom de feedbackloop (borging) zo belangrijk is bij toetsing!  Inhoudelijk is in dat al eerdere blogs besproken  o.a. PDCA en toetsmatrijs, PDCA en een toets maken en PDCA en online toetsing. Graag wil ik in deze blog de nadruk leggen op de borging en feedback loop.

In je examen- of toetslogistiek probeer je continu tot verbeteringen te komen. Dat geldt voor zowel het proces als de inhoud. Inhoudelijk is dat al in de eerdere blogs besproken, daar ga ik hier niet verder op in. Procesmatig is wat anders.

Ook het proces kan continu verbeterd worden. In de transitie van papier naar digitaal is dat heel duidelijk, maar ook als van een dergelijke verandering geen sprake is, is het zinvol eens goed naar het proces te kijken. Voor zowel onderwijs als bedrijfsleven zou examenlogistiek continu punt van aandacht moeten zijn.

Plan:

  • inschrijving (digitaal of op papier)
  • locatie
  • surveillant
  • hulpmiddelen
  • toets maken  (digitaal of geprint) en goedkeuren (examencommissie)
  • terugkoppeling van de resultaten aan het examenbureau en daarna aan de kandidaten (hoe?)

Do:

  • zorg dat kandidaten in kunnen schrijven
  • zorg dat kandidaten en surveillanten geïnformeerd worden over tijd en locatie van de toets
  • zorg dat voldoende hulpmiddelen voor de toets beschikbaar zijn
  • zorg dat de toets beschikbaar is
  • zorg dat de terugkoppeling van resultaten tijdig plaats vindt

Check:

  • controleer of alles klaar is voor de afname
  • controleer of de terugkoppeling van resultaten goed verloopt (zijn de correctoren op tijd klaar met nakijkwerk)
  • controleer of de kandidaten geïnformeerd worden over hun resultaat

Act:

  • voer uit conform planning
  • evalueer de hele cyclus voordat je opnieuw toetsen gaat afnemen (feedbackloop)

Bij de evaluatie is belangrijk dat je je realiseert wie de stakeholders zijn. Vanuit dat perspectief zijn pijnpunten snel(ler) gevonden en daarmee de verbeterpunten voor de volgende afname. Aandachtspunt is ook het gebruik van digitale hulpmiddelen om automatische checks in te bouwen. Denk bijvoorbeeld aan reminders in Outlook.

Written by Manon Bonefaas

11 september 2012 at 15:17

Examineren: in praktijk

with 3 comments

In deze examenperiode zo aan het eind van het schooljaar stijgen de bezoeken aan dit weblog. Bezoekers zoeken gericht naar bepaalde zaken rondom examinering bijvoorbeeld:

  • hoe maak je een toetsmatrijs
  • open vragen nakijken
  • PDCA in examencyclus
  • P-, A- en Rit waarden
  • fraude

Over deze onderwerpen is al eerder geschreven dus die informatie is te vinden met behulp van het zoekvenster op dit blog. Soms ook zoeken examenkandidaten naar tips. Eerder vandaag zag ik de tips van Jelmer Evers langs komen en heb ze maar snel gebundeld en gepubliceerd (gedeeltelijk).

Opvallend is dat steeds meer behoefte is aan management informatie. De vraag: “Wat is het effect?” wordt vaker gesteld. De wil tot kwaliteitsverbetering lijkt aanwezig. In dat kader is het blog van Frans Droog over Flipping the class ook zeer lezenswaard. In de beschrijving duidelijke ondersteuning met harde cijfers. De kwaliteit van het onderwijs gaat omhoog. Ik denk dat de leerlingen van deze nieuwe manier van lesgeven genieten (onderzoekje waard!).

Ook in het MBO is veel aandacht voor kwaliteit en toetsing. Zo verzorg ik aanstaande donderdag een workshop Digitaal toetsen bij het Netwerk Examineren MBO met ook hier speciale aandacht voor o.a.:

  • kwaliteitsborging
  • toetsvormen
  • analyse van resultaten

Rapportage van deze workshop volgt!

Written by Manon Bonefaas

20 mei 2012 at 16:43

Kosten van een itembank en kwaliteit van toetsing

leave a comment »

De kost gaat voor de baat uit,

luidt een bekend spreekwoord. In het geval van toetsen geldt dat zeker. Het kost veel geld om goede toetsen te maken. Voor het maken van goede toetsen zijn verschillende hulpmiddelen, zoals die ook in onze trainingen worden besproken. Denk hierbij aan het gebruik van een toetsmatrijs en taxonomie. Toch zijn dit slechts hulpmiddelen. Uiteindelijk gaat het natuurlijk om de vragen, de items. De items moeten onafhankelijk van elkaar zijn en zorgen dat de kans om terecht te slagen voor de toets maximaal is en de kans om onterecht te zakken voor de toets minimaal.

Wanneer je met regelmaat een toets of examen afneemt wil je bovendien dat de toets steeds gelijkwaardig is. Daarmee bedoel ik dat de moeilijkheidsgraad van de toets gelijkwaardig is. Bij voorkeur wil je dat het een gelijkwaardig examen is. Hier gaan exameninstellingen in het onderwijs en bedrijfsleven met regelmaat de mist in. Het is niet ongebruikelijk een totaal nieuwe toets te maken voor iedere kans van het examen. Met andere woorden iedere toets wordt van scratch af aan opnieuw gemaakt. Weliswaar met gebruik van een taxonomie, toetsmatrijs, eindtermen enzovoort, maar toch helemaal opnieuw. Waarmee de kans op een gelijkwaardig examen niet te voorspellen is. Dat kan makkelijker en beter. Het is een kwestie van investeren.

Wanneer je bereid bent een itembank op te bouwen kun je met de statistische gegevens die dit oplevert, gelijkwaardige examens afnemen. Dit gaat het beste wanneer je bereid bent te pretesten. Een pre-test of proefafname kijkt, voordat echt geëxamineerd wordt, naar de vragen. Op het moment dat er voldoende goede vragen zijn om een examen af te nemen, kunnen in het examen zaai-items meegenomen worden. Deze vragen worden niet meegeteld in de score van het examen, maar leveren wel statistische informatie op over de betreffende vraag. Met deze informatie kan beoordeeld worden of de vraag al of niet in het examen opgenomen kan worden.

Dit lijkt een omslachtige weg maar bedenk je het volgende:

  • wat kost het in tijd en geld om steeds opnieuw een toets te maken?
  • wat kost het in tijd en geld om steeds aanpassingen  na de afname te moeten doen omdat vragen toch niet zo goed waren als vooraf gedacht?
  • wat levert het op als je een itembank maakt waaruit je met zekerheid gelijkwaardige toetsen kan halen?

In de VS is het niet ongebruikelijk een exameninstelling aan te klagen wanneer het vermoeden bestaat dat de toetsen niet gelijkwaardig waren. In Nederland doen we dat gelukkig niet. Toch loont het de moeite op deze manier naar kwaliteit van toetsing te kijken. Uiteindelijk verdient de itembank zichzelf namelijk terug, de kost gaat voor de baat uit!

Written by Manon Bonefaas

25 april 2012 at 07:15

Werknemer vergooit 19 miljard met ICT onkunde

with one comment

Werknemer vergooit 19 miljard met ICT onkunde kopte nu.nl vandaag. Conclusie van het onderzoek door de Universiteit Twente is dat de productiviteit van werknemers daalt met 8% door ICT onkunde.

Het gebrek aan vaardigheden is verantwoordelijk voor ongeveer 4 procent verlies van de werktijd met een computer.

Dit merken wij ook vaak bij de implementatie van digitale toetssoftware. Wij zijn gewend een adviestraject uit te voeren alvorens we starten met digitale toetsing. Aan de software ligt het niet, je kunt meteen starten, wanneer je dat wilt. Vaak leven in organisaties verwachtingen en wensen rondom het gebruik van digitale toetssoftware. In een vooronderzoek proberen we de verwachtingen zo goed mogelijk te managen en de wensen in kaart te brengen. Daarnaast geven we aan wat mogelijke hindernissen of struikelblokken kunnen zijn bij de invoering van de digitale toetssoftware. Met regelmaat geven we opdrachtgevers aan dat onze indruk is dat het personeel niet ICT vaardig genoeg is. Dat blijkt een zeer gevoelig onderwerp. Opdrachtgevers gaan maar al te vaak uit van het feit dat werknemers ICT vaardig zijn. Omdat de ICT hulpmiddelen geboden worden kunnen mensen ze ook gebruiken is de redenering. Dat is dus niet zo, bewijst dit onderzoek. Zelfs in het onderwijs hebben wij nu al een aantal keer ondersteuning geboden bij het aanleren van ICT vaardigheden. Dat gaat van een cursus Excel tot het aanleren van het gebruik van sneltoetsen, handigheidjes om snel een tekst te kunnen invoeren. Naar aanleiding van onze adviezen wordt vaak een buddy aangesteld om m.n. te ondersteunen bij de ICT vraagstukken, als verlengde van de helpdesk, conform de resultaten van dit onderzoek.

Onze expertise ligt op het gebied van toetsen, wij willen graag de ICT vaardigheden toetsen van werknemers. Werkgevers en opdrachtgevers van dit onderzoek: wij ondersteunen graag bij de toetsing van ICT vaardigheden.

Written by Manon Bonefaas

8 maart 2012 at 09:25

Visie op toetsing

with 2 comments

Regelmatig worden we om advies gevraagd rondom (digitale) toetsing. Dat gaat om adviezen over het inrichten van een itembank maar ook over het maken van een toetsmatrijs. Eerder heb ik hier ook al blogs over geschreven. Op LinkedIn zijn regelmatig discussies te vinden over digitaal toetsen in speciale groepen en in onderwijs groepen. Deze week kwam ik de volgende discussie tegen in de SURF special interest group digitaal toetsen:

In drie dagen tijd geven vier hogescholen en universiteiten aan dat ze moeite hebben met digitaal toetsen. Genoemde problemen, in willekeurige volgorde:

  • functioneel beheer
  • instabiliteit
  • geen borging van kwaliteit
  • toetsing in relatie tot interne en externe organisatie
  • technisch platform

Een van de deelnemers aan de discussie zegt terecht:

Wij zijn op dit moment ook bezig om een visie op digitaal toetsen te formuleren.

Dat lijkt me dan ook het begin. Natuurlijk begint iedereen met een experiment, een pilot maar dat zou moeten leiden tot inzicht in wat nodig is in je organisatie. Een visie op toetsing helpt vervolgens in het geven van handen en voeten aan datgene wat je als school belangrijk vindt in (digitale) toetsing.

Realiseer je vervolgens dat je het wiel niet zelf hoeft uit te vinden, we helpen graag!

Written by Manon Bonefaas

6 maart 2012 at 15:25

%d bloggers liken dit: