Online toetsing

Alles wat je altijd al wilde weten over digitale toetsing

Archive for the ‘online toetsing’ Category

Aspire Platform: veelbelovend!

leave a comment »

Een jaar geleden is Efinity gestart met de presentatie van Surpass in Nederland Surpass is zeer robuuste toetssoftware die gebruikt wordt in Engeland door de ‘awarding bodies’. Surpass bleek een veel te ‘zware’ applicatie voor de Nederlandse markt. Efinity heeft gekozen voor een nieuwe versie van Surpass deze is volledig SaaS: Aspire is de naam van de nieuwe toetssoftware.

Vanmiddag krijgen we volledig inzicht in de eerste release van Aspire en de roadmap voor de komende jaren. Aspire heeft een modern, sexy interface en is erg intuitief. In de ontwikkeling wordt gebruik gemaakt van moderne technologie, met name door het gebruik van HTML 5. Daarnaast is Aspire zo open als mogelijk, en wordt gebruik gemaakt van internationale standaarden SCORM en QTI. In latere releases zullen ook tools beschikbaar gesteld worden om items vanuit andere toetsprogramma’s te importeren.

Vanuit de expertise van Surpass is Aspire gemaakt, waarbij rekening gehouden is met nieuwe eisen:
* niets installeren op computers volledig SaaS
* geen Flash, vanwege (toekomstige) behoefte aan gebruik tablets of mobile devices
* in één auteursomgeving
* intuitief, zodat je niet na een half jaar moet bedenken hoe het ook al weer was
* verschillende rollen en rechten worden herkend

De standaard vraagtypes worden bij de eerste release opgeleverd zoals: multiple choice, open vraag, hotspot, multiple select. Meer geavanceerde vragen worden later opgeleverd. Een voorbeeld van een geavanceerde vraag is de combinatie van een invulvraag een multiple choice vraag en een rangschikvraag. Van verschillende vragen wordt in dat geval één vraag gemaakt.

20121102-150816.jpg20121102-151910.jpg

Analyse van de kwaliteit van de vraag wordt automatisch gegenereerd vanuit de resultaten. Wanneer een item door bijna iedereen goed beantwoord wordt, wordt het opgemerkt (gemarkeerd met een vlaggetje) zodat de itemconstructeur er aandacht aan kan besteden. Vanuit het Report dashboard wordt op een aantrekkelijke manier in cijfers en grafieken duidelijk gemaakt wat de kwaliteit van items en toetsen is. Groepen zijn op deze manier ook gemakkelijk te vergelijken.

De toetsmatrijs kan gebruikt worden om de toets samen te stellen en als sturingsmechanisme voor de itemconstructeur. De itemconstructeur weet dat van een bepaalde toetsterm (of map) nog zoveel vragen gemaakt moeten worden. Door de juiste metadata te koppelen aan de toetsterm, hebben alle items automatisch deze metadate meegekregen.

Vanuit Aspire kan gebruik gemaakt worden van de mediabibliotheek van een school of bedrijf.

In april zal de beta versie van Aspire opgeleverd worden zodat potentiële klanten alvast gebruik kunnen maken van Aspire.

Aspire wordt definitief gepresenteerd in augustus 2013. Klaar voor gebruik! 😃

Written by Manon Bonefaas

2 november 2012 at 16:00

5 tips voor toetsafname bij BYOD

with 4 comments

Veel scholen en bedrijven staan Bring Your Own Device (BYOD) toe. Het gevolg is dat iedere werknemer of leerling met andere devices werkt. Op school kunnen dat verschillende laptops, tablets of smartphones zijn.  Voor toetssoftware is het handig wanneer voor de beoordelingsexamens en de formatieve toetsen de software zich op elk device goed presenteert.

Een paar tips voor het uitleveren van toetssoftware aan kleinere devices:

1. Denk klein: hou rekening met de grootte van het (potentiele) afname scherm bij het stellen van je vragen. Dus korte teksten en korte antwoorden, weinig plaatjes (plaatjes laden duurt langer) en beperk je in het gebruik van  verschillende vraagsoorten. Een sleepvraag  op een heel klein scherm kan onhandig zijn en veel vaardigheid van de gebruiker vergen.

2. Toegankelijkheid: zorg dat de toets makkelijk toegankelijk is. Een manier om te voorkomen dat een kandidaat een lange url in moet typen is om gebruik te maken van QR codes. In een QR code kan je makkelijk een url stoppen, via deze link kun kun je je eigen QR code maken.

3. Wees voorzichtig met Flash: op veel mobiele devices wordt geen Flash ondersteuning gegeven, wellicht is het beter Flash te vermijden bij toetsafnames.

4. Alternatieve hulpbronnen: Beslis van te voren of het belangrijk is dat je kandidaten gebruik kunnen maken van alternatieve hulpbronnen. Mogen je kandidaten gebruik maken van andere bronnen of sites via hetzelfde device, check dan of ze de toets opnieuw kunnen openen.

5. Test: test je toets op verschillende devices zodat je weet hoe je toets eruit ziet op deze devices.

Voor deze blog heb ik dankbaar gebruik gemaakt van het heldere blog van Brian McNamara over BYOD en toetsing.

Written by Manon Bonefaas

29 oktober 2012 at 14:05

Leveranciersdag Digitaal Toetsen SURF 9 oktober 2012

with 3 comments

Afgelopen dinsdag vond de leveranciersdag Digitaal Toetsen van SURF plaats. De bijeenkomst was strak en met zorg georganiseerd. Uitleg werd gegeven over het programma Toetsing en Toetsgestuurd leren. Het belang van SURFconext werd duidelijk gemaakt. Door SURFconext is het mogelijk single-sign-on te realiseren voor verschillende SAAS applicaties. Daarnaast is het mogelijk om zo samen te werken over de grenzen van universiteiten en hogescholen heen. Dat laatste is erg belangrijk voor SURF en wordt door hen ook verwacht in het project Toetsing en Toetsgestuurd leren. Het ideaal plaatje dat aan het eind van de middag naar voren kwam was een itembank, gemaakt in één systeem. In dat systeem moeten review functies zitten en de examencommissie moet kunnen beoordelen of het examen klaar is. Waarna de afname in een ander systeem kan plaatsvinden. Tegelijkertijd moeten de systemen wel de veiligheid waarborgen. Het gaat immers om examens in het hoger onderwijs. Na de afname moeten de resultaten teruggekoppeld worden naar de itembank om de statisische gegevens van de vraag bij de vraag zelf te houden. Naast deze wens wil SURF ook graag met behulp van SURFconext experimenteren in de cloud. Door software te leveren aan de SURFmarket krijg je toegang tot SURFconext.

Het experiment met toetsbanken van de ene leverancier en afname (players) van de andere leverancier volg ik nauwgezet. Risico’s biedt het ook, de omgeving voor itemconstructie en itembank is immers aangepast aan de afspeelomgeving. De eisen die aan een afspeelomgeving gesteld worden zijn hoog, je wilt bijvoorbeeld dat alles opgeslagen wordt, zowel antwoorden als de tijd die een examenkandidaat over bepaalde vragen doet. Deze informatie heb je nodig bij de analyse achteraf. Daarnaast wil je dat niets van de toets achterblijft op de pc. Een volgende kandidaat mag beslist geen antwoorden van de vorige kandidaat zien.

De ideeën zijn erg ambitieus. Jammer was het, dat weinig kritische vragen gesteld werden door de leveranciers. Mogelijk kwam dat doordat niemand het achterste eindje van zijn tong wil laten zien, echter de taal kan ook een barrière geweest zijn. Voertaal was Engels op verzoek van twee leveranciers.  Overduidelijk was dat het hier alleen gaat om de Nederlandse markt en wetgeving. Wordt vervolgd!

Drillster: bijdrage boektweepuntnul

with one comment

Afgelopen zaterdag is BoekTweePuntNul uitgekomen. In dit boek worden lezers kort en helder geinformeerd over verschillende webapplicaties. Ik heb onderstaande bijdrage over Drillster geschreven.

Wat is Drillster en wat kun je ermee? 

Drillen betekent letterlijk africhten. Wanneer kennis geleerd moet worden, kan Drillster gebruikt worden. Drillster is geschikt voor tekst, plaatjes, video en geluid. Drillster wordt vooral gebruikt bij trainingen. Dat kunnen juridische, technische, management, verkoop, veiligheid en taaltrainingen zijn. Een bepaalde (basis) kennis is steeds nodig voor de trainingsdeelnemers en dan kan Drillster slim ingezet worden. Later kun je met behulp van Drillster deze kennis ook onderhouden. Leren wordt zo leuker. Om Drillster te gebruiken moet je een eigen profiel aan maken. Naast de gratis versie wordt ook een betaalde versie aangeboden met meer mogelijkheden.

Ontstaansgeschiedenis van Drillster 

Drillster is ontstaan in 2006 en gebaseerd op het werk van de psycholoog Leitner. Leitner’s learning box werkt met kenniskaartjes. Daarin staan een aantal uitgangspunten centraal. Ten eerste: datgene wat je al weet, hoef je niet zo vaak te herhalen als de dingen die je nog moet leren. Meestal vergeet je na verloop van tijd geleerde kennis. Zeker wanneer je het niet blijft herhalen. Dat is de vergeetcurve. De vergeetcurve geeft aan dat kennis in de loop van de tijd minder wordt. Van deze theorieën maakt Drillster gebruik. Door je steeds nieuwe kaartjes aan te bieden, door wat je nog niet goed onthield steeds te laten herhalen en tenslotte, wat je wel weet af en toe te laten herhalen. Om te zorgen dat de vergeetcurve niet in werking treedt, krijg je een herinnering per e-mail of sms als het geleerde onder de 80% zakt.

Doel Drillster 

Het doel van Drillster is: met behulp van Drills je zo snel en makkelijk mogelijk te laten leren en herhalen. Je leert en toetst in één keer. Door steeds te herhalen, onthoud je beter en vergeet je minder. Je Drills zijn online altijd bereikbaar dus je kan altijd oefenen wanneer je een Internetverbinding hebt.

Drillster weetjes

  • Je kunt Drillster op je iPod of iPad gebruiken. Download de Drillster app. Op je profiel is de API-sleutel (=toegang tot de app) te vinden.
  • Je kunt een spiekbrief van je Drill maken, om offline te oefenen.
  • Let op: Drills die je openbaar zet (publiceert) moeten van jezelf zijn, anders kan Drillster ze verwijderen omdat ze in strijd zijn met het auteursrecht.
  • Zelfontwikkelde Drills kunnen verkocht worden via de Drill-store.
  • Drillster maakt een QR code van je Drill.
  • Drillster kan aangesloten worden op andere systemen zoals een e-learningomgeving  (LMS) of een leerlingvolgsysteem.
  • Je kunt kiezen of je je Drill wilt delen of voor jezelf wilt houden.
  • Drillster biedt verschillende rapportage mogelijkheden. Je kunt je eigen leercurve zien bij gebruik van een Drill.

Bijzondere gebruiksmogelijkheden Drillster

Het bedrijfsleven ontdekt Drillster steeds meer. Opleidingen kunnen efficiënter en effectiever gegeven worden omdat alle deelnemers een gelijk startniveau hebben. Dit scheelt per training van vijf dagen soms meer dan een dag.

Drillster handleiding 

Wijst zichzelf wanneer je een profiel aangemaakt hebt, kun je een nieuwe Drill maken.

Drillster jargon

Drill = oefening in Drillster

Stats = je leercurve van een Drill

Mijn repertoire = mijn Drills

Productief = reproduceer  (laat zien) wat je hebt geleerd

Receptief = herken wat je hebt geleerd

Algemene tip: 

Zoek in de Drills van anderen dan hoef je zelf geen Drill te maken

Onderwijstip:

Deel de Drill met je klasgenoten zodat je samen kan leren.

 

Written by Manon Bonefaas

10 oktober 2012 at 11:26

PDCA en examenlogistiek

with one comment

PDCA en examenlogistiek of waarom de feedbackloop (borging) zo belangrijk is bij toetsing!  Inhoudelijk is in dat al eerdere blogs besproken  o.a. PDCA en toetsmatrijs, PDCA en een toets maken en PDCA en online toetsing. Graag wil ik in deze blog de nadruk leggen op de borging en feedback loop.

In je examen- of toetslogistiek probeer je continu tot verbeteringen te komen. Dat geldt voor zowel het proces als de inhoud. Inhoudelijk is dat al in de eerdere blogs besproken, daar ga ik hier niet verder op in. Procesmatig is wat anders.

Ook het proces kan continu verbeterd worden. In de transitie van papier naar digitaal is dat heel duidelijk, maar ook als van een dergelijke verandering geen sprake is, is het zinvol eens goed naar het proces te kijken. Voor zowel onderwijs als bedrijfsleven zou examenlogistiek continu punt van aandacht moeten zijn.

Plan:

  • inschrijving (digitaal of op papier)
  • locatie
  • surveillant
  • hulpmiddelen
  • toets maken  (digitaal of geprint) en goedkeuren (examencommissie)
  • terugkoppeling van de resultaten aan het examenbureau en daarna aan de kandidaten (hoe?)

Do:

  • zorg dat kandidaten in kunnen schrijven
  • zorg dat kandidaten en surveillanten geïnformeerd worden over tijd en locatie van de toets
  • zorg dat voldoende hulpmiddelen voor de toets beschikbaar zijn
  • zorg dat de toets beschikbaar is
  • zorg dat de terugkoppeling van resultaten tijdig plaats vindt

Check:

  • controleer of alles klaar is voor de afname
  • controleer of de terugkoppeling van resultaten goed verloopt (zijn de correctoren op tijd klaar met nakijkwerk)
  • controleer of de kandidaten geïnformeerd worden over hun resultaat

Act:

  • voer uit conform planning
  • evalueer de hele cyclus voordat je opnieuw toetsen gaat afnemen (feedbackloop)

Bij de evaluatie is belangrijk dat je je realiseert wie de stakeholders zijn. Vanuit dat perspectief zijn pijnpunten snel(ler) gevonden en daarmee de verbeterpunten voor de volgende afname. Aandachtspunt is ook het gebruik van digitale hulpmiddelen om automatische checks in te bouwen. Denk bijvoorbeeld aan reminders in Outlook.

Written by Manon Bonefaas

11 september 2012 at 15:17

Open vragen zijn beter of niet?

with one comment

De discussie over het gebruik van open of gesloten vragen wordt meestal beslecht door te zeggen: kennis en inzicht toets je met gesloten vragen. Toepassing, analyseren en creëren toets je met behulp van open vragen. Maar is dat zo? Is het mogelijk om met gesloten vragen meer te toetsen dan alleen kennis en inzicht?

Allereerst moet je vaststellen dat het heel moeilijk is om goede gesloten vragen te maken. Een goede gesloten vraag heeft namelijk antwoord alternatieven die allemaal even waarschijnlijk zijn voor degene die niet geleerd heeft of geen inzicht  in de te toetsen stof heeft. De bedoeling is dat de gesloten vraag een goede discriminatie geeft tussen de kandidaten die wel en niet mogen slagen voor een examen. Is het dan mogelijk ook toepassingsvragen te toetsen met gesloten vragen? Ja hoor dat kan, kijk maar: (voorbeeld van een gesloten toepassingsvraag bron: Universiteit Maastricht)

Voorbeeld toepassingsvraag uit de reguliere toets van het blok onrechtmatig gedrag (2003-2004)

17. Maria kan haar minnaar Kees ertoe verleiden om haar veel oudere en niet onbemiddelde echtgenoot Bart naar ‘de andere wereld’ te helpen. In ruil daarvoor belooft ze met hem te trouwen. Kees, tot over zijn oren verliefd op deze femme fatale, neemt dit aanbod gretig aan. Wanneer hij een paar dagen later met een pistool in de hand Barts werkkamer betreedt, klaar om het fatale schot af te vuren, ontdekt hij tot zijn verbazing dat de echtgenoot al morsdood op de grond ligt. Hij blijkt enkele uren tevoren aan een hartaanval te zijn overleden.

Maria is …

  1. niet strafbaar, omdat sprake is van een ondeugdelijke poging tot moord.
  2. strafbaar wegens mislukte uitlokking van poging tot moord.
  3. niet strafbaar, omdat sprake is van een ondeugdelijke poging tot uitlokking van moord.
  4. strafbaar wegens poging tot uitlokking van moord.

Vanuit dezelfde bron worden daarna open vragen gesteld. Opvallend is dat in de open vragen steeds een keuze gegeven wordt, bijvoorbeeld: Is de genoemde keuze een klassiek of een sociaal grondrecht? Motiveer je antwoord. Om het nakijken te vergemakkelijken worden bovenstaande twee keuzes gegeven die vervolgens gemotiveerd moeten worden. Wanneer de motivatie ook als gesloten vraag gesteld wordt beperk je het nakijkwerk aanzienlijk. Dat kan door van een ander type vraag dan een multiple choice vraag gebruik te maken. Een multiple select vraag bestaat uit onderdelen van de motivatie, die gezamenlijk het antwoord vormen. Het correctiemodel voor de open vraag omvat alle motiveringen die gegeven kunnen worden. Deze worden benoemd en gewaardeerd in een multiple select vraag, de ene keuze kan daarbij zwaarder wegen dan de andere (polytome scoring). Het is zelfs mogelijk punten aftrek te geven voor een onjuiste motivatie. Voor een open vraag was het nodig een correctiemodel met waardering te maken, voor de gesloten vraag worden de verschillende mogelijkheden met waardering in de multiple selectvraag gezet. Op deze wijze wordt kennis, inzicht, toepassing en analyse getoetst.

Je investeert bij de keuze voor gesloten vragen tijd en energie in het maken van goede vragen en antwoorden. Vuistregel: het kost net zoveel tijd om gesloten vragen te maken als het maken en nakijken van open vragen. De besparing zit in het hergebruik van gesloten vragen; dat is altijd voordeliger dan hergebruik van open vragen.

Written by Manon Bonefaas

27 augustus 2012 at 13:06

CVE ziet (voorlopig) af van digitale examens

with one comment

In de vakantie verscheen dit bericht in de media: Voorlopig geen digitale eindexamens meer. Zowel op twitter als op diverse blogs werd hierop gereageerd. Opvallend was de reactie van de Rode Planeet: leverancier van Wintoets en Quayn. Het devies van de Rode Planeet:

 Ga nooit digitaal examineren. Het is vragen om problemen, die je niet als CvE in de hand kunt hebben.

Jammer dat de Rode Planeet dit devies niet meer toelicht en meteen in gaat op oplossingen. Jammer ook dat de kans gemist wordt om ervaring op te doen met digitale toetsing. Het CvE laat op dit moment toetssoftware bouwen om digitaal te kunnen gaan toetsen. Ongetwijfeld zijn ze zich bewust van de haken en ogen die de Rode Planeet opnoemt:

  • stroom- en internetstoringen
  • uitrol van updates
  • hackpogingen

Zonder nu deze haken en ogen te bagatelliseren zou ik wel het volgende op willen merken. Leerlingen van nu en ouders van nu verlangen steeds meer en steeds vaker dat gebruik gemaakt kan worden van digitale hulpmiddelen. In de lessituatie zie je dit ook terug. Veel lesmateriaal wordt digitaal aangeboden, sommige scholen werken al met laptops en tablets. Het gevolg is dat leerlingen steeds meer gewend zijn aan het gebruik van ICT. Ze kunnen niet eens meer lange stukken schrijven, zie ook de blogpost van Sander Schenk: schriftelijke toetsen zijn een marteling.  Vanuit dat perspectief zou het wenselijk zijn nog eens kritisch naar de digitale afname van examens te kijken. Ook als de software van het CvE klaar is zal er eerst een pilot fase gestart moeten worden. Over het algemeen begin je niet in het groot met de uitrol van een dergelijk product.

Door ‘proven technology’ weet je dat je veilig je examenafnames kan regelen. Natuurlijk kan er iets fout gaan zoals de Rode Planeet suggereert maar ook in de papieren oplossingen die door hen gesuggereerd worden gaan dingen fout, denk aan zoekgeraakte examens of bekend geraakte (gestolen)examens. De kans op fraude bestaat, zowel bij digitale als bij papieren afname en moet niet onderschat worden. Maar het gaat te ver om digitale afname als onveiliger te betitelen. Juist digitaal en online is veel te regelen rondom veiligheid. De gesuggereerde oplossing van het lokaal opslaan draagt zeker ook risico’s in zich.

Gelukkig zijn er andere partijen in Nederland die wel degelijk op een goede en betrouwbare manier digitale online examens afnemen, deze ‘proven technology’ zou CvE kunnen helpen bij de afname van de eindexamens. Vooralsnog is het jammer genoeg nog een paar jaar wachten op een pilot met de software die CvE heeft laten bouwen. Ik wens leerlingen en docenten sterkte voor de komende jaren met de papieren toetsen.

Written by Manon Bonefaas

14 augustus 2012 at 16:01

%d bloggers liken dit: