Online toetsing

Alles wat je altijd al wilde weten over digitale toetsing

Boek 2.0

leave a comment »

Boek 2.0 is een initiatief van Louis Hilgers en Tessa van Zadelhoff. Het boek is ontstaan door crowdsourcing en co-creatie. Hier vind je meer informatie. Morgen 14 september 2012 is de app boek 2.0 tijdelijk te koop voor €4,99. Daarna zal de app €8,99 gaan kosten. In december volgt een update van de app wanneer het tweede deel van boek 2.0 ook uitgegeven is (6 oktober a.s.).

Voor wie gei Lees de rest van dit artikel »

Advertenties

Written by Manon Bonefaas

13 september 2012 at 21:54

Geplaatst in onderwijs, trainingen

Tagged with

PDCA en examenlogistiek

with one comment

PDCA en examenlogistiek of waarom de feedbackloop (borging) zo belangrijk is bij toetsing!  Inhoudelijk is in dat al eerdere blogs besproken  o.a. PDCA en toetsmatrijs, PDCA en een toets maken en PDCA en online toetsing. Graag wil ik in deze blog de nadruk leggen op de borging en feedback loop.

In je examen- of toetslogistiek probeer je continu tot verbeteringen te komen. Dat geldt voor zowel het proces als de inhoud. Inhoudelijk is dat al in de eerdere blogs besproken, daar ga ik hier niet verder op in. Procesmatig is wat anders.

Ook het proces kan continu verbeterd worden. In de transitie van papier naar digitaal is dat heel duidelijk, maar ook als van een dergelijke verandering geen sprake is, is het zinvol eens goed naar het proces te kijken. Voor zowel onderwijs als bedrijfsleven zou examenlogistiek continu punt van aandacht moeten zijn.

Plan:

  • inschrijving (digitaal of op papier)
  • locatie
  • surveillant
  • hulpmiddelen
  • toets maken  (digitaal of geprint) en goedkeuren (examencommissie)
  • terugkoppeling van de resultaten aan het examenbureau en daarna aan de kandidaten (hoe?)

Do:

  • zorg dat kandidaten in kunnen schrijven
  • zorg dat kandidaten en surveillanten geïnformeerd worden over tijd en locatie van de toets
  • zorg dat voldoende hulpmiddelen voor de toets beschikbaar zijn
  • zorg dat de toets beschikbaar is
  • zorg dat de terugkoppeling van resultaten tijdig plaats vindt

Check:

  • controleer of alles klaar is voor de afname
  • controleer of de terugkoppeling van resultaten goed verloopt (zijn de correctoren op tijd klaar met nakijkwerk)
  • controleer of de kandidaten geïnformeerd worden over hun resultaat

Act:

  • voer uit conform planning
  • evalueer de hele cyclus voordat je opnieuw toetsen gaat afnemen (feedbackloop)

Bij de evaluatie is belangrijk dat je je realiseert wie de stakeholders zijn. Vanuit dat perspectief zijn pijnpunten snel(ler) gevonden en daarmee de verbeterpunten voor de volgende afname. Aandachtspunt is ook het gebruik van digitale hulpmiddelen om automatische checks in te bouwen. Denk bijvoorbeeld aan reminders in Outlook.

Written by Manon Bonefaas

11 september 2012 at 15:17

Studenten woedend over digitaal toezicht

with one comment

Gisteren verscheen dit artikel: op Nu.nl Studenten woedend om camera’s tegen spieken. De vraag is of het doel is dat frauderende studenten opgespoord kunnen worden. Erasmus zegt dat het om een preventieve maatregel gaat; bij ‘ongebruikelijke’ resultaten kunnen de beelden worden terug gekeken. De volgende vragen komen bij mij op:

Wat is de aanleiding voor het cameratoezicht?
Welke ongebruikelijke resultaten leiden tot het terugkijken van de media?
Wanneer heeft het terugkijken van de beelden gevolgen voor de student(en)?
Wat zijn mogelijke gevolgen?

Een preventieve werking van cameratoezicht werkt alleen als studenten ook merken dat iets met de beelden gebeurt. Wanneer zich geen incident of aanleiding voordoet worden de beelden gewist, volgens Erasmus. Zolang geen zichtbare gevolgen aan het cameratoezicht zitten is de vraag of er een preventieve werking uitgaat van de camera’s.

Op twitter hele verschillende reacties, van begrip tot boosheid. Alles is te vinden. Belangrijk is dat Erasmus zich realiseert dat studenten nu al bezig zijn de camerabeelden te ‘ontwijken’. Fraude zal doorgaan. Zie ook de tweet hiernaast:

Written by Manon Bonefaas

5 september 2012 at 12:02

Geplaatst in onderwijs, toezichthouder

Tagged with , ,

Zoekterm: toetsmatrijs! Vijf tips

leave a comment »

Regelmatig check ik de zoekwoorden op deze blog. Op die manier heb ik het idee dat ik in kan spelen op vragen van bezoekers. Reacties op blogs komen jammer genoeg niet vaak voor. Bij deze ik nodig iedere lezer uit te reageren op dit blog. Op die manier kunnen we van elkaar leren! Maar dat terzijde.

Een op dit moment veel gekozen zoekterm is: toetsmatrijs. Eerder schreef ik daar al een blog over in het kader van PDCA met een verwijzing naar het blog van Sander Schenk. Maar nu naar aanleiding van de zoekvraag toch nog maar even in het kort een blog over de toetsmatrijs met vijf tips!

Een toetsmatrijs is een blauwdruk, een schema voor de toetsconstructie. Door gebruik te maken van de vooraf vastgelegde toetsmatrijs ben je in staat vergelijkbare toetsen qua niveau en inhoud te maken (mits een en ander goed is vastgelegd in de toetsmatrijs, het schema).

Vijf tips voor het gebruik van een toetsmatrijs:

  1. maak de toetsmatrijs vooraf, bij de start van je cursus of module. De toetsmatrijs is de basis van je toets. De toets is representatief voor de leerstof door gebruik van de toetsmatrijs.
  2. door de toetsmatrijs ontstaat afwisseling in de toets in opdrachten en inhoud. Zo kunnen kennis en inzichtvragen in een evenwichtige toets naast elkaar gesteld worden. Ook toetsvormen kunnen afgewisseld worden. Dit wordt vastgelegd in de toetsmatrijs.
  3. de toetsmatrijs is de verantwoording, naar collega’s, inspectie of accrediterende instantie, zorg dat de toetsmatrijs voor hen duidelijk is.
  4. door een toetsmatrijs kunnen toets en herkansing meer gelijkwaardig gemaakt worden.
  5. in de toetsmatrijs kunnen ook randvoorwaarden vastgelegd worden zoals: tijdsduur, gebruik van hulpmiddelen en dergelijke.

Veel succes bij het maken van een toetsmatrijs! Vragen over (digitaal)examineren? Stel ze hier!

Written by Manon Bonefaas

4 september 2012 at 09:17

Geplaatst in itembank, kwaliteit, toetsbeleid

Tagged with ,

Open vragen zijn beter of niet?

with one comment

De discussie over het gebruik van open of gesloten vragen wordt meestal beslecht door te zeggen: kennis en inzicht toets je met gesloten vragen. Toepassing, analyseren en creëren toets je met behulp van open vragen. Maar is dat zo? Is het mogelijk om met gesloten vragen meer te toetsen dan alleen kennis en inzicht?

Allereerst moet je vaststellen dat het heel moeilijk is om goede gesloten vragen te maken. Een goede gesloten vraag heeft namelijk antwoord alternatieven die allemaal even waarschijnlijk zijn voor degene die niet geleerd heeft of geen inzicht  in de te toetsen stof heeft. De bedoeling is dat de gesloten vraag een goede discriminatie geeft tussen de kandidaten die wel en niet mogen slagen voor een examen. Is het dan mogelijk ook toepassingsvragen te toetsen met gesloten vragen? Ja hoor dat kan, kijk maar: (voorbeeld van een gesloten toepassingsvraag bron: Universiteit Maastricht)

Voorbeeld toepassingsvraag uit de reguliere toets van het blok onrechtmatig gedrag (2003-2004)

17. Maria kan haar minnaar Kees ertoe verleiden om haar veel oudere en niet onbemiddelde echtgenoot Bart naar ‘de andere wereld’ te helpen. In ruil daarvoor belooft ze met hem te trouwen. Kees, tot over zijn oren verliefd op deze femme fatale, neemt dit aanbod gretig aan. Wanneer hij een paar dagen later met een pistool in de hand Barts werkkamer betreedt, klaar om het fatale schot af te vuren, ontdekt hij tot zijn verbazing dat de echtgenoot al morsdood op de grond ligt. Hij blijkt enkele uren tevoren aan een hartaanval te zijn overleden.

Maria is …

  1. niet strafbaar, omdat sprake is van een ondeugdelijke poging tot moord.
  2. strafbaar wegens mislukte uitlokking van poging tot moord.
  3. niet strafbaar, omdat sprake is van een ondeugdelijke poging tot uitlokking van moord.
  4. strafbaar wegens poging tot uitlokking van moord.

Vanuit dezelfde bron worden daarna open vragen gesteld. Opvallend is dat in de open vragen steeds een keuze gegeven wordt, bijvoorbeeld: Is de genoemde keuze een klassiek of een sociaal grondrecht? Motiveer je antwoord. Om het nakijken te vergemakkelijken worden bovenstaande twee keuzes gegeven die vervolgens gemotiveerd moeten worden. Wanneer de motivatie ook als gesloten vraag gesteld wordt beperk je het nakijkwerk aanzienlijk. Dat kan door van een ander type vraag dan een multiple choice vraag gebruik te maken. Een multiple select vraag bestaat uit onderdelen van de motivatie, die gezamenlijk het antwoord vormen. Het correctiemodel voor de open vraag omvat alle motiveringen die gegeven kunnen worden. Deze worden benoemd en gewaardeerd in een multiple select vraag, de ene keuze kan daarbij zwaarder wegen dan de andere (polytome scoring). Het is zelfs mogelijk punten aftrek te geven voor een onjuiste motivatie. Voor een open vraag was het nodig een correctiemodel met waardering te maken, voor de gesloten vraag worden de verschillende mogelijkheden met waardering in de multiple selectvraag gezet. Op deze wijze wordt kennis, inzicht, toepassing en analyse getoetst.

Je investeert bij de keuze voor gesloten vragen tijd en energie in het maken van goede vragen en antwoorden. Vuistregel: het kost net zoveel tijd om gesloten vragen te maken als het maken en nakijken van open vragen. De besparing zit in het hergebruik van gesloten vragen; dat is altijd voordeliger dan hergebruik van open vragen.

Written by Manon Bonefaas

27 augustus 2012 at 13:06

CVE ziet (voorlopig) af van digitale examens

with one comment

In de vakantie verscheen dit bericht in de media: Voorlopig geen digitale eindexamens meer. Zowel op twitter als op diverse blogs werd hierop gereageerd. Opvallend was de reactie van de Rode Planeet: leverancier van Wintoets en Quayn. Het devies van de Rode Planeet:

 Ga nooit digitaal examineren. Het is vragen om problemen, die je niet als CvE in de hand kunt hebben.

Jammer dat de Rode Planeet dit devies niet meer toelicht en meteen in gaat op oplossingen. Jammer ook dat de kans gemist wordt om ervaring op te doen met digitale toetsing. Het CvE laat op dit moment toetssoftware bouwen om digitaal te kunnen gaan toetsen. Ongetwijfeld zijn ze zich bewust van de haken en ogen die de Rode Planeet opnoemt:

  • stroom- en internetstoringen
  • uitrol van updates
  • hackpogingen

Zonder nu deze haken en ogen te bagatelliseren zou ik wel het volgende op willen merken. Leerlingen van nu en ouders van nu verlangen steeds meer en steeds vaker dat gebruik gemaakt kan worden van digitale hulpmiddelen. In de lessituatie zie je dit ook terug. Veel lesmateriaal wordt digitaal aangeboden, sommige scholen werken al met laptops en tablets. Het gevolg is dat leerlingen steeds meer gewend zijn aan het gebruik van ICT. Ze kunnen niet eens meer lange stukken schrijven, zie ook de blogpost van Sander Schenk: schriftelijke toetsen zijn een marteling.  Vanuit dat perspectief zou het wenselijk zijn nog eens kritisch naar de digitale afname van examens te kijken. Ook als de software van het CvE klaar is zal er eerst een pilot fase gestart moeten worden. Over het algemeen begin je niet in het groot met de uitrol van een dergelijk product.

Door ‘proven technology’ weet je dat je veilig je examenafnames kan regelen. Natuurlijk kan er iets fout gaan zoals de Rode Planeet suggereert maar ook in de papieren oplossingen die door hen gesuggereerd worden gaan dingen fout, denk aan zoekgeraakte examens of bekend geraakte (gestolen)examens. De kans op fraude bestaat, zowel bij digitale als bij papieren afname en moet niet onderschat worden. Maar het gaat te ver om digitale afname als onveiliger te betitelen. Juist digitaal en online is veel te regelen rondom veiligheid. De gesuggereerde oplossing van het lokaal opslaan draagt zeker ook risico’s in zich.

Gelukkig zijn er andere partijen in Nederland die wel degelijk op een goede en betrouwbare manier digitale online examens afnemen, deze ‘proven technology’ zou CvE kunnen helpen bij de afname van de eindexamens. Vooralsnog is het jammer genoeg nog een paar jaar wachten op een pilot met de software die CvE heeft laten bouwen. Ik wens leerlingen en docenten sterkte voor de komende jaren met de papieren toetsen.

Written by Manon Bonefaas

14 augustus 2012 at 16:01

Leerlingen zoeken toetsen

with one comment

Scholen gehackt door leerlingen die toetsen zoeken

Bewerkt door: Redactie − 28/06/12, 04:59  − bron: hln.be
© Thinkstock.

Zeker 30 scholen in België zijn het afgelopen jaar slachtoffer geworden van hackers. Vaak ging het om eigen leerlingen die het schoolsysteem kraakten om zo examenvragen te bemachtigen of puntenlijsten te stelen.

Luc Beirens van de Computer Crime Unit van de federale politie in België vermoedt dat het op nog veel meer scholen gebeurt. Hij sluit zelfs niet uit dat sommige leerlingen ook proberen hun examenresultaten te manipuleren.

Vaak proberen scholen het probleem intern op te lossen. Omdat de omvang van de cybercriminaliteit beperkt is, is het niet altijd nodig om naar de politie te stappen, zo schrijven de Coreliokranten in België.

Dit artikel stond 28 juni in Trouw. Twee jaar gelden verscheen dit artikel in de kranten:

Leerlingen kraken e-mail leraren

ToetsenbordToetsenbord Foto: Filmvanalledag / Flickr – Creative Commons by-nc-sa
Toegevoegd: dinsdag 16 mrt 2010, 10:10

Twee leerlingen van een gymnasium in Heeswijk-Dinther zijn van school gestuurd omdat ze de e-mailboxen van docenten hebben gekraakt. Daarmee hebben ze de vertrouwensrelatie met de leraren geschonden, zegt de school.

De twee jongens, uit de vierde en vijfde klas, hebben sinds november 2008 meerdere keren ingebroken in de e-mail van negentien leraren. De gymnasiasten gebruikten een keylogger, waarmee de toetsaanslagen van de docenten werden geregistreerd. Zo werden de wachtwoorden achterhaald.

Ze haalden er onder meer proefwerken en schoolexamens uit de mail, die ze deelden met hun vrienden. De leerlingen die gebruikmaakten van de gestolen examens hebben een 1 gekregen en moeten die nu overdoen.

De ouders en leerlingen zijn afgelopen weekend geïnformeerd over de inbraak in het computersysteem. De school doet aangifte gedaan van computervredebreuk.

Conclusie: leerlingen zijn geïnteresseerd in toetsen zelfs zo geïnteresseerd dat ze computer hackers worden. Het hoeft niet altijd zo ingewikkeld of geavanceerd, net als bij papieren toetsen is het mogelijk de (digitale)toets van de docent te stelen. Een USB stickje met de toetsen erop is voor een docent een kostbaar bezit, voor een leerling of student geldt dat natuurlijk ook. Verloren of gestolen USB sticks komen niet of nauwelijks in de publiciteit tenzij ze staatsgeheimen bevatten. De oplossing voor dit probleem is een veilig toetssysteem, met een aantal voorwaarden o.a.:

  • de gebruiker heeft beperkte rechten, bijvoorbeeld alleen voor het maken van conceptvragen
  • de gebruiker moet regelmatig van wachtwoord wisselen en dit wordt gecheckt op sterkte
  • zorg voor een voldoende grote itembank zodat je afwisselende random examens kunt maken (de examens worden pas bij het starten samengesteld, dat zorgt ervoor dat een leerling nooit van tevoren iets kan)
  • de toetssoftware moet een volledig SAAS model zijn (USB stickjes zijn overbodig)
  • ook aan de afname kant van de toets zul je veiligheidsmaatregelen moeten nemen (zie hiervoor o.a Silvester Draaijers blog, toetscentra.nl en Exin anywhere)
  • automatisch corrigeren en snel verspreiden van de uitslag voorkomt manipulatie achteraf.

Met beveiliging is het altijd een wapenwedloop, uiteindelijk is alles te hacken. Waar je voor moet zorgen is dat de hackers zoveel tijd nodig hebben om informatie te ontsluiten of te manipuleren, dat ze er uiteindelijk niets meer mee kunnen.

En vanuit het perspectief van softwareontwikkeling: Dichttimmeren is een illusie, het hacken waardeloos maken de kunst.

%d bloggers liken dit: