Online toetsing

Alles wat je altijd al wilde weten over digitale toetsing

Archive for the ‘online examinering’ Category

Aspire Platform: veelbelovend!

leave a comment »

Een jaar geleden is Efinity gestart met de presentatie van Surpass in Nederland Surpass is zeer robuuste toetssoftware die gebruikt wordt in Engeland door de ‘awarding bodies’. Surpass bleek een veel te ‘zware’ applicatie voor de Nederlandse markt. Efinity heeft gekozen voor een nieuwe versie van Surpass deze is volledig SaaS: Aspire is de naam van de nieuwe toetssoftware.

Vanmiddag krijgen we volledig inzicht in de eerste release van Aspire en de roadmap voor de komende jaren. Aspire heeft een modern, sexy interface en is erg intuitief. In de ontwikkeling wordt gebruik gemaakt van moderne technologie, met name door het gebruik van HTML 5. Daarnaast is Aspire zo open als mogelijk, en wordt gebruik gemaakt van internationale standaarden SCORM en QTI. In latere releases zullen ook tools beschikbaar gesteld worden om items vanuit andere toetsprogramma’s te importeren.

Vanuit de expertise van Surpass is Aspire gemaakt, waarbij rekening gehouden is met nieuwe eisen:
* niets installeren op computers volledig SaaS
* geen Flash, vanwege (toekomstige) behoefte aan gebruik tablets of mobile devices
* in één auteursomgeving
* intuitief, zodat je niet na een half jaar moet bedenken hoe het ook al weer was
* verschillende rollen en rechten worden herkend

De standaard vraagtypes worden bij de eerste release opgeleverd zoals: multiple choice, open vraag, hotspot, multiple select. Meer geavanceerde vragen worden later opgeleverd. Een voorbeeld van een geavanceerde vraag is de combinatie van een invulvraag een multiple choice vraag en een rangschikvraag. Van verschillende vragen wordt in dat geval één vraag gemaakt.

20121102-150816.jpg20121102-151910.jpg

Analyse van de kwaliteit van de vraag wordt automatisch gegenereerd vanuit de resultaten. Wanneer een item door bijna iedereen goed beantwoord wordt, wordt het opgemerkt (gemarkeerd met een vlaggetje) zodat de itemconstructeur er aandacht aan kan besteden. Vanuit het Report dashboard wordt op een aantrekkelijke manier in cijfers en grafieken duidelijk gemaakt wat de kwaliteit van items en toetsen is. Groepen zijn op deze manier ook gemakkelijk te vergelijken.

De toetsmatrijs kan gebruikt worden om de toets samen te stellen en als sturingsmechanisme voor de itemconstructeur. De itemconstructeur weet dat van een bepaalde toetsterm (of map) nog zoveel vragen gemaakt moeten worden. Door de juiste metadata te koppelen aan de toetsterm, hebben alle items automatisch deze metadate meegekregen.

Vanuit Aspire kan gebruik gemaakt worden van de mediabibliotheek van een school of bedrijf.

In april zal de beta versie van Aspire opgeleverd worden zodat potentiële klanten alvast gebruik kunnen maken van Aspire.

Aspire wordt definitief gepresenteerd in augustus 2013. Klaar voor gebruik! 😃

Advertenties

Written by Manon Bonefaas

2 november 2012 at 16:00

5 tips voor toetsafname bij BYOD

with 4 comments

Veel scholen en bedrijven staan Bring Your Own Device (BYOD) toe. Het gevolg is dat iedere werknemer of leerling met andere devices werkt. Op school kunnen dat verschillende laptops, tablets of smartphones zijn.  Voor toetssoftware is het handig wanneer voor de beoordelingsexamens en de formatieve toetsen de software zich op elk device goed presenteert.

Een paar tips voor het uitleveren van toetssoftware aan kleinere devices:

1. Denk klein: hou rekening met de grootte van het (potentiele) afname scherm bij het stellen van je vragen. Dus korte teksten en korte antwoorden, weinig plaatjes (plaatjes laden duurt langer) en beperk je in het gebruik van  verschillende vraagsoorten. Een sleepvraag  op een heel klein scherm kan onhandig zijn en veel vaardigheid van de gebruiker vergen.

2. Toegankelijkheid: zorg dat de toets makkelijk toegankelijk is. Een manier om te voorkomen dat een kandidaat een lange url in moet typen is om gebruik te maken van QR codes. In een QR code kan je makkelijk een url stoppen, via deze link kun kun je je eigen QR code maken.

3. Wees voorzichtig met Flash: op veel mobiele devices wordt geen Flash ondersteuning gegeven, wellicht is het beter Flash te vermijden bij toetsafnames.

4. Alternatieve hulpbronnen: Beslis van te voren of het belangrijk is dat je kandidaten gebruik kunnen maken van alternatieve hulpbronnen. Mogen je kandidaten gebruik maken van andere bronnen of sites via hetzelfde device, check dan of ze de toets opnieuw kunnen openen.

5. Test: test je toets op verschillende devices zodat je weet hoe je toets eruit ziet op deze devices.

Voor deze blog heb ik dankbaar gebruik gemaakt van het heldere blog van Brian McNamara over BYOD en toetsing.

Written by Manon Bonefaas

29 oktober 2012 at 14:05

Leveranciersdag Digitaal Toetsen SURF 9 oktober 2012

with 3 comments

Afgelopen dinsdag vond de leveranciersdag Digitaal Toetsen van SURF plaats. De bijeenkomst was strak en met zorg georganiseerd. Uitleg werd gegeven over het programma Toetsing en Toetsgestuurd leren. Het belang van SURFconext werd duidelijk gemaakt. Door SURFconext is het mogelijk single-sign-on te realiseren voor verschillende SAAS applicaties. Daarnaast is het mogelijk om zo samen te werken over de grenzen van universiteiten en hogescholen heen. Dat laatste is erg belangrijk voor SURF en wordt door hen ook verwacht in het project Toetsing en Toetsgestuurd leren. Het ideaal plaatje dat aan het eind van de middag naar voren kwam was een itembank, gemaakt in één systeem. In dat systeem moeten review functies zitten en de examencommissie moet kunnen beoordelen of het examen klaar is. Waarna de afname in een ander systeem kan plaatsvinden. Tegelijkertijd moeten de systemen wel de veiligheid waarborgen. Het gaat immers om examens in het hoger onderwijs. Na de afname moeten de resultaten teruggekoppeld worden naar de itembank om de statisische gegevens van de vraag bij de vraag zelf te houden. Naast deze wens wil SURF ook graag met behulp van SURFconext experimenteren in de cloud. Door software te leveren aan de SURFmarket krijg je toegang tot SURFconext.

Het experiment met toetsbanken van de ene leverancier en afname (players) van de andere leverancier volg ik nauwgezet. Risico’s biedt het ook, de omgeving voor itemconstructie en itembank is immers aangepast aan de afspeelomgeving. De eisen die aan een afspeelomgeving gesteld worden zijn hoog, je wilt bijvoorbeeld dat alles opgeslagen wordt, zowel antwoorden als de tijd die een examenkandidaat over bepaalde vragen doet. Deze informatie heb je nodig bij de analyse achteraf. Daarnaast wil je dat niets van de toets achterblijft op de pc. Een volgende kandidaat mag beslist geen antwoorden van de vorige kandidaat zien.

De ideeën zijn erg ambitieus. Jammer was het, dat weinig kritische vragen gesteld werden door de leveranciers. Mogelijk kwam dat doordat niemand het achterste eindje van zijn tong wil laten zien, echter de taal kan ook een barrière geweest zijn. Voertaal was Engels op verzoek van twee leveranciers.  Overduidelijk was dat het hier alleen gaat om de Nederlandse markt en wetgeving. Wordt vervolgd!

Open vragen zijn beter of niet?

with one comment

De discussie over het gebruik van open of gesloten vragen wordt meestal beslecht door te zeggen: kennis en inzicht toets je met gesloten vragen. Toepassing, analyseren en creëren toets je met behulp van open vragen. Maar is dat zo? Is het mogelijk om met gesloten vragen meer te toetsen dan alleen kennis en inzicht?

Allereerst moet je vaststellen dat het heel moeilijk is om goede gesloten vragen te maken. Een goede gesloten vraag heeft namelijk antwoord alternatieven die allemaal even waarschijnlijk zijn voor degene die niet geleerd heeft of geen inzicht  in de te toetsen stof heeft. De bedoeling is dat de gesloten vraag een goede discriminatie geeft tussen de kandidaten die wel en niet mogen slagen voor een examen. Is het dan mogelijk ook toepassingsvragen te toetsen met gesloten vragen? Ja hoor dat kan, kijk maar: (voorbeeld van een gesloten toepassingsvraag bron: Universiteit Maastricht)

Voorbeeld toepassingsvraag uit de reguliere toets van het blok onrechtmatig gedrag (2003-2004)

17. Maria kan haar minnaar Kees ertoe verleiden om haar veel oudere en niet onbemiddelde echtgenoot Bart naar ‘de andere wereld’ te helpen. In ruil daarvoor belooft ze met hem te trouwen. Kees, tot over zijn oren verliefd op deze femme fatale, neemt dit aanbod gretig aan. Wanneer hij een paar dagen later met een pistool in de hand Barts werkkamer betreedt, klaar om het fatale schot af te vuren, ontdekt hij tot zijn verbazing dat de echtgenoot al morsdood op de grond ligt. Hij blijkt enkele uren tevoren aan een hartaanval te zijn overleden.

Maria is …

  1. niet strafbaar, omdat sprake is van een ondeugdelijke poging tot moord.
  2. strafbaar wegens mislukte uitlokking van poging tot moord.
  3. niet strafbaar, omdat sprake is van een ondeugdelijke poging tot uitlokking van moord.
  4. strafbaar wegens poging tot uitlokking van moord.

Vanuit dezelfde bron worden daarna open vragen gesteld. Opvallend is dat in de open vragen steeds een keuze gegeven wordt, bijvoorbeeld: Is de genoemde keuze een klassiek of een sociaal grondrecht? Motiveer je antwoord. Om het nakijken te vergemakkelijken worden bovenstaande twee keuzes gegeven die vervolgens gemotiveerd moeten worden. Wanneer de motivatie ook als gesloten vraag gesteld wordt beperk je het nakijkwerk aanzienlijk. Dat kan door van een ander type vraag dan een multiple choice vraag gebruik te maken. Een multiple select vraag bestaat uit onderdelen van de motivatie, die gezamenlijk het antwoord vormen. Het correctiemodel voor de open vraag omvat alle motiveringen die gegeven kunnen worden. Deze worden benoemd en gewaardeerd in een multiple select vraag, de ene keuze kan daarbij zwaarder wegen dan de andere (polytome scoring). Het is zelfs mogelijk punten aftrek te geven voor een onjuiste motivatie. Voor een open vraag was het nodig een correctiemodel met waardering te maken, voor de gesloten vraag worden de verschillende mogelijkheden met waardering in de multiple selectvraag gezet. Op deze wijze wordt kennis, inzicht, toepassing en analyse getoetst.

Je investeert bij de keuze voor gesloten vragen tijd en energie in het maken van goede vragen en antwoorden. Vuistregel: het kost net zoveel tijd om gesloten vragen te maken als het maken en nakijken van open vragen. De besparing zit in het hergebruik van gesloten vragen; dat is altijd voordeliger dan hergebruik van open vragen.

Written by Manon Bonefaas

27 augustus 2012 at 13:06

CVE ziet (voorlopig) af van digitale examens

with one comment

In de vakantie verscheen dit bericht in de media: Voorlopig geen digitale eindexamens meer. Zowel op twitter als op diverse blogs werd hierop gereageerd. Opvallend was de reactie van de Rode Planeet: leverancier van Wintoets en Quayn. Het devies van de Rode Planeet:

 Ga nooit digitaal examineren. Het is vragen om problemen, die je niet als CvE in de hand kunt hebben.

Jammer dat de Rode Planeet dit devies niet meer toelicht en meteen in gaat op oplossingen. Jammer ook dat de kans gemist wordt om ervaring op te doen met digitale toetsing. Het CvE laat op dit moment toetssoftware bouwen om digitaal te kunnen gaan toetsen. Ongetwijfeld zijn ze zich bewust van de haken en ogen die de Rode Planeet opnoemt:

  • stroom- en internetstoringen
  • uitrol van updates
  • hackpogingen

Zonder nu deze haken en ogen te bagatelliseren zou ik wel het volgende op willen merken. Leerlingen van nu en ouders van nu verlangen steeds meer en steeds vaker dat gebruik gemaakt kan worden van digitale hulpmiddelen. In de lessituatie zie je dit ook terug. Veel lesmateriaal wordt digitaal aangeboden, sommige scholen werken al met laptops en tablets. Het gevolg is dat leerlingen steeds meer gewend zijn aan het gebruik van ICT. Ze kunnen niet eens meer lange stukken schrijven, zie ook de blogpost van Sander Schenk: schriftelijke toetsen zijn een marteling.  Vanuit dat perspectief zou het wenselijk zijn nog eens kritisch naar de digitale afname van examens te kijken. Ook als de software van het CvE klaar is zal er eerst een pilot fase gestart moeten worden. Over het algemeen begin je niet in het groot met de uitrol van een dergelijk product.

Door ‘proven technology’ weet je dat je veilig je examenafnames kan regelen. Natuurlijk kan er iets fout gaan zoals de Rode Planeet suggereert maar ook in de papieren oplossingen die door hen gesuggereerd worden gaan dingen fout, denk aan zoekgeraakte examens of bekend geraakte (gestolen)examens. De kans op fraude bestaat, zowel bij digitale als bij papieren afname en moet niet onderschat worden. Maar het gaat te ver om digitale afname als onveiliger te betitelen. Juist digitaal en online is veel te regelen rondom veiligheid. De gesuggereerde oplossing van het lokaal opslaan draagt zeker ook risico’s in zich.

Gelukkig zijn er andere partijen in Nederland die wel degelijk op een goede en betrouwbare manier digitale online examens afnemen, deze ‘proven technology’ zou CvE kunnen helpen bij de afname van de eindexamens. Vooralsnog is het jammer genoeg nog een paar jaar wachten op een pilot met de software die CvE heeft laten bouwen. Ik wens leerlingen en docenten sterkte voor de komende jaren met de papieren toetsen.

Written by Manon Bonefaas

14 augustus 2012 at 16:01

Leerlingen zoeken toetsen

with one comment

Scholen gehackt door leerlingen die toetsen zoeken

Bewerkt door: Redactie − 28/06/12, 04:59  − bron: hln.be
© Thinkstock.

Zeker 30 scholen in België zijn het afgelopen jaar slachtoffer geworden van hackers. Vaak ging het om eigen leerlingen die het schoolsysteem kraakten om zo examenvragen te bemachtigen of puntenlijsten te stelen.

Luc Beirens van de Computer Crime Unit van de federale politie in België vermoedt dat het op nog veel meer scholen gebeurt. Hij sluit zelfs niet uit dat sommige leerlingen ook proberen hun examenresultaten te manipuleren.

Vaak proberen scholen het probleem intern op te lossen. Omdat de omvang van de cybercriminaliteit beperkt is, is het niet altijd nodig om naar de politie te stappen, zo schrijven de Coreliokranten in België.

Dit artikel stond 28 juni in Trouw. Twee jaar gelden verscheen dit artikel in de kranten:

Leerlingen kraken e-mail leraren

ToetsenbordToetsenbord Foto: Filmvanalledag / Flickr – Creative Commons by-nc-sa
Toegevoegd: dinsdag 16 mrt 2010, 10:10

Twee leerlingen van een gymnasium in Heeswijk-Dinther zijn van school gestuurd omdat ze de e-mailboxen van docenten hebben gekraakt. Daarmee hebben ze de vertrouwensrelatie met de leraren geschonden, zegt de school.

De twee jongens, uit de vierde en vijfde klas, hebben sinds november 2008 meerdere keren ingebroken in de e-mail van negentien leraren. De gymnasiasten gebruikten een keylogger, waarmee de toetsaanslagen van de docenten werden geregistreerd. Zo werden de wachtwoorden achterhaald.

Ze haalden er onder meer proefwerken en schoolexamens uit de mail, die ze deelden met hun vrienden. De leerlingen die gebruikmaakten van de gestolen examens hebben een 1 gekregen en moeten die nu overdoen.

De ouders en leerlingen zijn afgelopen weekend geïnformeerd over de inbraak in het computersysteem. De school doet aangifte gedaan van computervredebreuk.

Conclusie: leerlingen zijn geïnteresseerd in toetsen zelfs zo geïnteresseerd dat ze computer hackers worden. Het hoeft niet altijd zo ingewikkeld of geavanceerd, net als bij papieren toetsen is het mogelijk de (digitale)toets van de docent te stelen. Een USB stickje met de toetsen erop is voor een docent een kostbaar bezit, voor een leerling of student geldt dat natuurlijk ook. Verloren of gestolen USB sticks komen niet of nauwelijks in de publiciteit tenzij ze staatsgeheimen bevatten. De oplossing voor dit probleem is een veilig toetssysteem, met een aantal voorwaarden o.a.:

  • de gebruiker heeft beperkte rechten, bijvoorbeeld alleen voor het maken van conceptvragen
  • de gebruiker moet regelmatig van wachtwoord wisselen en dit wordt gecheckt op sterkte
  • zorg voor een voldoende grote itembank zodat je afwisselende random examens kunt maken (de examens worden pas bij het starten samengesteld, dat zorgt ervoor dat een leerling nooit van tevoren iets kan)
  • de toetssoftware moet een volledig SAAS model zijn (USB stickjes zijn overbodig)
  • ook aan de afname kant van de toets zul je veiligheidsmaatregelen moeten nemen (zie hiervoor o.a Silvester Draaijers blog, toetscentra.nl en Exin anywhere)
  • automatisch corrigeren en snel verspreiden van de uitslag voorkomt manipulatie achteraf.

Met beveiliging is het altijd een wapenwedloop, uiteindelijk is alles te hacken. Waar je voor moet zorgen is dat de hackers zoveel tijd nodig hebben om informatie te ontsluiten of te manipuleren, dat ze er uiteindelijk niets meer mee kunnen.

En vanuit het perspectief van softwareontwikkeling: Dichttimmeren is een illusie, het hacken waardeloos maken de kunst.

Gevonden: videomateriaal over toetsen!

with one comment

Regelmatig struin ik het web af naar informatie over toetsen. Op de site van de universiteit Utrecht: over toetsen blijken ook video’s te staan. Ze staan verstopt in de FAQ van de site. Omdat bij de ene vraag wel en bij de andere geen video staat heb ik ze even opgezocht, ze staan hier. Persoonlijk vond ik deze wel aardig, cesuur is inderdaad iets waar veel examenbureaus mee worstelen en in deze video wordt kort en krachtig een heldere uitleg gegeven.

Verschillende video’s over toetsen zijn hier bij elkaar te vinden waaronder ook ervaringen met Testvision en Blackboard.

Written by Manon Bonefaas

31 mei 2012 at 21:38

%d bloggers liken dit: