Online toetsing

Alles wat je altijd al wilde weten over digitale toetsing

Archive for the ‘online examination’ Category

Aspire Platform: veelbelovend!

leave a comment »

Een jaar geleden is Efinity gestart met de presentatie van Surpass in Nederland Surpass is zeer robuuste toetssoftware die gebruikt wordt in Engeland door de ‘awarding bodies’. Surpass bleek een veel te ‘zware’ applicatie voor de Nederlandse markt. Efinity heeft gekozen voor een nieuwe versie van Surpass deze is volledig SaaS: Aspire is de naam van de nieuwe toetssoftware.

Vanmiddag krijgen we volledig inzicht in de eerste release van Aspire en de roadmap voor de komende jaren. Aspire heeft een modern, sexy interface en is erg intuitief. In de ontwikkeling wordt gebruik gemaakt van moderne technologie, met name door het gebruik van HTML 5. Daarnaast is Aspire zo open als mogelijk, en wordt gebruik gemaakt van internationale standaarden SCORM en QTI. In latere releases zullen ook tools beschikbaar gesteld worden om items vanuit andere toetsprogramma’s te importeren.

Vanuit de expertise van Surpass is Aspire gemaakt, waarbij rekening gehouden is met nieuwe eisen:
* niets installeren op computers volledig SaaS
* geen Flash, vanwege (toekomstige) behoefte aan gebruik tablets of mobile devices
* in één auteursomgeving
* intuitief, zodat je niet na een half jaar moet bedenken hoe het ook al weer was
* verschillende rollen en rechten worden herkend

De standaard vraagtypes worden bij de eerste release opgeleverd zoals: multiple choice, open vraag, hotspot, multiple select. Meer geavanceerde vragen worden later opgeleverd. Een voorbeeld van een geavanceerde vraag is de combinatie van een invulvraag een multiple choice vraag en een rangschikvraag. Van verschillende vragen wordt in dat geval één vraag gemaakt.

20121102-150816.jpg20121102-151910.jpg

Analyse van de kwaliteit van de vraag wordt automatisch gegenereerd vanuit de resultaten. Wanneer een item door bijna iedereen goed beantwoord wordt, wordt het opgemerkt (gemarkeerd met een vlaggetje) zodat de itemconstructeur er aandacht aan kan besteden. Vanuit het Report dashboard wordt op een aantrekkelijke manier in cijfers en grafieken duidelijk gemaakt wat de kwaliteit van items en toetsen is. Groepen zijn op deze manier ook gemakkelijk te vergelijken.

De toetsmatrijs kan gebruikt worden om de toets samen te stellen en als sturingsmechanisme voor de itemconstructeur. De itemconstructeur weet dat van een bepaalde toetsterm (of map) nog zoveel vragen gemaakt moeten worden. Door de juiste metadata te koppelen aan de toetsterm, hebben alle items automatisch deze metadate meegekregen.

Vanuit Aspire kan gebruik gemaakt worden van de mediabibliotheek van een school of bedrijf.

In april zal de beta versie van Aspire opgeleverd worden zodat potentiële klanten alvast gebruik kunnen maken van Aspire.

Aspire wordt definitief gepresenteerd in augustus 2013. Klaar voor gebruik! 😃

Written by Manon Bonefaas

2 november 2012 at 16:00

Leveranciersdag Digitaal Toetsen SURF 9 oktober 2012

with 3 comments

Afgelopen dinsdag vond de leveranciersdag Digitaal Toetsen van SURF plaats. De bijeenkomst was strak en met zorg georganiseerd. Uitleg werd gegeven over het programma Toetsing en Toetsgestuurd leren. Het belang van SURFconext werd duidelijk gemaakt. Door SURFconext is het mogelijk single-sign-on te realiseren voor verschillende SAAS applicaties. Daarnaast is het mogelijk om zo samen te werken over de grenzen van universiteiten en hogescholen heen. Dat laatste is erg belangrijk voor SURF en wordt door hen ook verwacht in het project Toetsing en Toetsgestuurd leren. Het ideaal plaatje dat aan het eind van de middag naar voren kwam was een itembank, gemaakt in één systeem. In dat systeem moeten review functies zitten en de examencommissie moet kunnen beoordelen of het examen klaar is. Waarna de afname in een ander systeem kan plaatsvinden. Tegelijkertijd moeten de systemen wel de veiligheid waarborgen. Het gaat immers om examens in het hoger onderwijs. Na de afname moeten de resultaten teruggekoppeld worden naar de itembank om de statisische gegevens van de vraag bij de vraag zelf te houden. Naast deze wens wil SURF ook graag met behulp van SURFconext experimenteren in de cloud. Door software te leveren aan de SURFmarket krijg je toegang tot SURFconext.

Het experiment met toetsbanken van de ene leverancier en afname (players) van de andere leverancier volg ik nauwgezet. Risico’s biedt het ook, de omgeving voor itemconstructie en itembank is immers aangepast aan de afspeelomgeving. De eisen die aan een afspeelomgeving gesteld worden zijn hoog, je wilt bijvoorbeeld dat alles opgeslagen wordt, zowel antwoorden als de tijd die een examenkandidaat over bepaalde vragen doet. Deze informatie heb je nodig bij de analyse achteraf. Daarnaast wil je dat niets van de toets achterblijft op de pc. Een volgende kandidaat mag beslist geen antwoorden van de vorige kandidaat zien.

De ideeën zijn erg ambitieus. Jammer was het, dat weinig kritische vragen gesteld werden door de leveranciers. Mogelijk kwam dat doordat niemand het achterste eindje van zijn tong wil laten zien, echter de taal kan ook een barrière geweest zijn. Voertaal was Engels op verzoek van twee leveranciers.  Overduidelijk was dat het hier alleen gaat om de Nederlandse markt en wetgeving. Wordt vervolgd!

CVE ziet (voorlopig) af van digitale examens

with one comment

In de vakantie verscheen dit bericht in de media: Voorlopig geen digitale eindexamens meer. Zowel op twitter als op diverse blogs werd hierop gereageerd. Opvallend was de reactie van de Rode Planeet: leverancier van Wintoets en Quayn. Het devies van de Rode Planeet:

 Ga nooit digitaal examineren. Het is vragen om problemen, die je niet als CvE in de hand kunt hebben.

Jammer dat de Rode Planeet dit devies niet meer toelicht en meteen in gaat op oplossingen. Jammer ook dat de kans gemist wordt om ervaring op te doen met digitale toetsing. Het CvE laat op dit moment toetssoftware bouwen om digitaal te kunnen gaan toetsen. Ongetwijfeld zijn ze zich bewust van de haken en ogen die de Rode Planeet opnoemt:

  • stroom- en internetstoringen
  • uitrol van updates
  • hackpogingen

Zonder nu deze haken en ogen te bagatelliseren zou ik wel het volgende op willen merken. Leerlingen van nu en ouders van nu verlangen steeds meer en steeds vaker dat gebruik gemaakt kan worden van digitale hulpmiddelen. In de lessituatie zie je dit ook terug. Veel lesmateriaal wordt digitaal aangeboden, sommige scholen werken al met laptops en tablets. Het gevolg is dat leerlingen steeds meer gewend zijn aan het gebruik van ICT. Ze kunnen niet eens meer lange stukken schrijven, zie ook de blogpost van Sander Schenk: schriftelijke toetsen zijn een marteling.  Vanuit dat perspectief zou het wenselijk zijn nog eens kritisch naar de digitale afname van examens te kijken. Ook als de software van het CvE klaar is zal er eerst een pilot fase gestart moeten worden. Over het algemeen begin je niet in het groot met de uitrol van een dergelijk product.

Door ‘proven technology’ weet je dat je veilig je examenafnames kan regelen. Natuurlijk kan er iets fout gaan zoals de Rode Planeet suggereert maar ook in de papieren oplossingen die door hen gesuggereerd worden gaan dingen fout, denk aan zoekgeraakte examens of bekend geraakte (gestolen)examens. De kans op fraude bestaat, zowel bij digitale als bij papieren afname en moet niet onderschat worden. Maar het gaat te ver om digitale afname als onveiliger te betitelen. Juist digitaal en online is veel te regelen rondom veiligheid. De gesuggereerde oplossing van het lokaal opslaan draagt zeker ook risico’s in zich.

Gelukkig zijn er andere partijen in Nederland die wel degelijk op een goede en betrouwbare manier digitale online examens afnemen, deze ‘proven technology’ zou CvE kunnen helpen bij de afname van de eindexamens. Vooralsnog is het jammer genoeg nog een paar jaar wachten op een pilot met de software die CvE heeft laten bouwen. Ik wens leerlingen en docenten sterkte voor de komende jaren met de papieren toetsen.

Written by Manon Bonefaas

14 augustus 2012 at 16:01

Leerlingen zoeken toetsen

with one comment

Scholen gehackt door leerlingen die toetsen zoeken

Bewerkt door: Redactie − 28/06/12, 04:59  − bron: hln.be
© Thinkstock.

Zeker 30 scholen in België zijn het afgelopen jaar slachtoffer geworden van hackers. Vaak ging het om eigen leerlingen die het schoolsysteem kraakten om zo examenvragen te bemachtigen of puntenlijsten te stelen.

Luc Beirens van de Computer Crime Unit van de federale politie in België vermoedt dat het op nog veel meer scholen gebeurt. Hij sluit zelfs niet uit dat sommige leerlingen ook proberen hun examenresultaten te manipuleren.

Vaak proberen scholen het probleem intern op te lossen. Omdat de omvang van de cybercriminaliteit beperkt is, is het niet altijd nodig om naar de politie te stappen, zo schrijven de Coreliokranten in België.

Dit artikel stond 28 juni in Trouw. Twee jaar gelden verscheen dit artikel in de kranten:

Leerlingen kraken e-mail leraren

ToetsenbordToetsenbord Foto: Filmvanalledag / Flickr – Creative Commons by-nc-sa
Toegevoegd: dinsdag 16 mrt 2010, 10:10

Twee leerlingen van een gymnasium in Heeswijk-Dinther zijn van school gestuurd omdat ze de e-mailboxen van docenten hebben gekraakt. Daarmee hebben ze de vertrouwensrelatie met de leraren geschonden, zegt de school.

De twee jongens, uit de vierde en vijfde klas, hebben sinds november 2008 meerdere keren ingebroken in de e-mail van negentien leraren. De gymnasiasten gebruikten een keylogger, waarmee de toetsaanslagen van de docenten werden geregistreerd. Zo werden de wachtwoorden achterhaald.

Ze haalden er onder meer proefwerken en schoolexamens uit de mail, die ze deelden met hun vrienden. De leerlingen die gebruikmaakten van de gestolen examens hebben een 1 gekregen en moeten die nu overdoen.

De ouders en leerlingen zijn afgelopen weekend geïnformeerd over de inbraak in het computersysteem. De school doet aangifte gedaan van computervredebreuk.

Conclusie: leerlingen zijn geïnteresseerd in toetsen zelfs zo geïnteresseerd dat ze computer hackers worden. Het hoeft niet altijd zo ingewikkeld of geavanceerd, net als bij papieren toetsen is het mogelijk de (digitale)toets van de docent te stelen. Een USB stickje met de toetsen erop is voor een docent een kostbaar bezit, voor een leerling of student geldt dat natuurlijk ook. Verloren of gestolen USB sticks komen niet of nauwelijks in de publiciteit tenzij ze staatsgeheimen bevatten. De oplossing voor dit probleem is een veilig toetssysteem, met een aantal voorwaarden o.a.:

  • de gebruiker heeft beperkte rechten, bijvoorbeeld alleen voor het maken van conceptvragen
  • de gebruiker moet regelmatig van wachtwoord wisselen en dit wordt gecheckt op sterkte
  • zorg voor een voldoende grote itembank zodat je afwisselende random examens kunt maken (de examens worden pas bij het starten samengesteld, dat zorgt ervoor dat een leerling nooit van tevoren iets kan)
  • de toetssoftware moet een volledig SAAS model zijn (USB stickjes zijn overbodig)
  • ook aan de afname kant van de toets zul je veiligheidsmaatregelen moeten nemen (zie hiervoor o.a Silvester Draaijers blog, toetscentra.nl en Exin anywhere)
  • automatisch corrigeren en snel verspreiden van de uitslag voorkomt manipulatie achteraf.

Met beveiliging is het altijd een wapenwedloop, uiteindelijk is alles te hacken. Waar je voor moet zorgen is dat de hackers zoveel tijd nodig hebben om informatie te ontsluiten of te manipuleren, dat ze er uiteindelijk niets meer mee kunnen.

En vanuit het perspectief van softwareontwikkeling: Dichttimmeren is een illusie, het hacken waardeloos maken de kunst.

Trendsverwachting: examinering

with 2 comments

Trendwatchers duo Lieke en Richard Lamb geven hun mening over examinering in de breedste zin. Vooral screen-agers zouden gebruik maken van digitale hulpmiddelen, docenten uit deze generatie zijn met computers opgegroeid. Toch geven ook zij aan dat de overgang naar het digitale tijdperk voor sommige docenten een enorme overgang is. Vergelijk wordt gemaakt met de overstap van vulpen naar balpen (zucht zullen we het ook nog over de ganzenveer hebben). Bij docenten en social media maken de twee zich meer zorgen over het gebrek aan privacy dan de mogelijkheden die social media hebben rondom onderwijs en examinering. In dat kader zie ook deze blogpost over Jelmer Evers als voorbeeld.

Uiteindelijk gaat het toch weer over examinering en hulp bij examens zoals leuke lessen met examentraining op Luzac en WRTS mobile. Jammer dat de trendwatchers alleen dit voorbeeld noemen er zijn er natuurlijk meer. Helaas, nauwelijks informatie laat staan een trendverwachting over examinering, meer een blik op onderwijs in de toekomst. Het duo schetst een beeld van blended learning met veel gebruik van multimedia.

Het beeld van onderwijs als productie leverend instituut: zoveel geslaagden per jaar blijft bestaan. Het toekomstbeeld waarbij leerlingen zich tijd en plaats onafhankelijk ontwikkelen tot zelfstandige burgers en just-in-time examen kunnen doen, komt niet bij hen op. Juist door digitalisering van examens is het mogelijk veel meer maatwerk te leveren aan de verschillende behoeften van examenkandidaten.

Adaptief toetsen, waarom?

leave a comment »

Adaptief toetsen wordt gebruikt om het niveau van een kandidaat te bepalen of de voortgang van een leerling te meten. Adaptief toetsen met de computer is bij uitstek geschikt voor het vlot bepalen van het niveau, denk aan een EVC procedure of een 0-meting voor een nieuwe leerling in de klas.  Bij adaptief toetsen  krijgt de kandidaat vragen aangeboden vanuit een bepaald (basis) niveau. Wanneer de kandidaat deze vragen goed maakt krijgt hij moeilijkere vragen aangeboden. Bij een goed resultaat kunnen nog moeilijkere vragen volgen. Bij een minder resultaat krijgt de kandidaat eenvoudigere vragen voorgelegd. In TeleToets kan je zelf het aantal moeilijkheidsgraden vaststellen voor de adaptieve toets. Door adaptief te toetsen kan het niveau van de kandidaat bepaald worden en een leerlijn op maat gemaakt worden.

Voordelen van adaptief toetsen:

  • de meetnauwkeurigheid neemt toe: je kunt vrij nauwkeurig bepalen op welk niveau een kandidaat zit.
  • met de inzet van een beperkt aantal items (tussen de 30 en 40) heb je al een goed beeld van het niveau, dit betekent dat je itembank minder snel veroudert
  • kandidaten krijgen allemaal een eigen unieke toets.

Voor meer informatie: consultancy@andriessen.nl

Bron: Toetswijzer

2011 vanuit WordPress onlinetoetsing

leave a comment »

The WordPress.com stats helper monkeys prepared a 2011 annual report for this blog.

Here’s an excerpt:

The concert hall at the Syndey Opera House holds 2,700 people. This blog was viewed about 8.800 times in 2011. If it were a concert at Sydney Opera House, it would take about 3 sold-out performances for that many people to see it.

Click here to see the complete report.

Written by Manon Bonefaas

1 januari 2012 at 11:24

%d bloggers liken dit: