Online toetsing

Deze week kwam ik een blog tegen met een enthousiast verhaal over de eerste app voor assessments:

Volgens de auteur (en ontwikkelaar van de app …):

An easy to use app designed for assessment purposes – allows photos and videos and provides feedback to an email or dropbox account. Great for outdoor practical and observational assessments.

De blog leverde direct reacties op die met name het gebruiksgemak bevestigen. Mooie feature is het toevoegen van foto’s en video’s. Hiermee kun je direct vastleggen wat een student doet tijdens een praktijkexamen en je kunt aantekeningen toevoegen. Op deze manier heb je altijd onderbouwing bij het resultaat dat een student gehaald heeft.
De resultaten van de beoordelingen zijn eenvoudig te exporteren naar een spreadsheet waarna je de keuze hebt om de resultaten te versturen naar je e-mailadres of je dropbox account.

Een paar kanttekeningen bij de app:
* nog niet geschikt voor Android
* leerlingen moeten 1 voor 1 toegevoegd worden, een importfunctie zou handig zijn
* je krijgt als docent geen antwoordmodel te zien wat toch essentieel is om tot een objectieve beoordeling te kunnen komen
* je hebt als docent een behoorlijke vrijheid in het toekennen van punten, er zijn 2 varianten: een schaal van 1-5 en een schaal van 6-10
* het is een losse app, integratie in een examen- of toetsproces is nodig voor de borging.

Inzet van apps in het onderwijs komt steeds vaker voor. Vandaag las ik een dossier via Kennisnet over de inzet van iPads in het groene onderwijs door docent Jan Priem. De docent vertelt de lesstof veel sneller bereikbaar is voor de leerlingen, er zijn géén tijdrovende inlogprocedures nodig op schoolcomputers.

Wat mij in dit artikel triggerde was de volgende zin:

Tijdens de praktijklessen kunnen de iPad’s worden opgeborgen in een kluis.

Een iPad tijdens de praktijklessen is voor studenten niet handig, dat begrijp ik. Voor een docent is een iPad tijdens de praktijklessen juist heel goed inzetbaar. Neem die iPad mee naar buiten en leg de vorderingen van de studenten vast, bijv. via de hierboven besproken app, door het maken van video’s of foto’s. Voeg feedback toe voor de studenten en zorg dat je dit in een volgende les met hen bespreekt of nog mooier: stuur de resultaten van je beoordeling naar het e-mailadres van de student zodat hij het via zijn eigen iPad kan bekijken (en ook aan zijn ouders kan laten zien!).

Het is weer ‘lijstjes’tijd. Het einde van het jaar is de tijd om terug te kijken en je eigen hitlijstjes samen te stellen. Denk aan de Verkiezing van de Sportman/vrouw/ploeg van het jaar, het Jaaroverzicht van de NOS, de Top2000, enz.. Ik ben niet achtergebleven, ik heb terug gekeken naar de activiteiten binnen ons blog in 2011.

De 5 meest opvallende zaken:
1) We hebben een enorme groei van bezoekersaantallen, op dit moment zijn we de 11.000 al gepasseerd. Oktober en november 2011 waren zelfs goed voor +1.000 bezoekers/maand.
2) Woensdag 5 oktober heeft dit jaar gewonnen, die dag hadden we 84 bezoekers. Mijn collega Manon (overigens by far de winnaar als het gaat om het aantal blogbijdragen) had toen een leuk stuk geplaatst, Olievlekwerking of domino effect).
3) Onze blogs met als titel 5 tips …., doen het goed, die worden het meeste gelezen. Maar ook Over p-, a- en RIT waarden en TeleToets op de iPad waren toppers.
4) We hebben dit jaar 63 blogs geplaatst, iets meer dan 1 per week dus.
5) En tenslotte, worden we gevonden op een aantal criteria, de belangrijkste:
* online toetsen
* examenstress
* itembank
* nakijken
en.. thumbs up!

Een stichtelijk woordje om af te sluiten:

Meten is weten. WordPress houdt voor ons de cijfertjes bij, heel handig. Wij kunnen iets met die cijfertjes: waar worden we op gevonden, welke onderwerpen trekken lezers, welke dagen zijn handig om te posten, enz.
Met digitaal toetsen werkt het niet anders: meten is weten. Zoals WordPress voor ons de cijfertjes genereert waarmee we ons werk kunnen verbeteren, zo verzamelt toetssoftware ook cijfertjes. Wat ons betreft geen cijfertjes om leerlingen op af te rekenen maar juist cijfertjes waarmee leerlingen en docenten aan de slag kunnen om het onderwijsproces te verbeteren. Wij gaan in 2012 door met meten en verbeteren, doet u met ons mee?

Afspraken die gemaakt zijn in een toetsbeleid en/of in een kwaliteitshandboek moeten zichtbaar worden. Voor een kandidaat is het belangrijk dat het examen volgens vaste regels, conform het examenreglement verloopt. Wanneer wij adviseren over verbeteringen aan een bestaand examenreglement of advies geven bij de opzet van een nieuw examenreglement, letten we op de volgende basiselementen:

1. Algemene begrippen, denk hierbij aan de definities als examen, surveillant, uitslag.
2. Examens: korte beschrijving op welke examens het reglement van toepassing is en verder verwijzen naar bronnen waar examenprogramma en examenstof beschreven staat, bijv. op het intranet.
3. Aanmelding en betaling: korte schets van methode van aanmelden, aanmeldtermijn, communicatie over aanmelding en consequentie als je niet tijdig aangemeld bent.
4. Regels bij deelname/examenafname: identificatie, tekenen van presentielijst, te laat komen, gebruik kladpapier, rol surveillant, fraude+consequenties
5. Beoordeling- en uitslagverstrekking: wie beoordeelt, cesuur, afspraken over verstrekken van diploma’s/certificaten/cijferlijsten (m.n. termijn).
6. Inzage, klacht en beroep

Als deze basiselementen benoemd zijn in je examenreglement, weet een kandidaat waar hij aan toe is voor een examen. Hij kent z’n rechten en z’n plichten en weet ook wat hij van de examenorganisatie kan verwachten. En dat draagt bij aan een transparant examenproces.

We horen vaak dat je digitaal toetsen alleen maar in kunt zetten voor kennistoetsen. In dit blog is al meerdere malen het tegendeel bewezen. Het mooiste voorbeeld is natuurlijk het boekhoudexamen waarbij je als kandidaat opdrachten in AccountView moet maken. Daarnaast biedt bijvoorbeeld TeleToets vraagtypen zoals casuïstiek en open vragen waardoor het mogelijk is om op het gebied van inzicht en toepassing uitgebreid te toetsen.

De afgelopen tijd hebben we een pilot gedaan op een school waarbij digitale toetsing als meetinstrument ingezet is. Niet om resultaten van leerlingen te meten of om de kwaliteit van items te meten. Maar een competentiemeting om te bepalen in hoeverre een leerling de materie beheerst. Hoe hebben we dit gedaan? De leerlingen is gevraagd om over verschillende vakken aan te geven of en in hoeverre hij de materie beheerst (zogenaamde CAN/DO-statements). Vervolgens heeft de docent per leerling hetzelfde gedaan, zonder te weten wat de leerling ingevuld had. Deze twee gegevens zijn aan elkaar gekoppeld waardoor in een rapportage een mooi overzicht ontstaat. Vanuit dit overzicht kan de leerling aan de slag om te werken aan datgene wat nog niet beheerst wordt. Zo ontstaat dus vanzelf de situatie dat een leerling als individu behandeld wordt en leert een leerling wat hij nog niet weet.

Mijn collega Manon Bonefaas heeft 2 boeiende workshops gegeven over het werken met een SWOT-analyse in relatie tot het toetsbeleid. Facta organiseerde de masterclass  ‘Kunt u de waarde van uw HBO-diploma’s garanderen?’ Een schot in de roos gezien het aantal deelnemers.

Deze vraag stond centraal tijdens het door Surf georganiseerde seminar in Utrecht. Een schot in de roos gezien het grote aantal bezoekers. Het programma gaf ruimte om kennis te maken met verschillende toetspakketten maar ook voor verhalen vanuit de praktijk over het kiezen en het werken met toetspakketten. Rode draad van de dag, wat mij betreft, was samenwerken en leren van elkaar. Er zijn vele initiatieven, zoals ook bleek uit de presentaties van de RUG, de Universiteit van Amsterdam, Saxion Hogescholen, ieder met een eigen aanpak. Zo heeft de RUG op basis van een lijst van criteria gewerkt van een longlist van toetspakketten naar een shortlist en gaat nu met 4 pakketten het pilotproject IdemDito starten. De Universiteit van Amsterdam gebruikt diverse pakketten om zo aan te kunnen sluiten bij de verschillende wensen per faculteit. En Saxion werkt al een aantal jaren met Testvision maar stelt zichzelf als doel periodiek een heroverweging te maken, sluit het toetspakket nog steeds aan op de wensen?

Ik denk dat het goed is om te kijken naar de functionaliteiten van een toetspakket en en vast te stellen of dit tegemoet komt aan de wensen van de gebruikers. Maar je bent er niet met de keuze voor een digitaal toetssysteem, daarna begint het pas. Hoe past het het toetssysteem binnen je organisatie, sluit het aan op het beleid (is er wel beleid t.a.v. toetsen?), zijn je medewerkers er klaar voor, past het binnen de bestaande infrastructuur. Voor het succesvol slagen van de implementatie van een toetspakket is ketenregie essentieel. De totale keten van management&organisatie, processen, mens&cultuur, ict&infrastructuur en content moeten op elkaar aansluiten om optimaal te kunnen profiteren van digitaal toetsen.

“En ik heb nog nooit zo snel mijn cijfers in ons registratiesysteem gehad.”, is een reactie van een docent van Durendael (Oisterwijk) na het online schoolexamen Engels Lezen deze week. Een mooie reactie, direct het effect ervaren van werken met online toetsen. Geen nakijkwerk ‘s avonds of in het weekend doordat gebruik gemaakt is van gesloten vragen, dus automatische correctie. En meteen na het afsluiten van het schoolexamen is het cijfer zowel voor leerling als docent bekend, dubbele winst.

 Het schoolexamen Engels Kijk- en Luistervaardigheid is met online toetsing afgenomen. Het was een examen met audio- en videofragmenten en bijbehorende multiple choice vragen. Online toetsing werkt ook voor dit soort examens prima, gebruik maken van streaming media zorgt ervoor dat alle leerlingen de audio en video zonder horten en stoten op hun beeldscherm krijgen. Een techniek die we ook al jarenlang gebruikt wordt voor de inburgeringsexamens.

Naast Engels zijn de schoolexamens voor Nederlands, Wiskunde en Mode & Commercie online getoetst. Over twee weken wordt het schoolexamen Zorg en Welzijn afgenomen, wij kijken er nu al naar uit. Allemaal schoolexamens voor het VMBO, BB, KB en GT; online toetsing lijkt een zeer geschikt medium voor deze doelgroep omdat de vragen scherm voor scherm aangeboden worden, de focus op die ene vraag geeft houvast.

Gezien de positieve reacties tot nu toe, gaat Durendael door met online toetsing in schoolexamen periode 2!