Online toetsing

Alles wat je altijd al wilde weten over digitale toetsing

Archive for the ‘beoordelen’ Category

Beoordelen (met een tablet?)

with 2 comments

Stel je voor dat je een proeve van bekwaamheid moet beoordelen. Je deelnemers laten in een echte werksituatie zien dat ze in staat zijn de taken uit te voeren waar ze voor opgeleid zijn. Denk hierbij aan een schilder die een deur moet schilderen, een loodgieter die een wastafel plaatst en een rij-examinator die een rijexamen afneemt. Vrijwel altijd is een simulatie of echte omgeving nodig waarin de kandidaat kan laten zien wat hij kan. Wanneer je een dergelijke situatie visualiseert zie je iemand met een schrijfblok, veel papieren (scoringformulieren voor de verschillende kandidaten) en een pen in de weer. Het resultaat kan dan zoiets zijn als op het formulier hiernaast. Je moet er niet aan denken dat je tegelijkertijd zo tien kandidaten of in dit geval tien honden moet beoordelen. Dat levert heel veel geblader op.

Stel je voor dat je dit op je iPad kunt doen. Met een veeg ga je naar de volgende kandidaat (horizontaal beoordelen). Door een beoordelingsexamen te maken met open en gesloten vragen geef je de beoordelaar de kans om snel en efficiënt een aantal beoordelingsexamens in te vullen.

Hieronder een voorbeeld van een gesloten vraag uit TeleToets op een iPad. TeleToets kent multiplechoice, multiple select (meer-uit-meer) en open vragen met de mogelijkheid tot het uploaden van documenten of media in het beoordelingsexamen. Door gebruik te maken van een tablet met Internetverbinding kan de beoordelaar zonder iets te downloaden real time het examen beoordelen. Het invullen van open vragen of uploaden van documenten kan ook eventueel nog later op een rustig moment gedaan worden. In die situatie kan het examen desgewenst verder beoordeeld worden op een computer. Op naar een papierloos examen!

Wanneer iOS 6 op je iPad geïnstalleerd is kun je natuurlijk ook via de iPad gebruik maken van de uploadvraag!

Advertenties

Written by Manon Bonefaas

18 september 2012 at 14:05

Open vragen zijn beter of niet?

with one comment

De discussie over het gebruik van open of gesloten vragen wordt meestal beslecht door te zeggen: kennis en inzicht toets je met gesloten vragen. Toepassing, analyseren en creëren toets je met behulp van open vragen. Maar is dat zo? Is het mogelijk om met gesloten vragen meer te toetsen dan alleen kennis en inzicht?

Allereerst moet je vaststellen dat het heel moeilijk is om goede gesloten vragen te maken. Een goede gesloten vraag heeft namelijk antwoord alternatieven die allemaal even waarschijnlijk zijn voor degene die niet geleerd heeft of geen inzicht  in de te toetsen stof heeft. De bedoeling is dat de gesloten vraag een goede discriminatie geeft tussen de kandidaten die wel en niet mogen slagen voor een examen. Is het dan mogelijk ook toepassingsvragen te toetsen met gesloten vragen? Ja hoor dat kan, kijk maar: (voorbeeld van een gesloten toepassingsvraag bron: Universiteit Maastricht)

Voorbeeld toepassingsvraag uit de reguliere toets van het blok onrechtmatig gedrag (2003-2004)

17. Maria kan haar minnaar Kees ertoe verleiden om haar veel oudere en niet onbemiddelde echtgenoot Bart naar ‘de andere wereld’ te helpen. In ruil daarvoor belooft ze met hem te trouwen. Kees, tot over zijn oren verliefd op deze femme fatale, neemt dit aanbod gretig aan. Wanneer hij een paar dagen later met een pistool in de hand Barts werkkamer betreedt, klaar om het fatale schot af te vuren, ontdekt hij tot zijn verbazing dat de echtgenoot al morsdood op de grond ligt. Hij blijkt enkele uren tevoren aan een hartaanval te zijn overleden.

Maria is …

  1. niet strafbaar, omdat sprake is van een ondeugdelijke poging tot moord.
  2. strafbaar wegens mislukte uitlokking van poging tot moord.
  3. niet strafbaar, omdat sprake is van een ondeugdelijke poging tot uitlokking van moord.
  4. strafbaar wegens poging tot uitlokking van moord.

Vanuit dezelfde bron worden daarna open vragen gesteld. Opvallend is dat in de open vragen steeds een keuze gegeven wordt, bijvoorbeeld: Is de genoemde keuze een klassiek of een sociaal grondrecht? Motiveer je antwoord. Om het nakijken te vergemakkelijken worden bovenstaande twee keuzes gegeven die vervolgens gemotiveerd moeten worden. Wanneer de motivatie ook als gesloten vraag gesteld wordt beperk je het nakijkwerk aanzienlijk. Dat kan door van een ander type vraag dan een multiple choice vraag gebruik te maken. Een multiple select vraag bestaat uit onderdelen van de motivatie, die gezamenlijk het antwoord vormen. Het correctiemodel voor de open vraag omvat alle motiveringen die gegeven kunnen worden. Deze worden benoemd en gewaardeerd in een multiple select vraag, de ene keuze kan daarbij zwaarder wegen dan de andere (polytome scoring). Het is zelfs mogelijk punten aftrek te geven voor een onjuiste motivatie. Voor een open vraag was het nodig een correctiemodel met waardering te maken, voor de gesloten vraag worden de verschillende mogelijkheden met waardering in de multiple selectvraag gezet. Op deze wijze wordt kennis, inzicht, toepassing en analyse getoetst.

Je investeert bij de keuze voor gesloten vragen tijd en energie in het maken van goede vragen en antwoorden. Vuistregel: het kost net zoveel tijd om gesloten vragen te maken als het maken en nakijken van open vragen. De besparing zit in het hergebruik van gesloten vragen; dat is altijd voordeliger dan hergebruik van open vragen.

Written by Manon Bonefaas

27 augustus 2012 at 13:06

Gevonden: videomateriaal over toetsen!

with one comment

Regelmatig struin ik het web af naar informatie over toetsen. Op de site van de universiteit Utrecht: over toetsen blijken ook video’s te staan. Ze staan verstopt in de FAQ van de site. Omdat bij de ene vraag wel en bij de andere geen video staat heb ik ze even opgezocht, ze staan hier. Persoonlijk vond ik deze wel aardig, cesuur is inderdaad iets waar veel examenbureaus mee worstelen en in deze video wordt kort en krachtig een heldere uitleg gegeven.

Verschillende video’s over toetsen zijn hier bij elkaar te vinden waaronder ook ervaringen met Testvision en Blackboard.

Written by Manon Bonefaas

31 mei 2012 at 21:38

Netwerk Examineren

with one comment

Afgelopen donderdag 24 mei 2012 vond in Utrecht het Netwerk Examineren plaats voor zowel regio Noord als regio Zuid. Dit netwerk wordt door Cinop gefaciliteerd.

De meeste van de aanwezige beleidsadviseurs wilden veel informatie over ‘Focus op examinering’ ontvangen. De workshop Digitaal Toetsen die ik verzorgde kreeg daarom helaas niet zoveel aandacht. Gelukkig waren een aantal mensen wel geïnteresseerd en ben ik niet voor niets naar Utrecht gekomen. De beschrijving van de workshop luidde:

Digitaal toetsen
Doel is kennisverbreding: na deze workshop zijn de deelnemers geïnformeerd over de mogelijkheden van digitaal toetsen bij het afnemen van beoordelingen en bij het construeren en analyseren van toetsen. Mede door de invoering van het digitaal toetsen van taal en rekenen, maken veel opleidingen kennis met deze vorm van toetsafname. Andriessen heeft brede ervaringen in het vo en mbo met kwaliteitsborging van toetsen, het construeren van verschillende toetsvormen toepasbaar in een digitale omgeving en het analyseren van resultaten. O.a. Sint Lucas (netwerkschool) en Landstede maken gebruik van digitale toetsing en werden ondersteund door Andriessen.

Voor de presentatie heb ik een Prezi gemaakt die is hier te bekijken. Met José Dams, consultant van Cinop, had ik het nog even over de relatie tussen digitaal toetsen en examinering in het algemeen. Ze liet me toen onderstaand plaatje zien:

“Het plaatje maakt inzichtelijk dat vernieuwingen en implementaties pas echt goed werken als al deze 4 aspecten veranderen in een organisatie. Vaak komt het voor dat men vooral de structuur verandert, door bijvoorbeeld te kiezen voor het re-organiseren van iets of het herontwerpen van de aanpak. Dit plaatje maakt inzichtelijk dat dat alleen niet voldoende is”, vertelde José. Bij dit plaatje vonden wij elkaar onmiddellijk. Bij de implementatie van digitaal toetsen lopen we tegen vergelijkbare dingen aan. In eerdere blogposts heb ik daar ook over geschreven. Geïnteresseerd?

Drie redenen waarom onderwijsinnovaties mislukken

Digitale toetsing: begin je bij de techniek of bij de inhoud

Tips bij het invoeren van ICT in het onderwijs

Written by Manon Bonefaas

30 mei 2012 at 20:24

Bedrijfsbezoek van de NVE bij ECABO

with 2 comments

Uiterst gastvrij werd de NVE ontvangen op donderdag 10 mei bij ECABO. ECABO is het kenniscentrum beroepsonderwijs bedrijfsleven voor de economisch/administratieve, ICT- en veiligheidsberoepen. Frank Huberts hield een inleiding over ECABO en haar examens. De examens die ECABO organiseert zijn zeer breed en verschillend van waarde. Soms vormt het examen een onderdeel van een assessment voor een MBO opleiding, soms is het een kwalificerend examen bijvoorbeeld voor een baan in de publieke veiligheid: de toezichthouders. Exameninstelling Toezicht en Handhaving valt onder ECABO. ECABO hecht naast de examens die ze verzorgen ook aan onderzoek op het gebied van examinering. Vanuit dat perspectief hadden ze onlangs een promovendus van het RCEC in huis. Het onderzoek betrof verschillende manieren van beoordelen: holistisch of analytisch. Het is de bedoeling om met regelmaat promovendi onderzoek rondom examineren te laten doen.

Beroepsgericht examineren is erg kostbaar. Voor praktijkexamens moeten veel zaken geregeld worden, denk bijvoorbeeld aan een locatie, kantoorruimte en inrichting, beoordelaars, examenleider, acteurs voor de rollenspelen etc. ECABO zoekt naar alternatieve en goedkopere oplossingen o.a. met de inzet van multimedia.

Na de inleiding van Frank en een inleidende film over het Praktijkexamen toezicht en veiligheid niveau 2 werden we mee naar buiten genomen om een dergelijk examen in praktijk te zien. Op het nagebootste plein compleet met zebrapad en bushalte kregen we een goed beeld van alles wat rondom de praktijkexaminering van toezichthouders aan de orde is. We zagen de examenkandidaten professioneel handelen tijdens een overval en een ongeluk. Respect voor de beide dames die zo dapper voor een groot publiek ‘examen’ deden. Aan het eind van de dag krijgen de kandidaten de (voorlopige) uitslag. In een aantal gevallen krijgen ze ook gelijk feedback zodat ze een volgende keer kunnen leren van dit examen.

Scholen willen intussen ook graag mee beoordelen en leveren dan ook assessoren voor de praktijkbeoordelingen. Deze assessoren beoordelen nooit hun eigen leerlingen. Opvallend is dat de assessoren van scholen graag precieze instructies willen hebben, terwijl de bedrijfsassessoren meer op grote lijnen en het gehele beeld beoordelen. De bedrijfsassessor heeft de doorslaggevende stem in de beoordeling. De verschillende NVE leden hadden met name over de beoordeling veel vragen. Het mag duidelijk zijn dat dit voor iedereen een moeilijk onderwerp is.

Hartelijk dank namens de NVE voor de gastvrijheid en speciale dank voor Kees Boonman onze gastheer. We hebben genoten van deze leerzame middag.

20120511-133438.jpg

Written by Manon Bonefaas

11 mei 2012 at 12:35

Competentiemeting voor Netwerkschool

leave a comment »

Beter onderwijs tegen dezelfde of lagere kosten. Dat is het uitgangspunt van de Netwerkschool: een experiment waarbij vijf scholen, onder wetenschappelijke begeleiding, vijf jaar lang hun, op het Netwerkschoolmodel gebaseerde, plannen uitvoeren.

De Netwerkschool heeft een andere insteek dan de traditionele school. Dit ‘anders’ vertaalt zicht in zes pijlers:

  • Tijd: de Netwerkschool is het hele jaar open; leerlingen en medewerkers nemen, net als elders in de maatschappij, in overleg vakantiedagen op.
  • Aandacht: er is altijd persoonlijke aandacht voor de studenten (studiebegeleider, leerlingvolgsysteem)
  • Maatwerk: studenten volgen modules in hun eigen tempo (zittenblijven kan niet)
  • Netwerk: de school werkt nauw samen met het bedrijfsleven, de buurt en oud-studenten
  • Cultuur: de Netwerkschool heeft een expliciete organisatiecultuur (flexibel en servicegericht)
  • Maatschappelijk rendement: studentenbedrijven leveren diensten aan de omgeving van de school

In totaal zijn vijf netwerkscholen in 2010 begonnen. SintLucas is een van de netwerkscholen. In schooljaar 2011-2012 zijn ze begonnen met het afnemen van CanDo statements via TeleToets. Studenten vulden een vragenlijst in nadat ze een project, module of skills module afgerond hebben. De CanDo statements geven aan hoe de student over zichzelf denkt in relatie tot het betreffende onderwerp. Bijvoorbeeld:

1 1.4 K Kun je onderzoeken met behulp van een mindmap?
2 1.4 K Kun je kleur, typografie en beeldkeuzes in beeld brengen?
3 1.4 K Kun je je keuzes beargumenteren, m.b.v. geschreven tekst?
4 1.4 K Kun je een beeld en stijlboek maken?

 

De codering voor de CanDo statements verwijst naar de competenties en werkprocessen, deze worden in kenmerken of metatags meegegeven aan de CanDo statements voor de rapportage achteraf. De ingevulde CanDo statements worden ingelezen in de competentiemeting die vervolgens door de docent wordt beoordeeld. Om het werk van de docent te beperken hoeft de docent alleen de afwijkingen maar aan te geven, dit bespaart tijd bij het invullen. Voor de studieloopbaanbegeleider levert dit in een oogopslag op: de zelfbeoordeling van de student en de afwijkende beoordeling van de docent. Overschat of onderschat de student zich? Dit geeft stof tot praten.

De beoordelaar kan naast zijn oordeel over de student desgewenst nog een toelichting geven en een score (van 0  tot 10). Deze score is meestal geen cijfer maar een verwijzing naar het niveau waarop de docent inschat dat de student zich bevindt.

Door het invullen van de CanDo statements, de beoordeling van de docenten en het gebruik van kenmerken bij de CanDo statements is een competentieprofiel vast te stellen. Met behulp van de kenmerken of metatags wordt een rapportage gemaakt waarbij competenties en werkprocessen in één overzicht worden weergegeven. De rapportages leiden tot inzicht in dat wat de student wel en niet beheerst. Studie-advies wordt op basis van de gemaakt competentieprofielen gegeven. Hiermee krijgt de studenten een maatwerk opleiding conform de wensen van henzelf en de netwerkschool. In totaal werden tot nu toe 8 skillsmodules afgenomen met behulp van de CanDo statements en 4 projecten. Hierdoor werd het mogelijk studenten een effectiever en sneller traject te laten volgen.

‘One size fits all’ en educatie!

with one comment

Gisteren tijdens de relatiemiddag heeft Eduardo Cascallar een presentatie gehouden over neurale netwerken, ‘predictive systems’. Eerder verzorgde hij al een workshop voor de consultants van Andriessen. Paul Westeneng heeft daarover een blog geschreven.

Met een ‘predictive system’ kun je – op basis van een aantal invoergegevens een voorspelling doen van een – op het moment van de voorspelling – onbekend resultaat.

We kennen natuurlijk allemaal de weers- voorspelling en we weten dus hoe moeilijk zo’n voorspelling kan zijn. Eduardo Cascallar past dit soort systemen nu met name toe in onderwijssituaties en behaalt daarmee verbluffend goede resultaten.

In het predictieve systeem bepalen tussen de dertig en tweehonderd variabelen de uitkomst van de voorspelling. Deze variabelen dragen allemaal bij aan de uitkomst. Bijvoorbeeld de predictieve analyse van het schrijfonderwijs in Nederland, Cascallar en Boekaerts (2006).

 

 

 

 

 

 

 

 

Het linker plaatje laat zien hoeveel variabelen bijdragen aan de voorspelling rondom het schrijfgedrag van kinderen. Het rechtere plaatje laat zien dat bij de 50 belangrijkste variabelen 64% vastliggende condities zijn. Beïnvloedbaar is dus slechts eenderde deel, namelijk de andere variabelen.

In het onderwijs wordt uitgegaan van: ‘one size fits all’. De resultaten van Cascallar en Boekaerts met de predictive systems laten twee dingen helder zien:

  1. De invloed van de eerste drie jaar is ongelofelijk belangrijk! Goede verzorging zowel lichamelijk als geestelijk lijkt een belangrijke variabele in de voorspelling van schoolsucces en meer specifiek in de werking van het werkgeheugen. Dit punt betreft de preexisting conditions.
  2. Wanneer je na de eerste drie jaar nog wilt veranderen op het gebied van schoolsucces dan zul je een aantal beïnvloedende variabelen moeten veranderen. Alleen met een andere aanpak op school kom je er niet. Dit punt betreft de andere variabelen.

Door redenerend is dus een andere aanpak of ondersteuning alleen meestal niet voldoende. Wanneer je inzicht hebt in die andere variabelen kun je op meer punten beïnvloeden en op die manier trachten, binnen de mogelijkheden, tot een verbetering van het leerresultaat te komen. De manier waarop ons huidig onderwijs is georganiseerd: ‘one size fits all’ voldoet met deze wetenschap niet meer.

Written by Manon Bonefaas

14 maart 2012 at 16:10

%d bloggers liken dit: