Online toetsing

Alles wat je altijd al wilde weten over digitale toetsing

Archive for the ‘beoordelingsexamen’ Category

Reactie op platform digitaal toetsen

leave a comment »

Op het platform digitaal toetsen staat vandaag een reactie op mijn eerdere blog over beoordelingsexamens. Ik ben altijd blij met reacties want ze geven perspectief aan mijn blog en ik kan er wat van leren. Dus dank voor je reactie Sonja Pauw.

Natuurlijk heeft Pauw gelijk wanneer ze schrijft dat je een formulier vorm kan geven met formulieren software. Formulieren software is echter veelal bedoeld als marketing tool. Een beoordelingsexamens is echt wat anders. Voor veiligheid, zekerheid en het krijgen van een scoring bij gestelde vragen is het beoordelingsexamen veel handiger.

Question Mark Perception is toetssoftware en vanuit dat perspectief meer geschikt voor examenafname. Bij mijn weten kent QMP in het beoordelingsexamen alleen de multiple choice vraag. TeleToets kent echter ook:

  • de beoordelingsvraag (open vraag: waarin de beoordelaar zijn beoordeling zelf kan formuleren),
  • upload mogelijkheid (werkstuk of foto of film kan als bewijs geupload worden)
  • en multiple selectvraag waarin een beoordelaar meerdere alternatieven kan aanvinken (afhankelijk van hetgeen de kandidaat laat zien)
  • bovendien kan je in TeleToets horizontaal corrigeren en dus verschillende kandidaten tegelijkertijd beoordelen (voor zover dat haalbaar is voor een beoordelaar vanzelfsprekend). In het voorbeeld van QMP moet je kandidaat voor kandidaat beoordelen.

Deze toelichting vind ik wel belangrijk. Mocht het beoordelingsexamen bij QMP of andere toetssoftware toch nog anders werken dan hoor ik het graag!

Written by Manon Bonefaas

1 oktober 2012 at 20:02

Beoordelen (met een tablet?)

with 2 comments

Stel je voor dat je een proeve van bekwaamheid moet beoordelen. Je deelnemers laten in een echte werksituatie zien dat ze in staat zijn de taken uit te voeren waar ze voor opgeleid zijn. Denk hierbij aan een schilder die een deur moet schilderen, een loodgieter die een wastafel plaatst en een rij-examinator die een rijexamen afneemt. Vrijwel altijd is een simulatie of echte omgeving nodig waarin de kandidaat kan laten zien wat hij kan. Wanneer je een dergelijke situatie visualiseert zie je iemand met een schrijfblok, veel papieren (scoringformulieren voor de verschillende kandidaten) en een pen in de weer. Het resultaat kan dan zoiets zijn als op het formulier hiernaast. Je moet er niet aan denken dat je tegelijkertijd zo tien kandidaten of in dit geval tien honden moet beoordelen. Dat levert heel veel geblader op.

Stel je voor dat je dit op je iPad kunt doen. Met een veeg ga je naar de volgende kandidaat (horizontaal beoordelen). Door een beoordelingsexamen te maken met open en gesloten vragen geef je de beoordelaar de kans om snel en efficiënt een aantal beoordelingsexamens in te vullen.

Hieronder een voorbeeld van een gesloten vraag uit TeleToets op een iPad. TeleToets kent multiplechoice, multiple select (meer-uit-meer) en open vragen met de mogelijkheid tot het uploaden van documenten of media in het beoordelingsexamen. Door gebruik te maken van een tablet met Internetverbinding kan de beoordelaar zonder iets te downloaden real time het examen beoordelen. Het invullen van open vragen of uploaden van documenten kan ook eventueel nog later op een rustig moment gedaan worden. In die situatie kan het examen desgewenst verder beoordeeld worden op een computer. Op naar een papierloos examen!

Wanneer iOS 6 op je iPad geïnstalleerd is kun je natuurlijk ook via de iPad gebruik maken van de uploadvraag!

Written by Manon Bonefaas

18 september 2012 at 14:05

Bedrijfsbezoek van de NVE bij ECABO

with 2 comments

Uiterst gastvrij werd de NVE ontvangen op donderdag 10 mei bij ECABO. ECABO is het kenniscentrum beroepsonderwijs bedrijfsleven voor de economisch/administratieve, ICT- en veiligheidsberoepen. Frank Huberts hield een inleiding over ECABO en haar examens. De examens die ECABO organiseert zijn zeer breed en verschillend van waarde. Soms vormt het examen een onderdeel van een assessment voor een MBO opleiding, soms is het een kwalificerend examen bijvoorbeeld voor een baan in de publieke veiligheid: de toezichthouders. Exameninstelling Toezicht en Handhaving valt onder ECABO. ECABO hecht naast de examens die ze verzorgen ook aan onderzoek op het gebied van examinering. Vanuit dat perspectief hadden ze onlangs een promovendus van het RCEC in huis. Het onderzoek betrof verschillende manieren van beoordelen: holistisch of analytisch. Het is de bedoeling om met regelmaat promovendi onderzoek rondom examineren te laten doen.

Beroepsgericht examineren is erg kostbaar. Voor praktijkexamens moeten veel zaken geregeld worden, denk bijvoorbeeld aan een locatie, kantoorruimte en inrichting, beoordelaars, examenleider, acteurs voor de rollenspelen etc. ECABO zoekt naar alternatieve en goedkopere oplossingen o.a. met de inzet van multimedia.

Na de inleiding van Frank en een inleidende film over het Praktijkexamen toezicht en veiligheid niveau 2 werden we mee naar buiten genomen om een dergelijk examen in praktijk te zien. Op het nagebootste plein compleet met zebrapad en bushalte kregen we een goed beeld van alles wat rondom de praktijkexaminering van toezichthouders aan de orde is. We zagen de examenkandidaten professioneel handelen tijdens een overval en een ongeluk. Respect voor de beide dames die zo dapper voor een groot publiek ‘examen’ deden. Aan het eind van de dag krijgen de kandidaten de (voorlopige) uitslag. In een aantal gevallen krijgen ze ook gelijk feedback zodat ze een volgende keer kunnen leren van dit examen.

Scholen willen intussen ook graag mee beoordelen en leveren dan ook assessoren voor de praktijkbeoordelingen. Deze assessoren beoordelen nooit hun eigen leerlingen. Opvallend is dat de assessoren van scholen graag precieze instructies willen hebben, terwijl de bedrijfsassessoren meer op grote lijnen en het gehele beeld beoordelen. De bedrijfsassessor heeft de doorslaggevende stem in de beoordeling. De verschillende NVE leden hadden met name over de beoordeling veel vragen. Het mag duidelijk zijn dat dit voor iedereen een moeilijk onderwerp is.

Hartelijk dank namens de NVE voor de gastvrijheid en speciale dank voor Kees Boonman onze gastheer. We hebben genoten van deze leerzame middag.

20120511-133438.jpg

Written by Manon Bonefaas

11 mei 2012 at 12:35

Competentiemeting voor Netwerkschool

leave a comment »

Beter onderwijs tegen dezelfde of lagere kosten. Dat is het uitgangspunt van de Netwerkschool: een experiment waarbij vijf scholen, onder wetenschappelijke begeleiding, vijf jaar lang hun, op het Netwerkschoolmodel gebaseerde, plannen uitvoeren.

De Netwerkschool heeft een andere insteek dan de traditionele school. Dit ‘anders’ vertaalt zicht in zes pijlers:

  • Tijd: de Netwerkschool is het hele jaar open; leerlingen en medewerkers nemen, net als elders in de maatschappij, in overleg vakantiedagen op.
  • Aandacht: er is altijd persoonlijke aandacht voor de studenten (studiebegeleider, leerlingvolgsysteem)
  • Maatwerk: studenten volgen modules in hun eigen tempo (zittenblijven kan niet)
  • Netwerk: de school werkt nauw samen met het bedrijfsleven, de buurt en oud-studenten
  • Cultuur: de Netwerkschool heeft een expliciete organisatiecultuur (flexibel en servicegericht)
  • Maatschappelijk rendement: studentenbedrijven leveren diensten aan de omgeving van de school

In totaal zijn vijf netwerkscholen in 2010 begonnen. SintLucas is een van de netwerkscholen. In schooljaar 2011-2012 zijn ze begonnen met het afnemen van CanDo statements via TeleToets. Studenten vulden een vragenlijst in nadat ze een project, module of skills module afgerond hebben. De CanDo statements geven aan hoe de student over zichzelf denkt in relatie tot het betreffende onderwerp. Bijvoorbeeld:

1 1.4 K Kun je onderzoeken met behulp van een mindmap?
2 1.4 K Kun je kleur, typografie en beeldkeuzes in beeld brengen?
3 1.4 K Kun je je keuzes beargumenteren, m.b.v. geschreven tekst?
4 1.4 K Kun je een beeld en stijlboek maken?

 

De codering voor de CanDo statements verwijst naar de competenties en werkprocessen, deze worden in kenmerken of metatags meegegeven aan de CanDo statements voor de rapportage achteraf. De ingevulde CanDo statements worden ingelezen in de competentiemeting die vervolgens door de docent wordt beoordeeld. Om het werk van de docent te beperken hoeft de docent alleen de afwijkingen maar aan te geven, dit bespaart tijd bij het invullen. Voor de studieloopbaanbegeleider levert dit in een oogopslag op: de zelfbeoordeling van de student en de afwijkende beoordeling van de docent. Overschat of onderschat de student zich? Dit geeft stof tot praten.

De beoordelaar kan naast zijn oordeel over de student desgewenst nog een toelichting geven en een score (van 0  tot 10). Deze score is meestal geen cijfer maar een verwijzing naar het niveau waarop de docent inschat dat de student zich bevindt.

Door het invullen van de CanDo statements, de beoordeling van de docenten en het gebruik van kenmerken bij de CanDo statements is een competentieprofiel vast te stellen. Met behulp van de kenmerken of metatags wordt een rapportage gemaakt waarbij competenties en werkprocessen in één overzicht worden weergegeven. De rapportages leiden tot inzicht in dat wat de student wel en niet beheerst. Studie-advies wordt op basis van de gemaakt competentieprofielen gegeven. Hiermee krijgt de studenten een maatwerk opleiding conform de wensen van henzelf en de netwerkschool. In totaal werden tot nu toe 8 skillsmodules afgenomen met behulp van de CanDo statements en 4 projecten. Hierdoor werd het mogelijk studenten een effectiever en sneller traject te laten volgen.

App voor praktijkbeoordel…

with one comment

AfbeeldingDeze week kwam ik een blog tegen met een enthousiast verhaal over de eerste app voor assessments:

Volgens de auteur (en ontwikkelaar van de app …):

An easy to use app designed for assessment purposes – allows photos and videos and provides feedback to an email or dropbox account. Great for outdoor practical and observational assessments.

De blog leverde direct reacties op die met name het gebruiksgemak bevestigen. Mooie feature is het toevoegen van foto’s en video’s. Hiermee kun je direct vastleggen wat een student doet tijdens een praktijkexamen en je kunt aantekeningen toevoegen. Op deze manier heb je altijd onderbouwing bij het resultaat dat een student gehaald heeft.
De resultaten van de beoordelingen zijn eenvoudig te exporteren naar een spreadsheet waarna je de keuze hebt om de resultaten te versturen naar je e-mailadres of je dropbox account.

Een paar kanttekeningen bij de app:
* nog niet geschikt voor Android
* leerlingen moeten 1 voor 1 toegevoegd worden, een importfunctie zou handig zijn
* je krijgt als docent geen antwoordmodel te zien wat toch essentieel is om tot een objectieve beoordeling te kunnen komen
* je hebt als docent een behoorlijke vrijheid in het toekennen van punten, er zijn 2 varianten: een schaal van 1-5 en een schaal van 6-10
* het is een losse app, integratie in een examen- of toetsproces is nodig voor de borging.

Inzet van apps in het onderwijs komt steeds vaker voor. Vandaag las ik een dossier via Kennisnet over de inzet van iPads in het groene onderwijs door docent Jan Priem. De docent vertelt de lesstof veel sneller bereikbaar is voor de leerlingen, er zijn géén tijdrovende inlogprocedures nodig op schoolcomputers.

Wat mij in dit artikel triggerde was de volgende zin:

Tijdens de praktijklessen kunnen de iPad’s worden opgeborgen in een kluis.

Een iPad tijdens de praktijklessen is voor studenten niet handig, dat begrijp ik. Voor een docent is een iPad tijdens de praktijklessen juist heel goed inzetbaar. Neem die iPad mee naar buiten en leg de vorderingen van de studenten vast, bijv. via de hierboven besproken app, door het maken van video’s of foto’s. Voeg feedback toe voor de studenten en zorg dat je dit in een volgende les met hen bespreekt of nog mooier: stuur de resultaten van je beoordeling naar het e-mailadres van de student zodat hij het via zijn eigen iPad kan bekijken (en ook aan zijn ouders kan laten zien!).

Written by JannekeHelsloot

10 maart 2012 at 18:24

Werknemer vergooit 19 miljard met ICT onkunde

with one comment

Werknemer vergooit 19 miljard met ICT onkunde kopte nu.nl vandaag. Conclusie van het onderzoek door de Universiteit Twente is dat de productiviteit van werknemers daalt met 8% door ICT onkunde.

Het gebrek aan vaardigheden is verantwoordelijk voor ongeveer 4 procent verlies van de werktijd met een computer.

Dit merken wij ook vaak bij de implementatie van digitale toetssoftware. Wij zijn gewend een adviestraject uit te voeren alvorens we starten met digitale toetsing. Aan de software ligt het niet, je kunt meteen starten, wanneer je dat wilt. Vaak leven in organisaties verwachtingen en wensen rondom het gebruik van digitale toetssoftware. In een vooronderzoek proberen we de verwachtingen zo goed mogelijk te managen en de wensen in kaart te brengen. Daarnaast geven we aan wat mogelijke hindernissen of struikelblokken kunnen zijn bij de invoering van de digitale toetssoftware. Met regelmaat geven we opdrachtgevers aan dat onze indruk is dat het personeel niet ICT vaardig genoeg is. Dat blijkt een zeer gevoelig onderwerp. Opdrachtgevers gaan maar al te vaak uit van het feit dat werknemers ICT vaardig zijn. Omdat de ICT hulpmiddelen geboden worden kunnen mensen ze ook gebruiken is de redenering. Dat is dus niet zo, bewijst dit onderzoek. Zelfs in het onderwijs hebben wij nu al een aantal keer ondersteuning geboden bij het aanleren van ICT vaardigheden. Dat gaat van een cursus Excel tot het aanleren van het gebruik van sneltoetsen, handigheidjes om snel een tekst te kunnen invoeren. Naar aanleiding van onze adviezen wordt vaak een buddy aangesteld om m.n. te ondersteunen bij de ICT vraagstukken, als verlengde van de helpdesk, conform de resultaten van dit onderzoek.

Onze expertise ligt op het gebied van toetsen, wij willen graag de ICT vaardigheden toetsen van werknemers. Werkgevers en opdrachtgevers van dit onderzoek: wij ondersteunen graag bij de toetsing van ICT vaardigheden.

Written by Manon Bonefaas

8 maart 2012 at 09:25

TeleToets voor online competentiemetingen

with one comment

De netwerkschool SintLucas experimenteert met de opleiding Mediavormgever.

Bij de opleiding Mediavormgever werkt vanaf het schooljaar 2011-2012 met een nieuw uitstroomprofiel. Het jaarklassensysteem is afgeschaft; de student wordt op maat bediend. De opleiding kent een driestromenland: een stroom gericht op doorstuderen aan het hbo (wat 70 procent van de SintLucasstudenten doet), een andere die gericht is op ondernemerschap en de laatste stroom die de student klaarstoomt voor het werken bij een bedrijf.

Alle eerstejaars doorlopen een algemeen propedeusejaar, waarna ze kiezen voor een van de vijf opleidingen. Kiezen studenten na dat eerste jaar voor de opleiding Mediavormgever, dan beginnen zij met nulmetingen en skillsprojecten: samen een drie maanden durend trainingstraject. Studieloopbaanbegeleiders (SLB’ers) schatten vervolgens samen met de student in wat het ideale vervolgmenu voor hem is. Zij moeten gezamenlijk zijn kracht ontdekken.

Nadat de skillsperiode er in januari opzit, beginnen de studenten aan projecten en modules.Ze krijgen dan een grote menukaart vol modules en projecten op verschillende niveaus, die ze – afhankelijk van de prestaties in de skillsmodules – moeten of kunnen volgen. De SLB’ er is de ober die de student helpt het ideale menu samen te stellen.

Bron: http://www.netwerkschool.nl/deelnemende-scholen/sintlucas/

Verder in het artikel staat dat de digitale begeleidings- en beoordelingsinstrumenten op maat gemaakt moeten worden. Tijdens de CVI conferentie op 21 en 22 maart in Papendal zal SintLucas een presentatie houden over deze nieuwe manier van werken. De digitale begeleidings- en beoordelingsinstrumenten zijn in het afgelopen half jaar tot stand gekomen in  samenwerking met Andriessen en  SintLucas.

Written by Manon Bonefaas

27 januari 2012 at 12:51

%d bloggers liken dit: