Adaptief toetsen, waarom?
Adaptief toetsen wordt gebruikt om het niveau van een kandidaat te bepalen of de voortgang van een leerling te meten. Adaptief toetsen met de computer is bij uitstek geschikt voor het vlot bepalen van het niveau, denk aan een EVC 
procedure of een 0-meting voor een nieuwe leerling in de klas. Bij adaptief toetsen krijgt de kandidaat vragen aangeboden vanuit een bepaald (basis) niveau. Wanneer de kandidaat deze vragen goed maakt krijgt hij moeilijkere vragen aangeboden. Bij een goed resultaat kunnen nog moeilijkere vragen volgen. Bij een minder resultaat krijgt de kandidaat eenvoudigere vragen voorgelegd. In TeleToets kan je zelf het aantal moeilijkheidsgraden vaststellen voor de adaptieve toets. Door adaptief te toetsen kan het niveau van de kandidaat bepaald worden en een leerlijn op maat gemaakt worden.
Voordelen van adaptief toetsen:
- de meetnauwkeurigheid neemt toe: je kunt vrij nauwkeurig bepalen op welk niveau een kandidaat zit.
- met de inzet van een beperkt aantal items (tussen de 30 en 40) heb je al een goed beeld van het niveau, dit betekent dat je itembank minder snel veroudert
- kandidaten krijgen allemaal een eigen unieke toets.
Voor meer informatie: consultancy@andriessen.nl
Bron: Toetswijzer
‘One size fits all’ en educatie!
Gisteren tijdens de relatiemiddag heeft Eduardo Cascallar een presentatie gehouden over neurale netwerken, ‘predictive systems’. Eerder verzorgde hij al een workshop voor de consultants van Andriessen. Paul Westeneng heeft daarover een blog geschreven.
Met een ‘predictive system’ kun je – op basis van een aantal invoergegevens een voorspelling doen van een – op het moment van de voorspelling – onbekend resultaat.
We kennen natuurlijk allemaal de weers- voorspelling en we weten dus hoe moeilijk zo’n voorspelling kan zijn. Eduardo Cascallar past dit soort systemen nu met name toe in onderwijssituaties en behaalt daarmee verbluffend goede resultaten.
In het predictieve systeem bepalen tussen de dertig en tweehonderd variabelen de uitkomst van de voorspelling. Deze variabelen dragen allemaal bij aan de uitkomst. Bijvoorbeeld de predictieve analyse van het schrijfonderwijs in Nederland, Cascallar en Boekaerts (2006).
Het linker plaatje laat zien hoeveel variabelen bijdragen aan de voorspelling rondom het schrijfgedrag van kinderen. Het rechtere plaatje laat zien dat bij de 50 belangrijkste variabelen 64% vastliggende condities zijn. Beïnvloedbaar is dus slechts eenderde deel, namelijk de andere variabelen.
In het onderwijs wordt uitgegaan van: ‘one size fits all’. De resultaten van Cascallar en Boekaerts met de predictive systems laten twee dingen helder zien:
- De invloed van de eerste drie jaar is ongelofelijk belangrijk! Goede verzorging zowel lichamelijk als geestelijk lijkt een belangrijke variabele in de voorspelling van schoolsucces en meer specifiek in de werking van het werkgeheugen. Dit punt betreft de preexisting conditions.
- Wanneer je na de eerste drie jaar nog wilt veranderen op het gebied van schoolsucces dan zul je een aantal beïnvloedende variabelen moeten veranderen. Alleen met een andere aanpak op school kom je er niet. Dit punt betreft de andere variabelen.
Door redenerend is dus een andere aanpak of ondersteuning alleen meestal niet voldoende. Wanneer je inzicht hebt in die andere variabelen kun je op meer punten beïnvloeden en op die manier trachten, binnen de mogelijkheden, tot een verbetering van het leerresultaat te komen. De manier waarop ons huidig onderwijs is georganiseerd: ‘one size fits all’ voldoet met deze wetenschap niet meer.
App voor praktijkbeoordel…
Deze week kwam ik een blog tegen met een enthousiast verhaal over de eerste app voor assessments:
Volgens de auteur (en ontwikkelaar van de app …):
An easy to use app designed for assessment purposes – allows photos and videos and provides feedback to an email or dropbox account. Great for outdoor practical and observational assessments.
De blog leverde direct reacties op die met name het gebruiksgemak bevestigen. Mooie feature is het toevoegen van foto’s en video’s. Hiermee kun je direct vastleggen wat een student doet tijdens een praktijkexamen en je kunt aantekeningen toevoegen. Op deze manier heb je altijd onderbouwing bij het resultaat dat een student gehaald heeft.
De resultaten van de beoordelingen zijn eenvoudig te exporteren naar een spreadsheet waarna je de keuze hebt om de resultaten te versturen naar je e-mailadres of je dropbox account.
Een paar kanttekeningen bij de app:
* nog niet geschikt voor Android
* leerlingen moeten 1 voor 1 toegevoegd worden, een importfunctie zou handig zijn
* je krijgt als docent geen antwoordmodel te zien wat toch essentieel is om tot een objectieve beoordeling te kunnen komen
* je hebt als docent een behoorlijke vrijheid in het toekennen van punten, er zijn 2 varianten: een schaal van 1-5 en een schaal van 6-10
* het is een losse app, integratie in een examen- of toetsproces is nodig voor de borging.
Inzet van apps in het onderwijs komt steeds vaker voor. Vandaag las ik een dossier via Kennisnet over de inzet van iPads in het groene onderwijs door docent Jan Priem. De docent vertelt de lesstof veel sneller bereikbaar is voor de leerlingen, er zijn géén tijdrovende inlogprocedures nodig op schoolcomputers.
Wat mij in dit artikel triggerde was de volgende zin:
Tijdens de praktijklessen kunnen de iPad’s worden opgeborgen in een kluis.
Een iPad tijdens de praktijklessen is voor studenten niet handig, dat begrijp ik. Voor een docent is een iPad tijdens de praktijklessen juist heel goed inzetbaar. Neem die iPad mee naar buiten en leg de vorderingen van de studenten vast, bijv. via de hierboven besproken app, door het maken van video’s of foto’s. Voeg feedback toe voor de studenten en zorg dat je dit in een volgende les met hen bespreekt of nog mooier: stuur de resultaten van je beoordeling naar het e-mailadres van de student zodat hij het via zijn eigen iPad kan bekijken (en ook aan zijn ouders kan laten zien!).
Werknemer vergooit 19 miljard met ICT onkunde
Werknemer vergooit 19 miljard met ICT onkunde kopte nu.nl vandaag. Conclusie van het onderzoek door de Universiteit Twente is dat de productiviteit van werknemers daalt met 8% door ICT onkunde.
Het gebrek aan vaardigheden is verantwoordelijk voor ongeveer 4 procent verlies van de werktijd met een computer.
Dit merken wij ook vaak bij de implementatie van digitale toetssoftware. Wij zijn gewend een adviestraject uit te voeren alvorens we starten met digitale toetsing. Aan de software ligt het niet, je kunt meteen starten, wanneer je dat wilt. Vaak leven in organisaties verwachtingen en wensen rondom het gebruik van digitale toetssoftware. In een vooronderzoek proberen we de verwachtingen zo goed mogelijk te managen en de wensen in kaart te brengen. Daarnaast geven we aan wat mogelijke hindernissen of struikelblokken kunnen zijn bij de invoering van de digitale toetssoftware. Met regelmaat geven we opdrachtgevers aan dat onze indruk is dat het personeel niet ICT vaardig genoeg is. Dat blijkt een zeer gevoelig onderwerp. Opdrachtgevers gaan maar al te vaak uit van het feit dat werknemers ICT vaardig zijn. Omdat de ICT hulpmiddelen geboden worden kunnen mensen ze ook gebruiken is de redenering. Dat is dus niet zo, bewijst dit onderzoek. Zelfs in het onderwijs hebben wij nu al een aantal keer ondersteuning geboden bij het aanleren van ICT vaardigheden. Dat gaat van een cursus Excel tot het aanleren van het gebruik van sneltoetsen, handigheidjes om snel een tekst te kunnen invoeren. Naar aanleiding van onze adviezen wordt vaak een buddy aangesteld om m.n. te ondersteunen bij de ICT vraagstukken, als verlengde van de helpdesk, conform de resultaten van dit onderzoek.
Onze expertise ligt op het gebied van toetsen, wij willen graag de ICT vaardigheden toetsen van werknemers. Werkgevers en opdrachtgevers van dit onderzoek: wij ondersteunen graag bij de toetsing van ICT vaardigheden.
Visie op toetsing
Regelmatig worden we om advies gevraagd rondom (digitale) toetsing. Dat gaat om adviezen over het inrichten van een itembank maar ook over het maken van een toetsmatrijs. Eerder heb ik hier ook al blogs over geschreven. Op LinkedIn zijn regelmatig discussies te vinden over digitaal toetsen in speciale groepen en in onderwijs groepen. Deze week kwam ik de volgende discussie tegen in de SURF special interest group digitaal toetsen:
In drie dagen tijd geven vier hogescholen en universiteiten aan dat ze moeite hebben met digitaal toetsen. Genoemde problemen, in willekeurige volgorde:
- functioneel beheer
- instabiliteit
- geen borging van kwaliteit
- toetsing in relatie tot interne en externe organisatie
- technisch platform
Een van de deelnemers aan de discussie zegt terecht:
Wij zijn op dit moment ook bezig om een visie op digitaal toetsen te formuleren.
Dat lijkt me dan ook het begin. Natuurlijk begint iedereen met een experiment, een pilot maar dat zou moeten leiden tot inzicht in wat nodig is in je organisatie. Een visie op toetsing helpt vervolgens in het geven van handen en voeten aan datgene wat je als school belangrijk vindt in (digitale) toetsing.
Realiseer je vervolgens dat je het wiel niet zelf hoeft uit te vinden, we helpen graag!
Vind ik leuk:
Onderwijs en bedrijfsleven ontmoeten elkaar in toetsing!
Twee weken geleden (er zat een voorjaarsvakantie tussen 
) verzorgden we een open inschrijvingstraining inleiding vraagconstructie. De aanmelding hiervoor was zo overweldigend dat we besloten een tweede dag te plannen. Op 14 en 16 februari hebben we de trainingen verzorgd. Voor ons was open inschrijving nieuw. Het viel ons op dat er zowel aanmeldingen kwamen vanuit het bedrijfsleven als uit het onderwijs voor deze workshop.
Ondanks het verschil in soorten en doel van de toetsen dat onderwijs en bedrijfsleven veel van elkaar konden leren tijdens de verschillende oefeningen. De vraagstukken waar het onderwijs mee worstelt zijn dezelfde vraagstukken voor examencommissies en opleiders in het bedrijfsleven. Het gaat vooral om aandacht voor de volgende vraagstukken:
- open-gesloten vraag
- welk type gesloten vraag gebruik je wanneer (denk aan rangschik, hotspot etc)
- scoring van vraag
- wanneer bepaal je de cesuur
- wat is het niveau van je vraag
In deze eerste training inleiding vraagconstructie zijn we vooral ingegaan op de constructie van gesloten vragen. De andere punten kwamen nog niet aan de orde. Wij zijn voornemens om in maart een vervolg te geven aan deze training. Mocht je interesse hebben consultancy@andriessen.nl
Polytoom of dichotoom
In de zoektermen op een weblog kun je vinden waar bezoekers op gezocht hebben. Naar aanleiding daarvan kun je dan weer een blog schrijven en dat is precies wat ik hier doe. Gezocht werd op verschil tussen polytoom en dichotoom. Eigenlijk wordt hier gezocht naar de manier waarop je het best een vraag kan scoren. Wanneer een vraag goed of fout is is de scoring dichotoom. Indien je gedeeltelijk goed kan antwoorden dan is de vraag polytoom.
In TeleToets kennen we bij het gebruik van de multiple select vraag (of meer uit meer vraag) de volgende scoringen:
- dichotoom: kandidaat krijgt alleen (alle) punten als hij de vraag helemaal juist beantwoordt. Bij een foutief antwoord krijgt de kandidaat geen punten.
- polytoom: per juist antwoord krijgt de kandidaat een deel van de maximale vraagwaardering. Het kiezen van een afleider kan leiden tot puntenaftrek. De ondergrens van de vraag is nul.
In TeleToets ziet dat er als volgt uit:
Naast een polytome of dichotome scoring kennen we ook nog de productregel:
Deze wordt berekend op basis van de volgende formule
Score = proportie goed * (1 – proportie fout * ( 1/a + ( (n-k) /n) * ( 1-1/a) ) )
n: het totale aantal alternatieven
k:het aantal juiste alternatieven
a: Uit onderzoek blijkt dat ‘2’ de beste scoreregel oplevert. Deze weegfactor wordt dan ook in TeleToets gehandhaafd.
Voor de scoring van de ordeningsvraag (rangschikvraag) wordt meestal de quotiëntregel gebruikt:
De score wordt berekend volgens een ingebouwde formule op basis van het aantal mogelijke volgordes van steeds twee objecten.
(Als er in totaal 4 objecten zijn: A,B,C,D dan zijn er 6 te testen volgordes: AB, AC, AD, BC, BD, CD).
Hierbij geldt dat je tweederde van de antwoorden goed moet hebben om de helft van de punten te krijgen.
Zo zie je dat ook bij digitale toetsing de verantwoording voor de scoring van de vraag bij o.a. de itemauteur ligt. We horen weleens dat het scoren van digitale toetsen ‘oneerlijk’ is omdat je afgerekend wordt op goed of fout. Uit de verscheidenheid van bovenstaande scoringsregels, zie je dat dit onterecht is. Sterker nog, digitale toetsing maakt het scoren van antwoorden objectiever doordat een itemauteur vooraf goed na moet denken over het instellen van de juiste scoringsregel waarmee recht gedaan wordt aan de beantwoording van de vraag.
In Examens van september 2010 NR 3 is hier meer over te lezen.
Cito toets: schoenmaker blijf bij je leest
Scholen hebben dinsdagochtend problemen ondervonden om deel te nemen aan de digitale versie van de Cito-toets. Op een bepaald moment was inloggen niet meer mogelijk. Vervolgens werd toetsinstituut Cito overspoeld door telefoontjes, waardoor ook de telefooncentrale uitviel, meldt een woordvoerder van Cito.
Aan deze versie doen drie- tot vierduizend scholen mee. Hoeveel scholen en kinderen precies niet konden inloggen, is nog onduidelijk. “Maar het is heel vervelend dat ook de telefooncentrale uitviel, want daardoor konden we niet vertellen dat we druk bezig waren de problemen op te lossen.”
Tot zover een stukje van de berichtgeving van de Cito-afname van vandaag 7 februari. Zowel de toetsen, de inhoud als de citotester komen van Cito. Op zich is daar niets mis mee maar Cito is een organisatie met hoofdzakelijk toetsdeskundigen in huis. Cito is geen software ontwikkelaar en geen dienstverlenend bedrijf op dat gebied. Op Twitter werd het vergelijk met T-mobile gemaakt. T-mobile zorgt nog dat haar klanten haar kunnen bereiken. Cito was telefonisch onbereikbaar, evenals vorig jaar.
Al jaren verzorgen wij de inburgeringsexamens samen met DUO, dat gaat geruisloos en bijna altijd zonder technische problemen. Wanneer er wel technische problemen zijn is een Service desk aanwezig die adequaat inspringt op de problemen zodat e.e.a zo snel mogelijk opgelost wordt.
Examens organiseren kent twee specifieke vakgebieden: de inhoudelijke en de organisatorische. De praktijk heeft al meerdere keren bewezen dat bij examens een organisatie sterk is in het ene dan wel het andere vakgebied.
Juist waar het maatschappelijke belang zo groot is als in het onderhavige voorbeeld pleit dit voor het op de juiste plek neerleggen van taken. En dat is nu dus wederom bewezen.
Intussen is de, voor ouders en kinderen zo belangrijke, Cito toets voor de derde dag op rij niet vlekkeloos verlopen zie NOG.
Determinatie en toetsing
Wanneer ik op scholen kom praten over (digitale) toetsing wordt vaak verzucht:
We worstelen zo met de determinatie.
Determinatie wordt hier bedoeld als onderscheid maken tussen bijvoorbeeld een VMBO-TL en een HAVO leerling of (nog moeilijker) een VMBO-TL en een VMBO-GL leerling. Van belang is dat een weloverwogen goede keuze gemaakt wordt, waar zowel leerkracht, ouders als kind zich in kunnen vinden. Over het algemeen geldt dat leerlingen zich uitgedaagd moeten voelen door het niveau, maar het mag niet te moeilijk zijn. Soms interfereert dit uitgangspunt (ernstig) met de wensen van de ouders. Voor scholen is dit een moeilijk punt de beslissing van de determinatie wordt veelal door het team genomen en onderbouwd.
Voor de beslissing van de determinatie helpt het wanneer een helder toetsbeleid geformuleerd is, zie hiervoor ook een eerdere weblog van Janneke Helsloot. In het toetsbeleid worden de kaders van de toetsing geschetst en wordt een PDCA cyclus rondom toetsing ingericht. Naast een continue verbetercyclus voor je toetsing, geeft zo’n toetsbeleid ook houvast bij te nemen beslissingen over determinatie.
Terug naar determinatie en toetsing:
Door het gebruik van digitale toetsing wordt het gemakkelijker om te determineren. Het is eenvoudiger om op twee niveaus (vergelijkbare) toetsen aan te bieden. Ook extra vragen op een hoger niveau kunnen simpel bij de toets gevoegd worden. Door vragen te Metdateren kunnen vragen van verschillend niveau herkend worden. Zo kan het onderscheid begrip, toepassing, vaardigheden (uit Blooms taxonomie) aangebracht worden maar ook onthouden, begrijpen, integreren en toepassen (OBIT) kunnen metdata zijn die aan vragen meegegeven worden.
Door metadatering kan makkelijker vastgesteld worden of en hoe leerlingen zich onderscheiden van leeftijdgenootjes en dat kan helpen bij de determinatie. Voorwaarde is dat gewerkt wordt met kwaliteitstoetsen. In eerdere blogs hebben we al stil gestaan hoe je tot kwaliteitstoetsen komt: gebruik de PDCA cyclus en maak gebruik van toets- en vraag analyses.
Feit is dat determinatie mensenwerk blijft maar met de juiste hulpmiddelen kan het wel makkelijker worden.
Manon Bonefaas
paulwesteneng
