Polytoom of dichotoom
In de zoektermen op een weblog kun je vinden waar bezoekers op gezocht hebben. Naar aanleiding daarvan kun je dan weer een blog schrijven en dat is precies wat ik hier doe. Gezocht werd op verschil tussen polytoom en dichotoom. Eigenlijk wordt hier gezocht naar de manier waarop je het best een vraag kan scoren. Wanneer een vraag goed of fout is is de scoring dichotoom. Indien je gedeeltelijk goed kan antwoorden dan is de vraag polytoom.
In TeleToets kennen we bij het gebruik van de multiple select vraag (of meer uit meer vraag) de volgende scoringen:
- dichotoom: kandidaat krijgt alleen (alle) punten als hij de vraag helemaal juist beantwoordt. Bij een foutief antwoord krijgt de kandidaat geen punten.
- polytoom: per juist antwoord krijgt de kandidaat een deel van de maximale vraagwaardering. Het kiezen van een afleider kan leiden tot puntenaftrek. De ondergrens van de vraag is nul.
In TeleToets ziet dat er als volgt uit:
Naast een polytome of dichotome scoring kennen we ook nog de productregel:
Deze wordt berekend op basis van de volgende formule
Score = proportie goed * (1 – proportie fout * ( 1/a + ( (n-k) /n) * ( 1-1/a) ) )
n: het totale aantal alternatieven
k:het aantal juiste alternatieven
a: Uit onderzoek blijkt dat ‘2’ de beste scoreregel oplevert. Deze weegfactor wordt dan ook in TeleToets gehandhaafd.
Voor de scoring van de ordeningsvraag (rangschikvraag) wordt meestal de quotiëntregel gebruikt:
De score wordt berekend volgens een ingebouwde formule op basis van het aantal mogelijke volgordes van steeds twee objecten.
(Als er in totaal 4 objecten zijn: A,B,C,D dan zijn er 6 te testen volgordes: AB, AC, AD, BC, BD, CD).
Hierbij geldt dat je tweederde van de antwoorden goed moet hebben om de helft van de punten te krijgen.
Zo zie je dat ook bij digitale toetsing de verantwoording voor de scoring van de vraag bij o.a. de itemauteur ligt. We horen weleens dat het scoren van digitale toetsen ‘oneerlijk’ is omdat je afgerekend wordt op goed of fout. Uit de verscheidenheid van bovenstaande scoringsregels, zie je dat dit onterecht is. Sterker nog, digitale toetsing maakt het scoren van antwoorden objectiever doordat een itemauteur vooraf goed na moet denken over het instellen van de juiste scoringsregel waarmee recht gedaan wordt aan de beantwoording van de vraag.
In Examens van september 2010 NR 3 is hier meer over te lezen.
Cito toets: schoenmaker blijf bij je leest
Scholen hebben dinsdagochtend problemen ondervonden om deel te nemen aan de digitale versie van de Cito-toets. Op een bepaald moment was inloggen niet meer mogelijk. Vervolgens werd toetsinstituut Cito overspoeld door telefoontjes, waardoor ook de telefooncentrale uitviel, meldt een woordvoerder van Cito.
Aan deze versie doen drie- tot vierduizend scholen mee. Hoeveel scholen en kinderen precies niet konden inloggen, is nog onduidelijk. “Maar het is heel vervelend dat ook de telefooncentrale uitviel, want daardoor konden we niet vertellen dat we druk bezig waren de problemen op te lossen.”
Tot zover een stukje van de berichtgeving van de Cito-afname van vandaag 7 februari. Zowel de toetsen, de inhoud als de citotester komen van Cito. Op zich is daar niets mis mee maar Cito is een organisatie met hoofdzakelijk toetsdeskundigen in huis. Cito is geen software ontwikkelaar en geen dienstverlenend bedrijf op dat gebied. Op Twitter werd het vergelijk met T-mobile gemaakt. T-mobile zorgt nog dat haar klanten haar kunnen bereiken. Cito was telefonisch onbereikbaar, evenals vorig jaar.
Al jaren verzorgen wij de inburgeringsexamens samen met DUO, dat gaat geruisloos en bijna altijd zonder technische problemen. Wanneer er wel technische problemen zijn is een Service desk aanwezig die adequaat inspringt op de problemen zodat e.e.a zo snel mogelijk opgelost wordt.
Examens organiseren kent twee specifieke vakgebieden: de inhoudelijke en de organisatorische. De praktijk heeft al meerdere keren bewezen dat bij examens een organisatie sterk is in het ene dan wel het andere vakgebied.
Juist waar het maatschappelijke belang zo groot is als in het onderhavige voorbeeld pleit dit voor het op de juiste plek neerleggen van taken. En dat is nu dus wederom bewezen.
Intussen is de, voor ouders en kinderen zo belangrijke, Cito toets voor de derde dag op rij niet vlekkeloos verlopen zie NOG.
Determinatie en toetsing
Wanneer ik op scholen kom praten over (digitale) toetsing wordt vaak verzucht:
We worstelen zo met de determinatie.
Determinatie wordt hier bedoeld als onderscheid maken tussen bijvoorbeeld een VMBO-TL en een HAVO leerling of (nog moeilijker) een VMBO-TL en een VMBO-GL leerling. Van belang is dat een weloverwogen goede keuze gemaakt wordt, waar zowel leerkracht, ouders als kind zich in kunnen vinden. Over het algemeen geldt dat leerlingen zich uitgedaagd moeten voelen door het niveau, maar het mag niet te moeilijk zijn. Soms interfereert dit uitgangspunt (ernstig) met de wensen van de ouders. Voor scholen is dit een moeilijk punt de beslissing van de determinatie wordt veelal door het team genomen en onderbouwd.
Voor de beslissing van de determinatie helpt het wanneer een helder toetsbeleid geformuleerd is, zie hiervoor ook een eerdere weblog van Janneke Helsloot. In het toetsbeleid worden de kaders van de toetsing geschetst en wordt een PDCA cyclus rondom toetsing ingericht. Naast een continue verbetercyclus voor je toetsing, geeft zo’n toetsbeleid ook houvast bij te nemen beslissingen over determinatie.
Terug naar determinatie en toetsing:
Door het gebruik van digitale toetsing wordt het gemakkelijker om te determineren. Het is eenvoudiger om op twee niveaus (vergelijkbare) toetsen aan te bieden. Ook extra vragen op een hoger niveau kunnen simpel bij de toets gevoegd worden. Door vragen te Metdateren kunnen vragen van verschillend niveau herkend worden. Zo kan het onderscheid begrip, toepassing, vaardigheden (uit Blooms taxonomie) aangebracht worden maar ook onthouden, begrijpen, integreren en toepassen (OBIT) kunnen metdata zijn die aan vragen meegegeven worden.
Door metadatering kan makkelijker vastgesteld worden of en hoe leerlingen zich onderscheiden van leeftijdgenootjes en dat kan helpen bij de determinatie. Voorwaarde is dat gewerkt wordt met kwaliteitstoetsen. In eerdere blogs hebben we al stil gestaan hoe je tot kwaliteitstoetsen komt: gebruik de PDCA cyclus en maak gebruik van toets- en vraag analyses.
Feit is dat determinatie mensenwerk blijft maar met de juiste hulpmiddelen kan het wel makkelijker worden.
5 tips voor het maken en nakijken van open vragen
In de afweging om open of gesloten vragen in een toets te gebruiken wordt vaak gedacht dat open vragen beter cognitieve vaardigheden kunnen toetsen. Gemakshal
ve vergeet men dan dat de beoordelaarsfout (of bias) zo groot kan zijn dat uiteindelijk veel beter voor een gesloten vraagtype gekozen kan worden.
Uit onderzoek blijkt bovendien dat toetsen met open vragen voor vrouwen soms gemakkelijker zijn dan voor mannen. Terwijl toetsen met gesloten vragen voor mannen gemakkelijker zijn. Wie het weet mag het zeggen….
Vijf tips voor het maken en nakijken van open vragen:
- Kenmerkend voor de open vraag is dat de antwoorden door de kandidaat zelf geformuleerd moeten worden. Dat maakt het wenselijk aan een open vraag meer dan één punt toe te kennen. De beoordelaar kan dan met behulp van het antwoordmodel tot een goede weging van het gegeven antwoord komen.
- Probeer de vraag positief te formuleren, vermijd dubbele ontkenningen.
- Start de vraag met een vraagwoord: waarom, wanneer, hoe etc. Op deze manier wordt de vraag helder gesteld en krijgt de kandidaat ruimte bij het beantwoorden.
- Geef aan of een kort en bondig antwoord of een lang antwoord (betoog) verwacht wordt. Voor de beoordelaar is dat prettig want op deze manier krijgt de beoordelaar vergelijkbare antwoorden.
- Zorg voor een goed antwoordmodel met het juiste antwoord maar ook mogelijke foute antwoorden, dit geeft de beoordelaar meer zekerheid en bevordert tussen beoordelaars een gelijke manier van beoordelen.
Veel succes bij maken en nakijken van open vragen.
Mondelinge examens
Vorige week verscheen in AssurantieMagazine het volgende artikel:
Mondelinge examens worden o.a. gebruikt voor faalangstige mensen of voor slechtzienden of dyslectici. Het is prima dat dergelijke examens toegevoegd worden aan de dienstverlening van examenbureaus. Wel zijn er consequenties verbonden aan een mondelinge afname. In het artikel wordt een belangrijke al genoemd: de examens zijn fors duurder. Dat is logisch. Een schriftelijk examen kan met meerdere kandidaten tegelijk afgenomen worden onder toezicht van één surveillant. Een mondeling examen is individueel en wordt bij voorkeur afgenomen door een examinator en een tweede persoon. Een gecommitteerde (zoals NIBE SVV doet) of een secretaris. Deze kan voor verslaglegging zorgen en bewaken dat de afgesproken punten aan de orde komen. Soms wordt samen het eindoordeel gegeven soms zal de examinator (inhoudsdeskundige) dat alleen doen en bewaakt de gecommitteerde of secretaris alleen het proces van het mondelinge examen.
Door gebruik te maken van digitale verslaglegging zorg je dat het proces van mondeling examineren eenduidiger wordt. Hiermee kun je de volgende situaties inzichtelijker maken:
1. Het is mogelijk dat een examinator een roze bril op heeft en iedereen van zijn meest positieve kant bekijkt.
2. Mondeling examineren eist andere vaardigheden van de examinator vergeleken met een schriftelijke correctie.
3. Een examinator kan een (onbewuste) voorkeur hebben voor bepaalde examenkandidaten. Bijvoorbeeld: examenkandidaten met rood haar hebben bij hem een streepje voor, omdat zijn kinderen ook rood haar hebben. Van dit soort vooroordelen heb je geen ‘last’ bij een geanonimiseerde schriftelijke versie van een examen.
Concluderend: het is zeer wenselijk dat bij een mondeling examen twee personen aanwezig zijn. Waarbij één de rol van examinator (vragensteller) heeft en de ander notuleert en het proces bewaakt. Daarnaast is het wenselijk de verslaglegging digitaal te doen, zodat eventuele vooroordelen en/of beoordelingsfouten tijdig gesignaleerd kunnen worden. Een mondeling examen komt hierdoor inderdaad duurder uit dan een schriftelijk examen. Dit heeft niets te maken met een diploma kopen zoals in de reacties op het artikel over NIBE SVV staat.
Andriessen consultancy
Een enkele keer maak ik reclame in dit weblog voor onze eigen diensten. Vandaag wil ik bloglezers wijzen op onze site Andriessen-consultancy.com. Op deze site brengen we nieuws en wetenswaardigheden samen rondom toetsen en examineren. De verschillende scoop-it pagina’s die we bijhouden maar ook nieuwtjes van de NVE zijn te vinden op deze pagina. Graag maak ik ook van de gelegenheid gebruik om te wijzen op de workshop ‘Inleiding toetsvraagconstructie’: € 100, – excl BTW (14 februari a.s. in Lelystad). Interesse: consultancy@andriessen.nl
Toetsen? Formatief!
Toetsen? Leerlingen willen minder. Docenten willen minder. Doen dus. Deze titel is van een blogpost van Frans Droog waar ik eerder al op reageerde. Toch laat het me niet los en wil ik wat uitgebreider reageren. De conclusie van Frans is:
Mijn conclusie is dat Frans meer aan formatieve toetsing zou moeten doen. Ik schrijf dit nu naar aanleiding van een blog van Frans maar ik denk dat het voor het gehele Voortgezet Onderwijs geldt: formatieve toetsing wordt niet of nauwelijks gebruikt.
Formatieve toetsen kunnen worden gebruikt om leerlingen kennis te laten opdoen of te laten toepassen. Zij maken integraal onderdeel uit van het leerproces en hebben geen directe consequenties voor de eindbeoordeling. Doel van dit type toetsen is te diagnosticeren welke kennis of toepassing van kennis nog ontbreekt en de leerling dus nog moet verwerven. Bij formatieve toetsen worden vaak toetsomschrijvingen gebruikt als instaptoetsen, diagnostische toetsen, voorkennistoetsen, zelftoetsen. Belangrijkste doelen van formatieve toetsen zijn meten en leren. (http://nl.wikibooks.org/wiki/Onderwijstechnologie/Klastechnologie/Digitaal_toetsen)
De reactie, ja maar het huiswerk is toch een vorm van formatieve toetsing, kan ik me voorstellen. Natuurlijk moeten leerlingen huiswerk maken. Maar vaak is het huiswerk in een werkboek, een overschrijfoefening van het leerboek. De leerling is op een saaie manier bezig met huiswerk maken en wordt zelden uitgedaagd. Rondom het bespreken van huiswerk zijn een aantal kwetsbaarheden die bepalend zijn voor de kwaliteit van de feedback. Denk hierbij bijvoorbeeld aan een onrustige klas, dromerige of afwezige leerlingen en de druk op de docent om de te behandelen stof op tijd af te krijgen.
Wanneer je digitaal toetst is formatieve toetsing een fluitje van een cent. Belangrijk is wel dat je de voorwaarden zoals Frans die beschrijft uitvoert. Kwalitatief goede feedback is essentieel. Door te toetsen worden leerlingen bewust van datgene wat ze niet kennen (en kunnen). Ze worden uitgedaagd aan het werk te gaan. Dat is anders bij het maken van huiswerk. Volgende keer beter is het motto.
Voor docenten (en ouders) wordt door het gebruik van formatieve toetsing veel duidelijker waar een leerling staat. Toetsen is een prettige effectieve manier om te leren. Bijkomend voordeel: faalangstige leerlingen gaan beter presteren wanneer ze regelmatiger een goede formatieve toets gemaakt hebben. Ze worden bevestigd door de feedback die ze krijgen en hoeven niet meer bang te zijn voor een toets: ze weten immers dat ze de stof beheersen.
E-book online toetsen en examineren
Geïnteresseerd in het e-book online toetsen en examineren? Betaal met een tweet of facebook status update voor de download van dit boek. Links naast de blogs staat de knop voor het e-book. Hier in deze blog is de link als QR code te vinden:
dank voor de aankoop. Wij wensen u veel leesplezier.
Klachten over examens
Deze klacht vond ik met behulp van mijn scoop-it paginas. Scoop-it is een tool die je helpt belangrijke informatie te verzamelen en gerubriceerd beschikbaar te maken voor anderen. Ik doe dat voor de NVE maar ook voor online toetsen en voor Consultancy toetsen en beoordelen. Bij deze laatste Scoop-it artikelen kwam ik deze klacht tegen. De klacht lijkt wat ongenuanceerd geformuleerd maar staat wel zo op de site Klacht.nl.
In dit geval gaat de klacht in ieder geval over onduidelijkheid van het niveau van examinering. Of dat bij de instelling of de kandidaat ligt weet ik niet, maar feit is dat die onduidelijkheid tot de klacht leidt.
Beoordelen is natuurlijk ook lastig. Eerder heb ik daar al over geschreven bij de beoordeling van open vragen. De weblog over het examenreglement geeft duidelijke tips om een helder examenreglement te maken waarmee dit soort problemen (gedeeltelijk) voorkomen kunnen worden. De transparantie die in de gewenste oplossing wordt gesuggereerd is, denk ik, de beste manier om dit soort problemen te voorkomen. Door het niveau helder te communiceren weet een kandidaat welk risico hij aangaat wanneer hij voor een te hoog niveau kiest. Een gratis herkansing is dan zelfs niet meer nodig.
Manon Bonefaas
JannekeHelsloot
paulwesteneng
