In TeleToets kennen we bij het gebruik van de multiple select vraag (of meer uit meer vraag) de volgende scoringen:

• dichotoom: kandidaat krijgt alleen (alle) punten als hij de vraag helemaal juist beantwoordt. Bij een foutief antwoord krijgt de kandidaat geen punten.
• polytoom: per juist antwoord krijgt de kandidaat een deel van de maximale vraagwaardering. Het kiezen van een afleider kan leiden tot puntenaftrek. De ondergrens van de vraag is nul.
  De scoring wordt als volgt berekend:
  (Percentage gekozen juiste antwoorden – percentage gekozen afleiders ) * maximale vraagwaardering.

  In TeleToets ziet dat er als volgt uit:

Naast een polytome of dichotome scoring kennen we ook nog de productregel:

Deze wordt berekend op basis van de volgende formule
Score = proportie goed * (1 – proportie fout * ( 1/a + ( (n-k) /n) * ( 1-1/a) ) )
n: het totale aantal alternatieven
k:het aantal juiste alternatieven
a: Uit onderzoek blijkt dat ‘2’ de beste scoreregel oplevert. Deze weegfactor wordt dan ook in TeleToets gehandhaafd.

Voor de scoring van de ordeningsvraag (rangschikvraag) wordt meestal de quotiëntregel gebruikt:

De score wordt berekend volgens een ingebouwde formule op basis van het aantal mogelijke volgordes van steeds twee objecten.
(Als er in totaal 4 objecten zijn: A,B,C,D dan zijn er 6 te testen volgordes: AB, AC, AD, BC, BD, CD).
Hierbij geldt dat je tweederde van de antwoorden goed moet hebben om de helft van de punten te krijgen.

Zo zie je dat ook bij digitale toetsing de verantwoording voor de scoring van de vraag bij o.a. de itemauteur ligt. We horen weleens dat het scoren van digitale toetsen ‘oneerlijk’ is omdat je afgerekend wordt op goed of fout. Uit de verscheidenheid van bovenstaande scoringsregels, zie je dat dit onterecht is. Sterker nog, digitale toetsing maakt het scoren van antwoorden objectiever doordat een itemauteur vooraf goed na moet denken over het instellen van de juiste scoringsregel waarmee recht gedaan wordt aan de beantwoording van de vraag.

In Examens van september 2010 NR 3 is hier meer over te lezen.

Scholen hebben dinsdagochtend problemen ondervonden om deel te nemen aan de digitale versie van de Cito-toets. Op een bepaald moment was inloggen niet meer mogelijk. Vervolgens werd toetsinstituut Cito overspoeld door telefoontjes, waardoor ook de telefooncentrale uitviel, meldt een woordvoerder van Cito.
Aan deze versie doen drie- tot vierduizend scholen mee. Hoeveel scholen en kinderen precies niet konden inloggen, is nog onduidelijk. “Maar het is heel vervelend dat ook de telefooncentrale uitviel, want daardoor konden we niet vertellen dat we druk bezig waren de problemen op te lossen.”

Tot zover een stukje van de berichtgeving van de Cito-afname van vandaag 7 februari. Zowel de toetsen, de inhoud als de citotester komen van Cito. Op zich is daar niets mis mee maar Cito is een organisatie met hoofdzakelijk toetsdeskundigen in huis. Cito is geen software ontwikkelaar en geen dienstverlenend bedrijf op dat gebied. Op Twitter werd het vergelijk met T-mobile gemaakt. T-mobile zorgt nog dat haar klanten haar kunnen bereiken. Cito was telefonisch onbereikbaar, evenals vorig jaar.
Al jaren verzorgen wij de inburgeringsexamens samen met DUO, dat gaat geruisloos en bijna altijd zonder technische problemen. Wanneer er wel technische problemen zijn is een Service desk aanwezig die adequaat inspringt op de problemen zodat e.e.a zo snel mogelijk opgelost wordt.
Examens organiseren kent twee specifieke vakgebieden: de inhoudelijke en de organisatorische. De praktijk heeft al meerdere keren bewezen dat bij examens een organisatie sterk is in het ene dan wel het andere vakgebied.
Juist waar het maatschappelijke belang zo groot is als in het onderhavige voorbeeld pleit dit voor het op de juiste plek neerleggen van taken. En dat is nu dus wederom bewezen.

Intussen is de, voor ouders en kinderen zo belangrijke, Cito toets voor de derde dag op rij niet vlekkeloos verlopen zie NOG.

We worstelen zo met de determinatie.

Determinatie wordt hier bedoeld als onderscheid maken tussen bijvoorbeeld een VMBO-TL en een HAVO leerling of (nog moeilijker) een VMBO-TL en een VMBO-GL leerling. Van belang is dat een weloverwogen goede keuze gemaakt wordt, waar zowel leerkracht, ouders als kind zich in kunnen vinden. Over het algemeen geldt dat leerlingen zich uitgedaagd moeten voelen door het niveau, maar het mag niet te moeilijk zijn. Soms interfereert dit uitgangspunt (ernstig) met de wensen van de ouders. Voor scholen is dit een moeilijk punt de beslissing van de determinatie wordt veelal door het team genomen en onderbouwd.

Voor de beslissing van de determinatie helpt het wanneer een helder toetsbeleid geformuleerd is, zie hiervoor ook een eerdere weblog van Janneke Helsloot. In het toetsbeleid worden de kaders van de toetsing geschetst en wordt een PDCA cyclus rondom toetsing ingericht.  Naast een continue verbetercyclus voor je toetsing, geeft zo’n toetsbeleid ook houvast bij te nemen beslissingen over determinatie.

Terug naar determinatie en toetsing:

Door het gebruik van digitale toetsing wordt het gemakkelijker om te determineren. Het is eenvoudiger om op twee niveaus (vergelijkbare) toetsen aan te bieden. Ook extra vragen op een hoger niveau kunnen simpel bij de toets gevoegd worden. Door vragen te Metdateren kunnen vragen van verschillend niveau herkend worden.  Zo kan het onderscheid begrip, toepassing, vaardigheden (uit Blooms taxonomie) aangebracht worden maar ook onthouden, begrijpen, integreren en toepassen (OBIT) kunnen metdata zijn die aan vragen meegegeven worden.

Door metadatering kan makkelijker vastgesteld worden of en hoe leerlingen zich onderscheiden van leeftijdgenootjes en dat kan helpen bij de determinatie. Voorwaarde is dat gewerkt wordt met kwaliteitstoetsen. In eerdere blogs hebben we al stil gestaan hoe je tot kwaliteitstoetsen komt: gebruik de PDCA cyclus en maak gebruik van toets- en vraag analyses.

Feit is dat determinatie mensenwerk blijft maar met de juiste hulpmiddelen kan het wel makkelijker worden.

Bij de opleiding Mediavormgever werkt vanaf het schooljaar 2011-2012 met een nieuw uitstroomprofiel. Het jaarklassensysteem is afgeschaft; de student wordt op maat bediend. De opleiding kent een driestromenland: een stroom gericht op doorstuderen aan het hbo (wat 70 procent van de SintLucasstudenten doet), een andere die gericht is op ondernemerschap en de laatste stroom die de student klaarstoomt voor het werken bij een bedrijf.

Alle eerstejaars doorlopen een algemeen propedeusejaar, waarna ze kiezen voor een van de vijf opleidingen. Kiezen studenten na dat eerste jaar voor de opleiding Mediavormgever, dan beginnen zij met nulmetingen en skillsprojecten: samen een drie maanden durend trainingstraject. Studieloopbaanbegeleiders (SLB’ers) schatten vervolgens samen met de student in wat het ideale vervolgmenu voor hem is. Zij moeten gezamenlijk zijn kracht ontdekken.

Nadat de skillsperiode er in januari opzit, beginnen de studenten aan projecten en modules.Ze krijgen dan een grote menukaart vol modules en projecten op verschillende niveaus, die ze – afhankelijk van de prestaties in de skillsmodules – moeten of kunnen volgen. De SLB’ er is de ober die de student helpt het ideale menu samen te stellen.

Bron: http://www.netwerkschool.nl/deelnemende-scholen/sintlucas/

Verder in het artikel staat dat de digitale begeleidings- en beoordelingsinstrumenten op maat gemaakt moeten worden. Tijdens de CVI conferentie op 21 en 22 maart in Papendal zal SintLucas een presentatie houden over deze nieuwe manier van werken. De digitale begeleidings- en beoordelingsinstrumenten zijn in het afgelopen half jaar tot stand gekomen in  samenwerking met Andriessen en  SintLucas.

Uit onderzoek blijkt bovendien dat  toetsen met open vragen voor vrouwen soms gemakkelijker zijn dan voor mannen. Terwijl toetsen met gesloten vragen voor mannen gemakkelijker zijn. Wie het weet mag het zeggen….

Vijf tips voor het maken en nakijken van open vragen:

1. Kenmerkend voor de open vraag is dat de antwoorden door de kandidaat zelf geformuleerd moeten worden. Dat maakt het wenselijk aan een open vraag meer dan één punt toe te kennen. De beoordelaar kan dan met behulp van het antwoordmodel tot een goede weging van het gegeven antwoord komen.
2. Probeer de vraag positief te formuleren, vermijd dubbele ontkenningen.
3. Start de vraag met een vraagwoord: waarom, wanneer, hoe etc. Op deze manier wordt de vraag helder gesteld en krijgt de kandidaat ruimte bij het beantwoorden.
4. Geef aan of een kort en bondig antwoord of een lang antwoord (betoog) verwacht wordt. Voor de beoordelaar is dat prettig want op deze manier krijgt de beoordelaar vergelijkbare antwoorden.
5. Zorg voor een goed antwoordmodel met het juiste antwoord maar ook mogelijke foute antwoorden, dit geeft de beoordelaar meer zekerheid en bevordert tussen beoordelaars een gelijke manier van beoordelen.

Veel succes bij maken en nakijken van open vragen.

Mondelinge examens worden o.a. gebruikt voor faalangstige mensen of voor slechtzienden of dyslectici. Het is prima dat dergelijke examens toegevoegd worden aan de dienstverlening van examenbureaus. Wel zijn er consequenties verbonden aan een mondelinge afname. In het artikel wordt een belangrijke al genoemd: de examens zijn fors duurder. Dat is logisch. Een schriftelijk examen kan met meerdere kandidaten tegelijk afgenomen worden onder toezicht van één surveillant. Een mondeling examen is individueel en wordt bij voorkeur afgenomen door een examinator en een tweede persoon. Een gecommitteerde (zoals NIBE SVV doet) of een secretaris. Deze kan voor verslaglegging zorgen en bewaken dat de afgesproken punten aan de orde komen. Soms wordt samen het eindoordeel gegeven soms zal de examinator (inhoudsdeskundige) dat alleen doen en bewaakt de gecommitteerde of secretaris alleen het proces van het mondelinge examen.

Door gebruik te maken van digitale verslaglegging zorg je dat het proces van mondeling examineren eenduidiger wordt. Hiermee kun je de volgende situaties inzichtelijker maken:

1. Het is mogelijk dat een examinator een roze bril op heeft en iedereen van zijn meest positieve kant bekijkt.

2. Mondeling examineren eist andere vaardigheden van de examinator vergeleken met een schriftelijke correctie.

3. Een examinator kan een (onbewuste) voorkeur hebben voor bepaalde examenkandidaten. Bijvoorbeeld: examenkandidaten met rood haar hebben bij hem een streepje voor, omdat zijn kinderen ook rood haar hebben. Van dit soort vooroordelen heb je geen ‘last’ bij een geanonimiseerde schriftelijke versie van een examen.

Concluderend: het is zeer wenselijk dat bij een mondeling examen twee personen aanwezig zijn. Waarbij één de rol van examinator (vragensteller) heeft en de ander notuleert en het proces bewaakt. Daarnaast is het wenselijk de verslaglegging digitaal te doen, zodat eventuele vooroordelen en/of beoordelingsfouten tijdig gesignaleerd kunnen worden. Een mondeling examen komt hierdoor inderdaad duurder uit dan een schriftelijk examen. Dit heeft niets te maken met een diploma kopen zoals in de reacties op het artikel over NIBE SVV staat.

Mijn conclusie is dat Frans meer aan formatieve toetsing zou moeten doen. Ik schrijf dit nu naar aanleiding van een blog van Frans maar ik denk dat het voor het gehele Voortgezet Onderwijs geldt: formatieve toetsing wordt niet of nauwelijks gebruikt.

Formatieve toetsen kunnen worden gebruikt om leerlingen kennis te laten opdoen of te laten toepassen. Zij maken integraal onderdeel uit van het leerproces en hebben geen directe consequenties voor de eindbeoordeling. Doel van dit type toetsen is te diagnosticeren welke kennis of toepassing van kennis nog ontbreekt en de leerling dus nog moet verwerven. Bij formatieve toetsen worden vaak toetsomschrijvingen gebruikt als instaptoetsen, diagnostische toetsen, voorkennistoetsen, zelftoetsen. Belangrijkste doelen van formatieve toetsen zijn meten en leren. (http://nl.wikibooks.org/wiki/Onderwijstechnologie/Klastechnologie/Digitaal_toetsen)

De reactie, ja maar het huiswerk is toch een vorm van formatieve toetsing, kan ik me voorstellen. Natuurlijk moeten leerlingen huiswerk maken. Maar vaak is het huiswerk in een werkboek, een overschrijfoefening van het leerboek. De leerling is op een saaie manier bezig met huiswerk maken en wordt zelden uitgedaagd. Rondom het bespreken van huiswerk zijn een aantal kwetsbaarheden die bepalend zijn voor de kwaliteit van de feedback. Denk hierbij bijvoorbeeld aan een onrustige klas, dromerige of afwezige leerlingen en de druk op de docent om de te behandelen stof op tijd af te krijgen.

Wanneer je digitaal toetst is formatieve toetsing een fluitje van een cent. Belangrijk is wel dat je de voorwaarden zoals Frans die beschrijft uitvoert. Kwalitatief goede feedback is essentieel. Door te toetsen worden leerlingen bewust van datgene wat ze niet kennen (en kunnen). Ze worden uitgedaagd aan het werk te gaan. Dat is anders bij het maken van huiswerk. Volgende keer beter is het motto.

Voor docenten (en ouders) wordt door het gebruik van formatieve toetsing veel duidelijker waar een leerling staat. Toetsen is een prettige effectieve manier om te leren. Bijkomend voordeel: faalangstige leerlingen gaan beter presteren wanneer ze regelmatiger een goede formatieve toets gemaakt hebben. Ze worden bevestigd door de feedback die ze krijgen en hoeven niet meer bang te zijn voor een toets: ze weten immers dat ze de stof beheersen.

dank voor de aankoop. Wij wensen u veel leesplezier.

Deze klacht vond ik met behulp van mijn  scoop-it paginas. Scoop-it is een tool die je helpt belangrijke informatie te verzamelen en gerubriceerd beschikbaar te maken voor anderen. Ik doe dat voor de NVE maar ook voor online toetsen en voor Consultancy toetsen en beoordelen. Bij deze laatste Scoop-it artikelen  kwam ik deze klacht tegen. De klacht lijkt wat ongenuanceerd geformuleerd maar staat wel zo op de site Klacht.nl.
In dit geval gaat de klacht in ieder geval over onduidelijkheid van het niveau van examinering. Of dat bij de instelling of de kandidaat ligt weet ik niet, maar feit is dat die onduidelijkheid tot de klacht leidt.

Beoordelen is natuurlijk ook lastig. Eerder heb ik daar al over geschreven bij de beoordeling van open vragen. De weblog over het examenreglement geeft duidelijke tips om een helder examenreglement te maken waarmee dit soort problemen (gedeeltelijk) voorkomen kunnen worden. De transparantie die in de gewenste oplossing wordt gesuggereerd is, denk ik, de beste manier om dit soort problemen te voorkomen. Door het niveau helder te communiceren weet een kandidaat welk risico hij aangaat wanneer hij voor een te hoog niveau kiest. Een gratis herkansing is dan zelfs niet meer nodig.