Online toetsing

Alles wat je altijd al wilde weten over digitale toetsing

Posts Tagged ‘itembank

Leveranciersdag Digitaal Toetsen SURF 9 oktober 2012

with 3 comments

Afgelopen dinsdag vond de leveranciersdag Digitaal Toetsen van SURF plaats. De bijeenkomst was strak en met zorg georganiseerd. Uitleg werd gegeven over het programma Toetsing en Toetsgestuurd leren. Het belang van SURFconext werd duidelijk gemaakt. Door SURFconext is het mogelijk single-sign-on te realiseren voor verschillende SAAS applicaties. Daarnaast is het mogelijk om zo samen te werken over de grenzen van universiteiten en hogescholen heen. Dat laatste is erg belangrijk voor SURF en wordt door hen ook verwacht in het project Toetsing en Toetsgestuurd leren. Het ideaal plaatje dat aan het eind van de middag naar voren kwam was een itembank, gemaakt in één systeem. In dat systeem moeten review functies zitten en de examencommissie moet kunnen beoordelen of het examen klaar is. Waarna de afname in een ander systeem kan plaatsvinden. Tegelijkertijd moeten de systemen wel de veiligheid waarborgen. Het gaat immers om examens in het hoger onderwijs. Na de afname moeten de resultaten teruggekoppeld worden naar de itembank om de statisische gegevens van de vraag bij de vraag zelf te houden. Naast deze wens wil SURF ook graag met behulp van SURFconext experimenteren in de cloud. Door software te leveren aan de SURFmarket krijg je toegang tot SURFconext.

Het experiment met toetsbanken van de ene leverancier en afname (players) van de andere leverancier volg ik nauwgezet. Risico’s biedt het ook, de omgeving voor itemconstructie en itembank is immers aangepast aan de afspeelomgeving. De eisen die aan een afspeelomgeving gesteld worden zijn hoog, je wilt bijvoorbeeld dat alles opgeslagen wordt, zowel antwoorden als de tijd die een examenkandidaat over bepaalde vragen doet. Deze informatie heb je nodig bij de analyse achteraf. Daarnaast wil je dat niets van de toets achterblijft op de pc. Een volgende kandidaat mag beslist geen antwoorden van de vorige kandidaat zien.

De ideeën zijn erg ambitieus. Jammer was het, dat weinig kritische vragen gesteld werden door de leveranciers. Mogelijk kwam dat doordat niemand het achterste eindje van zijn tong wil laten zien, echter de taal kan ook een barrière geweest zijn. Voertaal was Engels op verzoek van twee leveranciers.  Overduidelijk was dat het hier alleen gaat om de Nederlandse markt en wetgeving. Wordt vervolgd!

Advertenties

Zoekterm: toetsmatrijs! Vijf tips

leave a comment »

Regelmatig check ik de zoekwoorden op deze blog. Op die manier heb ik het idee dat ik in kan spelen op vragen van bezoekers. Reacties op blogs komen jammer genoeg niet vaak voor. Bij deze ik nodig iedere lezer uit te reageren op dit blog. Op die manier kunnen we van elkaar leren! Maar dat terzijde.

Een op dit moment veel gekozen zoekterm is: toetsmatrijs. Eerder schreef ik daar al een blog over in het kader van PDCA met een verwijzing naar het blog van Sander Schenk. Maar nu naar aanleiding van de zoekvraag toch nog maar even in het kort een blog over de toetsmatrijs met vijf tips!

Een toetsmatrijs is een blauwdruk, een schema voor de toetsconstructie. Door gebruik te maken van de vooraf vastgelegde toetsmatrijs ben je in staat vergelijkbare toetsen qua niveau en inhoud te maken (mits een en ander goed is vastgelegd in de toetsmatrijs, het schema).

Vijf tips voor het gebruik van een toetsmatrijs:

  1. maak de toetsmatrijs vooraf, bij de start van je cursus of module. De toetsmatrijs is de basis van je toets. De toets is representatief voor de leerstof door gebruik van de toetsmatrijs.
  2. door de toetsmatrijs ontstaat afwisseling in de toets in opdrachten en inhoud. Zo kunnen kennis en inzichtvragen in een evenwichtige toets naast elkaar gesteld worden. Ook toetsvormen kunnen afgewisseld worden. Dit wordt vastgelegd in de toetsmatrijs.
  3. de toetsmatrijs is de verantwoording, naar collega’s, inspectie of accrediterende instantie, zorg dat de toetsmatrijs voor hen duidelijk is.
  4. door een toetsmatrijs kunnen toets en herkansing meer gelijkwaardig gemaakt worden.
  5. in de toetsmatrijs kunnen ook randvoorwaarden vastgelegd worden zoals: tijdsduur, gebruik van hulpmiddelen en dergelijke.

Veel succes bij het maken van een toetsmatrijs! Vragen over (digitaal)examineren? Stel ze hier!

Written by Manon Bonefaas

4 september 2012 at 09:17

Geplaatst in itembank, kwaliteit, toetsbeleid

Tagged with ,

Gevonden: videomateriaal over toetsen!

with one comment

Regelmatig struin ik het web af naar informatie over toetsen. Op de site van de universiteit Utrecht: over toetsen blijken ook video’s te staan. Ze staan verstopt in de FAQ van de site. Omdat bij de ene vraag wel en bij de andere geen video staat heb ik ze even opgezocht, ze staan hier. Persoonlijk vond ik deze wel aardig, cesuur is inderdaad iets waar veel examenbureaus mee worstelen en in deze video wordt kort en krachtig een heldere uitleg gegeven.

Verschillende video’s over toetsen zijn hier bij elkaar te vinden waaronder ook ervaringen met Testvision en Blackboard.

Written by Manon Bonefaas

31 mei 2012 at 21:38

Kosten van een itembank en kwaliteit van toetsing

leave a comment »

De kost gaat voor de baat uit,

luidt een bekend spreekwoord. In het geval van toetsen geldt dat zeker. Het kost veel geld om goede toetsen te maken. Voor het maken van goede toetsen zijn verschillende hulpmiddelen, zoals die ook in onze trainingen worden besproken. Denk hierbij aan het gebruik van een toetsmatrijs en taxonomie. Toch zijn dit slechts hulpmiddelen. Uiteindelijk gaat het natuurlijk om de vragen, de items. De items moeten onafhankelijk van elkaar zijn en zorgen dat de kans om terecht te slagen voor de toets maximaal is en de kans om onterecht te zakken voor de toets minimaal.

Wanneer je met regelmaat een toets of examen afneemt wil je bovendien dat de toets steeds gelijkwaardig is. Daarmee bedoel ik dat de moeilijkheidsgraad van de toets gelijkwaardig is. Bij voorkeur wil je dat het een gelijkwaardig examen is. Hier gaan exameninstellingen in het onderwijs en bedrijfsleven met regelmaat de mist in. Het is niet ongebruikelijk een totaal nieuwe toets te maken voor iedere kans van het examen. Met andere woorden iedere toets wordt van scratch af aan opnieuw gemaakt. Weliswaar met gebruik van een taxonomie, toetsmatrijs, eindtermen enzovoort, maar toch helemaal opnieuw. Waarmee de kans op een gelijkwaardig examen niet te voorspellen is. Dat kan makkelijker en beter. Het is een kwestie van investeren.

Wanneer je bereid bent een itembank op te bouwen kun je met de statistische gegevens die dit oplevert, gelijkwaardige examens afnemen. Dit gaat het beste wanneer je bereid bent te pretesten. Een pre-test of proefafname kijkt, voordat echt geëxamineerd wordt, naar de vragen. Op het moment dat er voldoende goede vragen zijn om een examen af te nemen, kunnen in het examen zaai-items meegenomen worden. Deze vragen worden niet meegeteld in de score van het examen, maar leveren wel statistische informatie op over de betreffende vraag. Met deze informatie kan beoordeeld worden of de vraag al of niet in het examen opgenomen kan worden.

Dit lijkt een omslachtige weg maar bedenk je het volgende:

  • wat kost het in tijd en geld om steeds opnieuw een toets te maken?
  • wat kost het in tijd en geld om steeds aanpassingen  na de afname te moeten doen omdat vragen toch niet zo goed waren als vooraf gedacht?
  • wat levert het op als je een itembank maakt waaruit je met zekerheid gelijkwaardige toetsen kan halen?

In de VS is het niet ongebruikelijk een exameninstelling aan te klagen wanneer het vermoeden bestaat dat de toetsen niet gelijkwaardig waren. In Nederland doen we dat gelukkig niet. Toch loont het de moeite op deze manier naar kwaliteit van toetsing te kijken. Uiteindelijk verdient de itembank zichzelf namelijk terug, de kost gaat voor de baat uit!

Written by Manon Bonefaas

25 april 2012 at 07:15

Determinatie en toetsing

with one comment

Wanneer ik op scholen kom praten over (digitale) toetsing wordt vaak verzucht:

We worstelen zo met de determinatie.

Determinatie wordt hier bedoeld als onderscheid maken tussen bijvoorbeeld een VMBO-TL en een HAVO leerling of (nog moeilijker) een VMBO-TL en een VMBO-GL leerling. Van belang is dat een weloverwogen goede keuze gemaakt wordt, waar zowel leerkracht, ouders als kind zich in kunnen vinden. Over het algemeen geldt dat leerlingen zich uitgedaagd moeten voelen door het niveau, maar het mag niet te moeilijk zijn. Soms interfereert dit uitgangspunt (ernstig) met de wensen van de ouders. Voor scholen is dit een moeilijk punt de beslissing van de determinatie wordt veelal door het team genomen en onderbouwd.

Voor de beslissing van de determinatie helpt het wanneer een helder toetsbeleid geformuleerd is, zie hiervoor ook een eerdere weblog van Janneke Helsloot. In het toetsbeleid worden de kaders van de toetsing geschetst en wordt een PDCA cyclus rondom toetsing ingericht.  Naast een continue verbetercyclus voor je toetsing, geeft zo’n toetsbeleid ook houvast bij te nemen beslissingen over determinatie.

Terug naar determinatie en toetsing:

Door het gebruik van digitale toetsing wordt het gemakkelijker om te determineren. Het is eenvoudiger om op twee niveaus (vergelijkbare) toetsen aan te bieden. Ook extra vragen op een hoger niveau kunnen simpel bij de toets gevoegd worden. Door vragen te Metdateren kunnen vragen van verschillend niveau herkend worden.  Zo kan het onderscheid begrip, toepassing, vaardigheden (uit Blooms taxonomie) aangebracht worden maar ook onthouden, begrijpen, integreren en toepassen (OBIT) kunnen metdata zijn die aan vragen meegegeven worden.

Door metadatering kan makkelijker vastgesteld worden of en hoe leerlingen zich onderscheiden van leeftijdgenootjes en dat kan helpen bij de determinatie. Voorwaarde is dat gewerkt wordt met kwaliteitstoetsen. In eerdere blogs hebben we al stil gestaan hoe je tot kwaliteitstoetsen komt: gebruik de PDCA cyclus en maak gebruik van toets- en vraag analyses.

Feit is dat determinatie mensenwerk blijft maar met de juiste hulpmiddelen kan het wel makkelijker worden.

 

Written by Manon Bonefaas

7 februari 2012 at 07:07

Andriessen consultancy

leave a comment »

Een enkele keer maak ik reclame in dit weblog voor onze eigen diensten. Vandaag wil ik bloglezers wijzen op onze site Andriessen-consultancy.com. Op deze site brengen we nieuws en wetenswaardigheden samen rondom toetsen en examineren. De verschillende scoop-it pagina’s die we bijhouden maar ook nieuwtjes van de NVE zijn te vinden op deze pagina. Graag maak ik ook van de gelegenheid gebruik om te wijzen op de workshop ‘Inleiding toetsvraagconstructie’:  € 100, – excl BTW (14 februari a.s. in Lelystad). Interesse: consultancy@andriessen.nl

Written by Manon Bonefaas

15 januari 2012 at 12:46

Lijstjes en een stichtelijk woordje …

with one comment

Het is weer ‘lijstjes’tijd. Het einde van het jaar is de tijd om terug te kijken en je eigen hitlijstjes samen te stellen. Denk aan de Verkiezing van de Sportman/vrouw/ploeg van het jaar, het Jaaroverzicht van de NOS, de Top2000, enz.. Ik ben niet achtergebleven, ik heb terug gekeken naar de activiteiten binnen ons blog in 2011.

De 5 meest opvallende zaken:
1) We hebben een enorme groei van bezoekersaantallen, op dit moment zijn we de 11.000 al gepasseerd. Oktober en november 2011 waren zelfs goed voor +1.000 bezoekers/maand.
2) Woensdag 5 oktober heeft dit jaar gewonnen, die dag hadden we 84 bezoekers. Mijn collega Manon (overigens by far de winnaar als het gaat om het aantal blogbijdragen) had toen een leuk stuk geplaatst, Olievlekwerking of domino effect).
3) Onze blogs met als titel 5 tips …., doen het goed, die worden het meeste gelezen. Maar ook Over p-, a- en RIT waarden en TeleToets op de iPad waren toppers.
4) We hebben dit jaar 63 blogs geplaatst, iets meer dan 1 per week dus.
5) En tenslotte, worden we gevonden op een aantal criteria, de belangrijkste:
* online toetsen
* examenstress
* itembank
* nakijken
en.. thumbs up!

Een stichtelijk woordje om af te sluiten:

Meten is weten. WordPress houdt voor ons de cijfertjes bij, heel handig. Wij kunnen iets met die cijfertjes: waar worden we op gevonden, welke onderwerpen trekken lezers, welke dagen zijn handig om te posten, enz.
Met digitaal toetsen werkt het niet anders: meten is weten. Zoals WordPress voor ons de cijfertjes genereert waarmee we ons werk kunnen verbeteren, zo verzamelt toetssoftware ook cijfertjes. Wat ons betreft geen cijfertjes om leerlingen op af te rekenen maar juist cijfertjes waarmee leerlingen en docenten aan de slag kunnen om het onderwijsproces te verbeteren. Wij gaan in 2012 door met meten en verbeteren, doet u met ons mee?

Written by JannekeHelsloot

22 december 2011 at 11:44

%d bloggers liken dit: