Online toetsing

Alles wat je altijd al wilde weten over digitale toetsing

Archive for the ‘itembank’ Category

Leveranciersdag Digitaal Toetsen SURF 9 oktober 2012

with 3 comments

Afgelopen dinsdag vond de leveranciersdag Digitaal Toetsen van SURF plaats. De bijeenkomst was strak en met zorg georganiseerd. Uitleg werd gegeven over het programma Toetsing en Toetsgestuurd leren. Het belang van SURFconext werd duidelijk gemaakt. Door SURFconext is het mogelijk single-sign-on te realiseren voor verschillende SAAS applicaties. Daarnaast is het mogelijk om zo samen te werken over de grenzen van universiteiten en hogescholen heen. Dat laatste is erg belangrijk voor SURF en wordt door hen ook verwacht in het project Toetsing en Toetsgestuurd leren. Het ideaal plaatje dat aan het eind van de middag naar voren kwam was een itembank, gemaakt in één systeem. In dat systeem moeten review functies zitten en de examencommissie moet kunnen beoordelen of het examen klaar is. Waarna de afname in een ander systeem kan plaatsvinden. Tegelijkertijd moeten de systemen wel de veiligheid waarborgen. Het gaat immers om examens in het hoger onderwijs. Na de afname moeten de resultaten teruggekoppeld worden naar de itembank om de statisische gegevens van de vraag bij de vraag zelf te houden. Naast deze wens wil SURF ook graag met behulp van SURFconext experimenteren in de cloud. Door software te leveren aan de SURFmarket krijg je toegang tot SURFconext.

Het experiment met toetsbanken van de ene leverancier en afname (players) van de andere leverancier volg ik nauwgezet. Risico’s biedt het ook, de omgeving voor itemconstructie en itembank is immers aangepast aan de afspeelomgeving. De eisen die aan een afspeelomgeving gesteld worden zijn hoog, je wilt bijvoorbeeld dat alles opgeslagen wordt, zowel antwoorden als de tijd die een examenkandidaat over bepaalde vragen doet. Deze informatie heb je nodig bij de analyse achteraf. Daarnaast wil je dat niets van de toets achterblijft op de pc. Een volgende kandidaat mag beslist geen antwoorden van de vorige kandidaat zien.

De ideeën zijn erg ambitieus. Jammer was het, dat weinig kritische vragen gesteld werden door de leveranciers. Mogelijk kwam dat doordat niemand het achterste eindje van zijn tong wil laten zien, echter de taal kan ook een barrière geweest zijn. Voertaal was Engels op verzoek van twee leveranciers.  Overduidelijk was dat het hier alleen gaat om de Nederlandse markt en wetgeving. Wordt vervolgd!

Zoekterm: toetsmatrijs! Vijf tips

leave a comment »

Regelmatig check ik de zoekwoorden op deze blog. Op die manier heb ik het idee dat ik in kan spelen op vragen van bezoekers. Reacties op blogs komen jammer genoeg niet vaak voor. Bij deze ik nodig iedere lezer uit te reageren op dit blog. Op die manier kunnen we van elkaar leren! Maar dat terzijde.

Een op dit moment veel gekozen zoekterm is: toetsmatrijs. Eerder schreef ik daar al een blog over in het kader van PDCA met een verwijzing naar het blog van Sander Schenk. Maar nu naar aanleiding van de zoekvraag toch nog maar even in het kort een blog over de toetsmatrijs met vijf tips!

Een toetsmatrijs is een blauwdruk, een schema voor de toetsconstructie. Door gebruik te maken van de vooraf vastgelegde toetsmatrijs ben je in staat vergelijkbare toetsen qua niveau en inhoud te maken (mits een en ander goed is vastgelegd in de toetsmatrijs, het schema).

Vijf tips voor het gebruik van een toetsmatrijs:

  1. maak de toetsmatrijs vooraf, bij de start van je cursus of module. De toetsmatrijs is de basis van je toets. De toets is representatief voor de leerstof door gebruik van de toetsmatrijs.
  2. door de toetsmatrijs ontstaat afwisseling in de toets in opdrachten en inhoud. Zo kunnen kennis en inzichtvragen in een evenwichtige toets naast elkaar gesteld worden. Ook toetsvormen kunnen afgewisseld worden. Dit wordt vastgelegd in de toetsmatrijs.
  3. de toetsmatrijs is de verantwoording, naar collega’s, inspectie of accrediterende instantie, zorg dat de toetsmatrijs voor hen duidelijk is.
  4. door een toetsmatrijs kunnen toets en herkansing meer gelijkwaardig gemaakt worden.
  5. in de toetsmatrijs kunnen ook randvoorwaarden vastgelegd worden zoals: tijdsduur, gebruik van hulpmiddelen en dergelijke.

Veel succes bij het maken van een toetsmatrijs! Vragen over (digitaal)examineren? Stel ze hier!

Written by Manon Bonefaas

4 september 2012 at 09:17

Geplaatst in itembank, kwaliteit, toetsbeleid

Tagged with ,

Trendsverwachting: examinering

with 2 comments

Trendwatchers duo Lieke en Richard Lamb geven hun mening over examinering in de breedste zin. Vooral screen-agers zouden gebruik maken van digitale hulpmiddelen, docenten uit deze generatie zijn met computers opgegroeid. Toch geven ook zij aan dat de overgang naar het digitale tijdperk voor sommige docenten een enorme overgang is. Vergelijk wordt gemaakt met de overstap van vulpen naar balpen (zucht zullen we het ook nog over de ganzenveer hebben). Bij docenten en social media maken de twee zich meer zorgen over het gebrek aan privacy dan de mogelijkheden die social media hebben rondom onderwijs en examinering. In dat kader zie ook deze blogpost over Jelmer Evers als voorbeeld.

Uiteindelijk gaat het toch weer over examinering en hulp bij examens zoals leuke lessen met examentraining op Luzac en WRTS mobile. Jammer dat de trendwatchers alleen dit voorbeeld noemen er zijn er natuurlijk meer. Helaas, nauwelijks informatie laat staan een trendverwachting over examinering, meer een blik op onderwijs in de toekomst. Het duo schetst een beeld van blended learning met veel gebruik van multimedia.

Het beeld van onderwijs als productie leverend instituut: zoveel geslaagden per jaar blijft bestaan. Het toekomstbeeld waarbij leerlingen zich tijd en plaats onafhankelijk ontwikkelen tot zelfstandige burgers en just-in-time examen kunnen doen, komt niet bij hen op. Juist door digitalisering van examens is het mogelijk veel meer maatwerk te leveren aan de verschillende behoeften van examenkandidaten.

Gevonden: videomateriaal over toetsen!

with one comment

Regelmatig struin ik het web af naar informatie over toetsen. Op de site van de universiteit Utrecht: over toetsen blijken ook video’s te staan. Ze staan verstopt in de FAQ van de site. Omdat bij de ene vraag wel en bij de andere geen video staat heb ik ze even opgezocht, ze staan hier. Persoonlijk vond ik deze wel aardig, cesuur is inderdaad iets waar veel examenbureaus mee worstelen en in deze video wordt kort en krachtig een heldere uitleg gegeven.

Verschillende video’s over toetsen zijn hier bij elkaar te vinden waaronder ook ervaringen met Testvision en Blackboard.

Written by Manon Bonefaas

31 mei 2012 at 21:38

Netwerk Examineren

with one comment

Afgelopen donderdag 24 mei 2012 vond in Utrecht het Netwerk Examineren plaats voor zowel regio Noord als regio Zuid. Dit netwerk wordt door Cinop gefaciliteerd.

De meeste van de aanwezige beleidsadviseurs wilden veel informatie over ‘Focus op examinering’ ontvangen. De workshop Digitaal Toetsen die ik verzorgde kreeg daarom helaas niet zoveel aandacht. Gelukkig waren een aantal mensen wel geïnteresseerd en ben ik niet voor niets naar Utrecht gekomen. De beschrijving van de workshop luidde:

Digitaal toetsen
Doel is kennisverbreding: na deze workshop zijn de deelnemers geïnformeerd over de mogelijkheden van digitaal toetsen bij het afnemen van beoordelingen en bij het construeren en analyseren van toetsen. Mede door de invoering van het digitaal toetsen van taal en rekenen, maken veel opleidingen kennis met deze vorm van toetsafname. Andriessen heeft brede ervaringen in het vo en mbo met kwaliteitsborging van toetsen, het construeren van verschillende toetsvormen toepasbaar in een digitale omgeving en het analyseren van resultaten. O.a. Sint Lucas (netwerkschool) en Landstede maken gebruik van digitale toetsing en werden ondersteund door Andriessen.

Voor de presentatie heb ik een Prezi gemaakt die is hier te bekijken. Met José Dams, consultant van Cinop, had ik het nog even over de relatie tussen digitaal toetsen en examinering in het algemeen. Ze liet me toen onderstaand plaatje zien:

“Het plaatje maakt inzichtelijk dat vernieuwingen en implementaties pas echt goed werken als al deze 4 aspecten veranderen in een organisatie. Vaak komt het voor dat men vooral de structuur verandert, door bijvoorbeeld te kiezen voor het re-organiseren van iets of het herontwerpen van de aanpak. Dit plaatje maakt inzichtelijk dat dat alleen niet voldoende is”, vertelde José. Bij dit plaatje vonden wij elkaar onmiddellijk. Bij de implementatie van digitaal toetsen lopen we tegen vergelijkbare dingen aan. In eerdere blogposts heb ik daar ook over geschreven. Geïnteresseerd?

Drie redenen waarom onderwijsinnovaties mislukken

Digitale toetsing: begin je bij de techniek of bij de inhoud

Tips bij het invoeren van ICT in het onderwijs

Written by Manon Bonefaas

30 mei 2012 at 20:24

Kosten van een itembank en kwaliteit van toetsing

leave a comment »

De kost gaat voor de baat uit,

luidt een bekend spreekwoord. In het geval van toetsen geldt dat zeker. Het kost veel geld om goede toetsen te maken. Voor het maken van goede toetsen zijn verschillende hulpmiddelen, zoals die ook in onze trainingen worden besproken. Denk hierbij aan het gebruik van een toetsmatrijs en taxonomie. Toch zijn dit slechts hulpmiddelen. Uiteindelijk gaat het natuurlijk om de vragen, de items. De items moeten onafhankelijk van elkaar zijn en zorgen dat de kans om terecht te slagen voor de toets maximaal is en de kans om onterecht te zakken voor de toets minimaal.

Wanneer je met regelmaat een toets of examen afneemt wil je bovendien dat de toets steeds gelijkwaardig is. Daarmee bedoel ik dat de moeilijkheidsgraad van de toets gelijkwaardig is. Bij voorkeur wil je dat het een gelijkwaardig examen is. Hier gaan exameninstellingen in het onderwijs en bedrijfsleven met regelmaat de mist in. Het is niet ongebruikelijk een totaal nieuwe toets te maken voor iedere kans van het examen. Met andere woorden iedere toets wordt van scratch af aan opnieuw gemaakt. Weliswaar met gebruik van een taxonomie, toetsmatrijs, eindtermen enzovoort, maar toch helemaal opnieuw. Waarmee de kans op een gelijkwaardig examen niet te voorspellen is. Dat kan makkelijker en beter. Het is een kwestie van investeren.

Wanneer je bereid bent een itembank op te bouwen kun je met de statistische gegevens die dit oplevert, gelijkwaardige examens afnemen. Dit gaat het beste wanneer je bereid bent te pretesten. Een pre-test of proefafname kijkt, voordat echt geëxamineerd wordt, naar de vragen. Op het moment dat er voldoende goede vragen zijn om een examen af te nemen, kunnen in het examen zaai-items meegenomen worden. Deze vragen worden niet meegeteld in de score van het examen, maar leveren wel statistische informatie op over de betreffende vraag. Met deze informatie kan beoordeeld worden of de vraag al of niet in het examen opgenomen kan worden.

Dit lijkt een omslachtige weg maar bedenk je het volgende:

  • wat kost het in tijd en geld om steeds opnieuw een toets te maken?
  • wat kost het in tijd en geld om steeds aanpassingen  na de afname te moeten doen omdat vragen toch niet zo goed waren als vooraf gedacht?
  • wat levert het op als je een itembank maakt waaruit je met zekerheid gelijkwaardige toetsen kan halen?

In de VS is het niet ongebruikelijk een exameninstelling aan te klagen wanneer het vermoeden bestaat dat de toetsen niet gelijkwaardig waren. In Nederland doen we dat gelukkig niet. Toch loont het de moeite op deze manier naar kwaliteit van toetsing te kijken. Uiteindelijk verdient de itembank zichzelf namelijk terug, de kost gaat voor de baat uit!

Written by Manon Bonefaas

25 april 2012 at 07:15

CINOP en Andriessen gaan voor goud met digitaal toetsen #CVIOV

leave a comment »

CINOP en Andriessen gaan voor goud met digitaal toetsen

Ervaar de digitale taaltoets zelf

Tijdens de Conferentie voor Onderwijsvernieuwing en ICT 2012 (CvI) op woensdag 21 maart presenteren CINOP en Andriessen de andere taaltoets. Door middel van een gouden medaille krijgen deelnemers de mogelijkheid om de digitale toets zelf te ervaren.

“We willen laten zien dat digitale toetsen ook zonder probleem afgenomen kunnen worden”, aldus Alie Kamphuis, consultant bij CINOP. “In dit voorbeeld, waarin met name leesvaardigheid de aandacht krijgt, kan gekeken worden hoe de toetssoftware werkt”, vult Manon Bonefaas, consultant bij Andriessen aan.

Toets het zelf

Scan onderstaande QR-code of klik hier voor de toets

 

Meer informatie

Voor vragen of meer informatie kunt u contact opnemen met Alie Kamphuis (073-6800800) of Manon Bonefaas (013-5299145).

Written by Manon Bonefaas

20 maart 2012 at 15:33

%d bloggers liken dit: