Online toetsing

Alles wat je altijd al wilde weten over digitale toetsing

Posts Tagged ‘managementinformatie

Leveranciersdag Digitaal Toetsen SURF 9 oktober 2012

with 3 comments

Afgelopen dinsdag vond de leveranciersdag Digitaal Toetsen van SURF plaats. De bijeenkomst was strak en met zorg georganiseerd. Uitleg werd gegeven over het programma Toetsing en Toetsgestuurd leren. Het belang van SURFconext werd duidelijk gemaakt. Door SURFconext is het mogelijk single-sign-on te realiseren voor verschillende SAAS applicaties. Daarnaast is het mogelijk om zo samen te werken over de grenzen van universiteiten en hogescholen heen. Dat laatste is erg belangrijk voor SURF en wordt door hen ook verwacht in het project Toetsing en Toetsgestuurd leren. Het ideaal plaatje dat aan het eind van de middag naar voren kwam was een itembank, gemaakt in één systeem. In dat systeem moeten review functies zitten en de examencommissie moet kunnen beoordelen of het examen klaar is. Waarna de afname in een ander systeem kan plaatsvinden. Tegelijkertijd moeten de systemen wel de veiligheid waarborgen. Het gaat immers om examens in het hoger onderwijs. Na de afname moeten de resultaten teruggekoppeld worden naar de itembank om de statisische gegevens van de vraag bij de vraag zelf te houden. Naast deze wens wil SURF ook graag met behulp van SURFconext experimenteren in de cloud. Door software te leveren aan de SURFmarket krijg je toegang tot SURFconext.

Het experiment met toetsbanken van de ene leverancier en afname (players) van de andere leverancier volg ik nauwgezet. Risico’s biedt het ook, de omgeving voor itemconstructie en itembank is immers aangepast aan de afspeelomgeving. De eisen die aan een afspeelomgeving gesteld worden zijn hoog, je wilt bijvoorbeeld dat alles opgeslagen wordt, zowel antwoorden als de tijd die een examenkandidaat over bepaalde vragen doet. Deze informatie heb je nodig bij de analyse achteraf. Daarnaast wil je dat niets van de toets achterblijft op de pc. Een volgende kandidaat mag beslist geen antwoorden van de vorige kandidaat zien.

De ideeën zijn erg ambitieus. Jammer was het, dat weinig kritische vragen gesteld werden door de leveranciers. Mogelijk kwam dat doordat niemand het achterste eindje van zijn tong wil laten zien, echter de taal kan ook een barrière geweest zijn. Voertaal was Engels op verzoek van twee leveranciers.  Overduidelijk was dat het hier alleen gaat om de Nederlandse markt en wetgeving. Wordt vervolgd!

PDCA en examenlogistiek

with one comment

PDCA en examenlogistiek of waarom de feedbackloop (borging) zo belangrijk is bij toetsing!  Inhoudelijk is in dat al eerdere blogs besproken  o.a. PDCA en toetsmatrijs, PDCA en een toets maken en PDCA en online toetsing. Graag wil ik in deze blog de nadruk leggen op de borging en feedback loop.

In je examen- of toetslogistiek probeer je continu tot verbeteringen te komen. Dat geldt voor zowel het proces als de inhoud. Inhoudelijk is dat al in de eerdere blogs besproken, daar ga ik hier niet verder op in. Procesmatig is wat anders.

Ook het proces kan continu verbeterd worden. In de transitie van papier naar digitaal is dat heel duidelijk, maar ook als van een dergelijke verandering geen sprake is, is het zinvol eens goed naar het proces te kijken. Voor zowel onderwijs als bedrijfsleven zou examenlogistiek continu punt van aandacht moeten zijn.

Plan:

  • inschrijving (digitaal of op papier)
  • locatie
  • surveillant
  • hulpmiddelen
  • toets maken  (digitaal of geprint) en goedkeuren (examencommissie)
  • terugkoppeling van de resultaten aan het examenbureau en daarna aan de kandidaten (hoe?)

Do:

  • zorg dat kandidaten in kunnen schrijven
  • zorg dat kandidaten en surveillanten geïnformeerd worden over tijd en locatie van de toets
  • zorg dat voldoende hulpmiddelen voor de toets beschikbaar zijn
  • zorg dat de toets beschikbaar is
  • zorg dat de terugkoppeling van resultaten tijdig plaats vindt

Check:

  • controleer of alles klaar is voor de afname
  • controleer of de terugkoppeling van resultaten goed verloopt (zijn de correctoren op tijd klaar met nakijkwerk)
  • controleer of de kandidaten geïnformeerd worden over hun resultaat

Act:

  • voer uit conform planning
  • evalueer de hele cyclus voordat je opnieuw toetsen gaat afnemen (feedbackloop)

Bij de evaluatie is belangrijk dat je je realiseert wie de stakeholders zijn. Vanuit dat perspectief zijn pijnpunten snel(ler) gevonden en daarmee de verbeterpunten voor de volgende afname. Aandachtspunt is ook het gebruik van digitale hulpmiddelen om automatische checks in te bouwen. Denk bijvoorbeeld aan reminders in Outlook.

Written by Manon Bonefaas

11 september 2012 at 15:17

Netwerk Examineren

with one comment

Afgelopen donderdag 24 mei 2012 vond in Utrecht het Netwerk Examineren plaats voor zowel regio Noord als regio Zuid. Dit netwerk wordt door Cinop gefaciliteerd.

De meeste van de aanwezige beleidsadviseurs wilden veel informatie over ‘Focus op examinering’ ontvangen. De workshop Digitaal Toetsen die ik verzorgde kreeg daarom helaas niet zoveel aandacht. Gelukkig waren een aantal mensen wel geïnteresseerd en ben ik niet voor niets naar Utrecht gekomen. De beschrijving van de workshop luidde:

Digitaal toetsen
Doel is kennisverbreding: na deze workshop zijn de deelnemers geïnformeerd over de mogelijkheden van digitaal toetsen bij het afnemen van beoordelingen en bij het construeren en analyseren van toetsen. Mede door de invoering van het digitaal toetsen van taal en rekenen, maken veel opleidingen kennis met deze vorm van toetsafname. Andriessen heeft brede ervaringen in het vo en mbo met kwaliteitsborging van toetsen, het construeren van verschillende toetsvormen toepasbaar in een digitale omgeving en het analyseren van resultaten. O.a. Sint Lucas (netwerkschool) en Landstede maken gebruik van digitale toetsing en werden ondersteund door Andriessen.

Voor de presentatie heb ik een Prezi gemaakt die is hier te bekijken. Met José Dams, consultant van Cinop, had ik het nog even over de relatie tussen digitaal toetsen en examinering in het algemeen. Ze liet me toen onderstaand plaatje zien:

“Het plaatje maakt inzichtelijk dat vernieuwingen en implementaties pas echt goed werken als al deze 4 aspecten veranderen in een organisatie. Vaak komt het voor dat men vooral de structuur verandert, door bijvoorbeeld te kiezen voor het re-organiseren van iets of het herontwerpen van de aanpak. Dit plaatje maakt inzichtelijk dat dat alleen niet voldoende is”, vertelde José. Bij dit plaatje vonden wij elkaar onmiddellijk. Bij de implementatie van digitaal toetsen lopen we tegen vergelijkbare dingen aan. In eerdere blogposts heb ik daar ook over geschreven. Geïnteresseerd?

Drie redenen waarom onderwijsinnovaties mislukken

Digitale toetsing: begin je bij de techniek of bij de inhoud

Tips bij het invoeren van ICT in het onderwijs

Written by Manon Bonefaas

30 mei 2012 at 20:24

Examineren: in praktijk

with 3 comments

In deze examenperiode zo aan het eind van het schooljaar stijgen de bezoeken aan dit weblog. Bezoekers zoeken gericht naar bepaalde zaken rondom examinering bijvoorbeeld:

  • hoe maak je een toetsmatrijs
  • open vragen nakijken
  • PDCA in examencyclus
  • P-, A- en Rit waarden
  • fraude

Over deze onderwerpen is al eerder geschreven dus die informatie is te vinden met behulp van het zoekvenster op dit blog. Soms ook zoeken examenkandidaten naar tips. Eerder vandaag zag ik de tips van Jelmer Evers langs komen en heb ze maar snel gebundeld en gepubliceerd (gedeeltelijk).

Opvallend is dat steeds meer behoefte is aan management informatie. De vraag: “Wat is het effect?” wordt vaker gesteld. De wil tot kwaliteitsverbetering lijkt aanwezig. In dat kader is het blog van Frans Droog over Flipping the class ook zeer lezenswaard. In de beschrijving duidelijke ondersteuning met harde cijfers. De kwaliteit van het onderwijs gaat omhoog. Ik denk dat de leerlingen van deze nieuwe manier van lesgeven genieten (onderzoekje waard!).

Ook in het MBO is veel aandacht voor kwaliteit en toetsing. Zo verzorg ik aanstaande donderdag een workshop Digitaal toetsen bij het Netwerk Examineren MBO met ook hier speciale aandacht voor o.a.:

  • kwaliteitsborging
  • toetsvormen
  • analyse van resultaten

Rapportage van deze workshop volgt!

Written by Manon Bonefaas

20 mei 2012 at 16:43

Lijstjes en een stichtelijk woordje …

with one comment

Het is weer ‘lijstjes’tijd. Het einde van het jaar is de tijd om terug te kijken en je eigen hitlijstjes samen te stellen. Denk aan de Verkiezing van de Sportman/vrouw/ploeg van het jaar, het Jaaroverzicht van de NOS, de Top2000, enz.. Ik ben niet achtergebleven, ik heb terug gekeken naar de activiteiten binnen ons blog in 2011.

De 5 meest opvallende zaken:
1) We hebben een enorme groei van bezoekersaantallen, op dit moment zijn we de 11.000 al gepasseerd. Oktober en november 2011 waren zelfs goed voor +1.000 bezoekers/maand.
2) Woensdag 5 oktober heeft dit jaar gewonnen, die dag hadden we 84 bezoekers. Mijn collega Manon (overigens by far de winnaar als het gaat om het aantal blogbijdragen) had toen een leuk stuk geplaatst, Olievlekwerking of domino effect).
3) Onze blogs met als titel 5 tips …., doen het goed, die worden het meeste gelezen. Maar ook Over p-, a- en RIT waarden en TeleToets op de iPad waren toppers.
4) We hebben dit jaar 63 blogs geplaatst, iets meer dan 1 per week dus.
5) En tenslotte, worden we gevonden op een aantal criteria, de belangrijkste:
* online toetsen
* examenstress
* itembank
* nakijken
en.. thumbs up!

Een stichtelijk woordje om af te sluiten:

Meten is weten. WordPress houdt voor ons de cijfertjes bij, heel handig. Wij kunnen iets met die cijfertjes: waar worden we op gevonden, welke onderwerpen trekken lezers, welke dagen zijn handig om te posten, enz.
Met digitaal toetsen werkt het niet anders: meten is weten. Zoals WordPress voor ons de cijfertjes genereert waarmee we ons werk kunnen verbeteren, zo verzamelt toetssoftware ook cijfertjes. Wat ons betreft geen cijfertjes om leerlingen op af te rekenen maar juist cijfertjes waarmee leerlingen en docenten aan de slag kunnen om het onderwijsproces te verbeteren. Wij gaan in 2012 door met meten en verbeteren, doet u met ons mee?

Written by JannekeHelsloot

22 december 2011 at 11:44

Individueel leren wordt eenvoudig via digitale toetsing

with one comment

We horen vaak dat je digitaal toetsen alleen maar in kunt zetten voor kennistoetsen. In dit blog is al meerdere malen het tegendeel bewezen. Het mooiste voorbeeld is natuurlijk het boekhoudexamen waarbij je als kandidaat opdrachten in AccountView moet maken. Daarnaast biedt bijvoorbeeld TeleToets vraagtypen zoals casuïstiek en open vragen waardoor het mogelijk is om op het gebied van inzicht en toepassing uitgebreid te toetsen.

De afgelopen tijd hebben we een pilot gedaan op een school waarbij digitale toetsing als meetinstrument ingezet is. Niet om resultaten van leerlingen te meten of om de kwaliteit van items te meten. Maar een competentiemeting om te bepalen in hoeverre een leerling de materie beheerst. Hoe hebben we dit gedaan? De leerlingen is gevraagd om over verschillende vakken aan te geven of en in hoeverre hij de materie beheerst (zogenaamde CAN/DO-statements). Vervolgens heeft de docent per leerling hetzelfde gedaan, zonder te weten wat de leerling ingevuld had. Deze twee gegevens zijn aan elkaar gekoppeld waardoor in een rapportage een mooi overzicht ontstaat. Vanuit dit overzicht kan de leerling aan de slag om te werken aan datgene wat nog niet beheerst wordt. Zo ontstaat dus vanzelf de situatie dat een leerling als individu behandeld wordt en leert een leerling wat hij nog niet weet.

Written by JannekeHelsloot

12 december 2011 at 10:38

Digitale toetsing: bewustwording

with one comment

Digitale toetsing is slechts een hulpmiddel bij het bewustwordingsproces van nut en noodzaak van  toetsing. Door effectief en efficiënt gebruik te maken van (digitale) toetsing kan een behoorlijke kwaliteitsverbetering van de toets(vragen) en mogelijk zelfs het onderwijs tot stand gebracht worden. Veelal gaat de inzet van digitale toetsing om kwaliteit. Kwaliteit begint echter bij bewustwording rondom (beweeg)redenen van toetsing en de wens om kwalitatief goede toetsen te maken.

Kwaliteitsverbetering begint met het stellen van vragen:

  • waarom toets ik?
  • wat toets ik?
  • hoe borg ik de kwaliteit van mijn vragen?
  • kan ik of een collega mijn vragen (her) gebruiken?

Wanneer deze vier vragen met zorg beantwoord worden ben je (on)bewust al bezig met kwaliteit en kwaliteitsverbetering. Vanuit deze vragen en het bewustzijn van kwaliteit komen de volgende vragen aan de orde:

  • ben ik bereid een verbeterslag maken over gebruikte vragen?
  • kan ik voldoende afstand nemen van mijn eigen vragen om een verbeterslag te maken (reflectievermogen)?
  • durf ik mijn vragen/toets te delen met collega’s (vier ogen principe) ?
  • accepteer ik verbetervoorstellen?

Het beantwoorden van deze vragen, leidt naar een kwalitatief betere aanpak rondom toetsing. Ongeacht of je wel of geen toetsbeleid (en daarmee afspraken) gemaakt hebt, kun je als docent zo zelf met je professionalisering aan de slag. Hierbij heb je geen software nodig, het maakt het wel makkelijker in de analyse van je vragen.

Written by Manon Bonefaas

26 september 2011 at 11:39

%d bloggers liken dit: