Grootste ergernis van leerlingen (uit hoofdstuk 8 van Telt dit mee?)

In het boek Telt dit mee? wordt steeds in hoofdstukken van twee pagina’s een toetsonderwerp uitgelegd in heldere taal en steeds voorzien van een duidelijk voorbeeld. In hoofdstuk 8 staan de resultaten van de grootste ergernissen van leerlingen op het gebied van toetsen.
Door: Marijke Römer

De grootste ontevredenheid onder leerlingen
In hoofdstuk 8 van het boek Telt dit mee? worden de grootste ergernissen van leerlingen op het gebied van toetsen op een rij gezet.
Het meest ontevreden zijn leerlingen over de snelheid van de uitslag (38%).

Leerlingen snel van een uitslag voorzien
Met gebruik van WinToets en Quayn is deze ergernis te voorkomen! De leerling kan aan het eind van de toets zijn voorlopige cijfer direct te zien krijgen. Dit werkt alleen met veel gesloten vragen, want aan open vragen wordt nog geen score toegekend. U kunt in plaats van het voorlopige cijfer ook het tabblad met de goede antwoorden tonen, dan kunnen leerlingen zelf, ook voor open vragen, beoordelen of ze een voldoende gaan halen voor de toets. Hier leren ze bovendien ook meer van.

[ Direct na de toets kan het voorlopige cijfer, het overzicht van de scores en/of de goede antwoorden worden getoond. Hier ziet u dit in WTAfname. ]

Nog meer ergernissen
Er staan nog meer ergernissen in dit hoofdstuk, zoals “de toets  moet aansluiten bij de stof die je moest leren” en “instinkers ervaren ze als super vervelend”. Meer weten hierover? Bestel het boek in de webshop!

Meer informatie:

• Hoe u in Quayn kunt instellen wanneer de cursist de goede antwoorden mag zien, kunt u vinden in <dit artikel>.
• Hoe u in WinToets kunt instellen dat de cursist direct na de toets de goede antwoorden mag inzien, kunt u vinden in <dit artikel>.
• U kunt het boek Telt dit mee? bestellen in <onze webshop>.

Read Full Post »

Hoe kijken leerlingen tegen toetsing aan?

We lazen iets interessants in Toets! magazine, een vakblad over toetsen, in de editie van november 2017. Docenten hebben aan leerlingen gevraagd hoe ze tegen toetsing aankijken. Dit leverde een verfrissend artikel op. Wij laten zien hoe deze wensen van de leerling gerealiseerd kunnen worden in onze toetsprogramma’s.
Door: Marijke Römer

Uit Toets! magazine: 

HEB JE WELEENS AAN LEERLINGEN GEVRAAGD HOE ZIJ
NAAR TOETSING KIJKEN?

MARIANNE: “Zeker. Leerlingen slaan een proefwerkweek natuurlijk liever
over, maar willen wel een cijfer. Omdat ze willen weten waar ze aan toe zijn.
Dus ze willen zicht hebben op waar ze staan en ze willen goede feedback.
En ze hebben ook wel wat te zeggen over de kwaliteit van de toetsing.
Wat ik in toenemende mate merk in de bovenbouw, dat vind ik heel leuk,
is dat leerlingen erg goed kunnen aangeven waar voor hen misverstanden
in een toets zitten. Waar zij vinden dat de stof niet goed is bevraagd en
waarom zij dat vinden. Daar heb ik een paar leuke gesprekken over
gevoerd, ik wil dat in de toekomst structureler gaan doen.”

PETER: “Aanvullend, mijn ervaring is ook dat leerlingen baat hebben bij
afwisseling. Ze willen uitgedaagd worden. Ze willen geïnspireerd worden.
Maar ook gewaardeerd, met een cijfer of op een andere manier. En ze willen
onzekerheidsreductie. De werkvormen die je aanbiedt, moeten dat
kunnen bieden. En het toetsbeleid moet dat ook weerspiegelen.”

Uit Toets!

Kort samengevat is dit wat leerlingen graag zouden willen bij toetsen:
– Cijfer / weten waar ze aan toe zijn
– Goede feedback
– Opmerkingen over de toetsvragen
– Afwisseling

Hoe kunnen deze wensen in WinToets en Quayn gerealiseerd worden?

– Cijfer / weten waar ze aan toe zijn
Nadat de toets is gemaakt kunnen cursisten hun voorlopige cijfer direct zien en ook de score per metadata.

[ Direct na de toets, maar ook later, kunnen leerlingen in Quayn hun cijfers, hun subscores en de goede antwoorden zien, mits u dit als docent heeft ingesteld. In WinToets is dit ook mogelijk, maar alleen direct aan het einde van een toets. ]

– Goede feedback
De docent kan bij elk gegeven antwoord feedback toevoegen en cursisten kunnen dit direct na het beantwoorden van elke vraag zien.

– Opmerkingen over de toetsvragen
Als een leerling ergens graag een opmerking over wil maken, kan dat ook in onze programma’s. In WinToets kan de cursist standaard een notitie achterlaten en bij Quayn kan dit door de docent zo worden ingesteld.


[ De leerling kan in Quayn een opmerking achterlaten, mits de docent heeft aangegeven dat dit mag. ]

[ De docent kan per planning aangeven of de cursisten opmerkingen mogen achterlaten. ]

– Afwisseling
Afwisseling in de toetsvragen kan ervoor zorgen dat de leerling geboeid blijft. Ook vragen waar gesleept moet worden zijn fijn als afwisseling. Voorbeelden hiervan zijn de  hotspotvraag, matchingvraag en de ordeningsvraag.

[ Een matchingvraag waarbij de leerling mag slepen. Leerlingen vinden het vaak leuk, terwijl ze hier eigenlijk heel veel informatie in één keer moeten ophoesten. ]

Meer informatie

• Bekijk [ het artikel ] over hoe u de aandacht van de cursist kunt blijven vasthouden in een toets.

Read Full Post »

Nieuw: oefentoetsen bij 9 vakken vo voor thuisgebruik

Er wordt al jaren geklaagd over een gebrek aan voldoende digitale oefentoetsen voor de reguliere vakken. DRP ontwikkelde en verzamelde al eerder zo’n 200.000 voorbeeldvragen voor docenten. Nu komen we met oefentoetsen voor het voortgezet onderwijs, maar dan voor gebruik door leerlingen thuis.
Door: Allard Bijlsma

Een leerling heeft per jaar naast een methode met alles erop en eraan, ook behoefte aan uitgebreid digitaal oefenmateriaal. Die oefeningen zijn nodig om te diagnosticeren, te oefenen en bij te spijkeren. Via school neemt men de toetsen bij de methode af. Die worden geleverd door de uitgever. Stel dat daar op een aantal onderwerpen slecht wordt gescoord, dan wil een leerling daarvoor thuis extra kunnen gaan oefenen. Als bouwers van WinToets en Quayn is het ons al jaren een doorn in het oog dat er zo weinig oefentoetsen beschikbaar zijn. We hebben daarom met enkele partners besloten die zelf te gaan ontwikkelen, te beginnen met …:

• … leerjaar 1. We hopen binnen drie jaar t/m leerjaar 6 alle oefentoetsen gereed te hebben. Voorjaar 2016 komt leerjaar 2 beschikbaar en augustus 2016 leerjaar 3. We gaan ook speciale oefeningen maken voor examenklassen.
• … de 9 basisvakken: aardrijkskunde, biologie, Duits, Engels, Frans, geschiedenis, Nederlands, NaSk en wiskunde. Komend voorjaar volgt ook Rekenen (1F, 2F en 3F) en vanaf klas 2 ook het vak economie. Groot voordeel voor de leerling is, dat we alle oefeningen bij alle bekende vakken aanbieden en niet bij één of enkele.
• … oefentoetsen die aansluiten bij de 2-4 meest gebruikte lesmethodes bij deze 9 vakken. In principe volgen we de nieuwste edities, maar als een oude editie nog veel marktaandeel heeft, dan volgen we die ook. In dat geval zijn toetsen dubbel opgenomen. Het zijn geen toetsen bij methodes, maar oefeningen bij de thema’s daarin. We werken toe naar algemene vakoverstijgende oefeningen. Engels is het eerste vak waar we met een methode onafhankelijke opzet gaan komen. Ook gaan we op termijn (uit)spraakmogelijkheden koppelen, omdat daar nog niets voor op de markt is. Het materiaal is niet vervangend voor de toetsen bij de methodes, maar daarop aanvullend.
• … een VMBO- en een H/V-variant van elke oefentoets. Vooruitlopend op nieuw beleid rond het volgen van vakken op meer niveaus, kan elke leerling bij alle oefentoetsen van beide niveaus.
• … circa 5.000 vragen per vak, per leerjaar. We hebben vooral standaard oefenvragen ontwikkeld. We komen op termijn ook met een voorleesvariant (ReadSpeaker), een Flashcardvariant (drill and practice) en een versie, gekoppeld aan een eigen ontwikkeld mini-woordenboek per vak. Hierbij krijgt de leerling op woordniveau uitleg, direct tijdens het oefenen. We onderzoeken of we ook direct op niveau links op internet voor vervolgstudie kunnen gaan aanbieden. In totaal denken we ongeveer 50.000 vragen per leerjaar te ontwikkelen. Genoemde extra varianten komen pas in de loop van dit jaar en begin 2016 beschikbaar in een Plus-abonnement, dat iets meer gaat kosten.
• … eenvoudige analyses na afloop. Leerlingen kunnen hun gemaakte werk tot een jaar na dato terugzien (tot 1 augustus) en ook zien hoe hun ontwikkeling is. In de loop van dit jaar zullen meer mogelijkheden beschikbaar komen.

Op dit moment kunnen alleen ouders met een MijnIddink-account een licentie kopen. Na aankoop is het geheel bereikbaar vanuit MijnIddink, Magister ELO en elke andere portal, zoals aangesloten op Eduroute. Het ligt in de bedoeling later dit jaar ook verkoop buiten MijnIddink mogelijk te maken. Huiswerkinstituten en scholen die reclame willen maken voor de oefentoetsen of zelf het oefenmateriaal willen gaan inzetten, kunnen zich bij ons melden. Rondom ons pakket Quayn hebben we een eigen portal ontwikkeld, via welke alle oefeningen afgenomen kunnen worden. Uitslagen en analyses zijn enkel beschikbaar voor de leerling en hun ouders en kunnen niet door de school ingezien worden.

Zie voor meer informatie: [ www.onlinetoetsportaal.nl ]

De introductieprijs bedraagt tijdelijk Euro 14,95, in plaats van Euro 29,95.
Hiervoor heeft een leerling toegang tot de alle oefentoetsen van leerjaar 1, tot 1 augustus 2016. Daarna kan opnieuw een jaarlicentie worden afgenomen.

[ na binnenkomst kan de leerling kiezen uit vele honderden oefeningen ]

[ voorbeeld van een oefenvraag, in dit geval voor het vak geschiedenis ]

[ van elke toets kan, wanneer men dat wil, gekeken worden wat er goed of fout was. Zo kan men leren van het eigen werk.  ]

[ een leerling kan, uitgezet in de tijd en voor alle vakken tegelijk, kijken hoe er gescoord is. Elk vak heeft een eigen kleur ]

Read Full Post »

Extracted Analytics met behulp van WinToets

Voor de vakantie, in de blogs van 10 december en 17 december had ik het over Embedded Analytics. De andere vorm van Learning Analytics is Extracted Analytics (zo lezen we in Learning Analytics – op weg naar meer gedifferentieerd en gepersonaliseerd onderwijs van Erik Woning). Hieronder vallen de analyses die uit het onderwijsproces onttrokken worden en bijvoorbeeld stuurinformatie of overzichten kunnen opleveren die gebruikt worden door leraren of schoolleiders. Lessen en toetsen gemaakt in WinToets leveren allerlei data op waar dit soort analyses op kunnen worden toegepast.

Leerlingen maken een toets en daar rolt een cijfer uit. Misschien is het een voldoende, misschien een onvoldoende. Je kunt bekijken hoe de verdeling van de cijfers over de hele groep is die de toets heeft gemaakt en hoe een cijfer van een individuele leerling zich daar toe verhoudt. Maar veel meer informatie valt er dan niet uit te halen. Interessanter wordt het als de analyses van de toetsresultaten niet alleen een score tonen, maar ook laten zien welke vragen lastig waren, met welke deelonderwerpen de leerling moeite had of waar de hele klas misschien wel moeite mee had. Met zulk soort informatie is het mogelijk om de kwaliteit van je onderwijs te verbeteren. Je kunt een leerling gericht ondersteuning bieden, of besluiten klassikaal aan een onderwerp meer aandacht te schenken. Precies deze informatie is te achterhalen op basis van resultaten behaald met WinToets.

Analyses op basis van metadata
Het is namelijk mogelijk om vragen in WinToets van metadata te voorzien. Dit zijn een soort digitale labels die informatie geven over bijvoorbeeld het onderwerp waar de vraag betrekking op heeft, uit welke methode de vraag komt, de relatieve moeilijkheidsgraad van de vraag, etc. WinToets laten weten welke vraag waarbij hoort, levert heel veel bruikbare informatie op. Hieronder zie je een overzicht van metadatavelden die ingevuld kunnen worden. In totaal zijn er 26 velden. In dit voorbeeld zijn er zeven ingevuld.

Door deze data aan de vragen toe te voegen, kunnen de resultaten naderhand hierop uitgesplitst worden. Zo is het mogelijk om te kijken hoe er gescoord wordt op het onderdeel procenten t.o.v. andere onderdelen zoals grafieken of formules.

Op deze manier kunnen de sterke en zwakke plekken van een leerling in kaart worden gebracht. Dit kan ook voor een hele groep. Je kunt op basis van deze analyses bepalen waar je de komende lessen de focus op zal leggen. Of je neemt de informatie mee voor het lesontwerp van volgende schooljaar.

Read Full Post »

Embedded analytics met behulp van WinToets – deel 2

Embedded Analytics zijn analyses van learning data die direct in het leerproces geïmplementeerd zijn. Deze analyses zorgen voor interventies die direct impact hebben op de werkwijze van de leerling. Vorige week bespraken we al twee manieren om embedded analytics toe te passen met behulp van WinToets. Vandaag komen er nog twee manieren aan bod.

We gaan verder waar we waren gebleven. Antwoorden die leerlingen geven op vragen in WinToets of keuzes die ze maken uit geboden opties worden direct door het systeem geanalyseerd en geëvalueerd. Het resultaat zorgt voor een automatische interventie. Deze interventie kan zijn dat de leerling niet naar de volgende scherm gaat maar naar een ander lesonderdeel springt.

3 Sprongen
De EXP-versie van WinToets kent de mogelijkheid om na beantwoording van een meerkeuzevraag door te springen naar een andere vraag of informatiescherm op basis van het gegeven antwoord. Op deze manier is het mogelijk om af te wijken van het lineaire pad door een les heen.

Op basis van gemaakte keuzes kan de leerling door het aanbod in het lesmateriaal heen springen. Je kunt dat als docent van te voren bepalen. Afhankelijk van het gegeven antwoord laat je de leerling naar het juiste vervolgonderdeel doorgaan. De leerling krijgt bijvoorbeeld extra uitleg over een onderdeel of slaat juist een bepaald onderdeel over. Je kunt de leerling ook de keuze voorleggen, waarna die zelf kan bepalen naar welk onderdeel hij wil springen.

Bij een verkeerd antwoord op vraag 2 wordt naar scherm 3 of 4 met adequate uitleg gesprongen. Bij een correct antwoord wordt deze uitleg overgeslagen en gaat de leerling direct naar scherm 5.

Een ander type interventie kan zijn dat de leerling direct feedback krijgt op zijn gemaakte keuze.

4 Tips en commentaar
Doordat het systeem direct het gekozen antwoord analyseert, kan de leerling onmiddellijk feedback te zien krijgen die bij die keuze hoort. De leerling krijgt bijvoorbeeld een tip bij een foutief gekozen antwoord te zien en een herkansing voor die vraag. Het is ook mogelijk dat de leerling na het maken van een vraag commentaar te zien krijgt op het gegeven antwoord. Als docent voer je zelf de tip en/of het commentaar in.

Bij al deze voorbeelden en bij die uit het vorige blog is er dus steeds sprake van aanpassing van de aangeboden lesstof op basis van de resultaten die elke individuele leerling behaalt. Of dat nu op itemniveau is of op project niveau, de leerling krijgt onderwijs op maat.

Read Full Post »

Embedded analytics met behulp van WinToets – deel 1

In Learning Analytics – op weg naar meer gedifferentieerd en gepersonaliseerd onderwijs (door Erik Woning, Kennisnet) worden twee vormen van Learning Analytics beschreven: Embedded Analytics en Extracted Analytics. Dit zijn in feite twee toepassingen waarvoor learning data gebruikt kunnen worden.

Twee vormen van learning analytics
Embedded Analytics zijn interventies op basis van analyses van learning data die direct in het leerproces geïmplementeerd zijn. De analyses en interventies zijn real time en hebben direct impact op de manier waarop de leerling werkt.

Extracted Analytics zijn analyses die uit het onderwijsproces onttrokken worden en bijvoorbeeld informatie kunnen opleveren die gebruikt kunnen worden door leraren bij het vormgeven van hun onderwijs of door schoolleiders bij het ontwikkelen van visie en sturing.

In dit blogartikel en de volgende zetten we uiteen hoe je de toepassingen van embedded analytics met behulp van WinToets kunt realiseren.  In latere blogs bespreken we de toepassing van extracted analytics.

1 Adaptief leermateriaal
Het is mogelijk om aan elk item binnen een itembank een niveau te koppelen. De niveaus lopen van 0 tot 9. Vragen op niveau 0 zijn het makkelijkst en vragen op niveau 9 het moeilijkst.

Deze vraag is gemetadateerd op niveau 3

WinToets biedt de mogelijkheid om tijdens een toets te wisselen van vraagniveau. Je kunt zelf instellen na hoeveel vragen de resultaten worden geanalyseerd. Op basis van het resultaat worden vervolgens vragen aangeboden op een hoger, lager of gelijk niveau.

In bovenstaand voorbeeld worden er in totaal 20 vragen gesteld. De leerling krijgt eerst vier vragen op niveau 3. Heeft hij 75% of meer van de punten gehaald dan krijgt hij vervolgens vier vragen op niveau  4. Is zijn score 25% of lager dan krijgt hij vier vragen op niveau 2. Zit zijn score er tussenin, dan krijgt hij weer vier vragen op niveau 3. Aan het eind van die reeks wordt weer de score bepaald. Zo herhaald zich dit proces totdat een leerling in totaal 20 vragen heeft gemaakt.

Op deze manier krijgt de leerling geheel geautomatiseerd op basis van de data die hij genereert leerstof op zijn eigen niveau aangeboden. Dit is belangrijk voor het leerproces, omdat zowel te moeilijke als te makkelijke leerstof demotiverend kan zijn voor een leerling.

2 Vervolgles klaarzetten
Niet alleen op itemniveau, ook op projectniveau kan adaptiviteit worden toegepast. Hierbij wordt na afloop een vervolgproject klaargezet, afhankelijk van de behaalde score. Je kunt zelf bepalen bij welke grens wel vervolgproject moet worden geactiveerd.

Zo kun je bijvoorbeeld de leerlingen een rekenles laten maken, door ze een serie sommen aan te bieden. Is de score ver onder de maat, dan krijgt de leerling als vervolg een les met uitleg en voorbeelden erbij. Is de score rond een voldoende, dan kun de leerling nog een serie sommen aanbieden, zodat ze meer oefen. Haalt een leerling een ruim voldoende dan kan voor hem of haar een les over een volgend onderwerp klaar gezet worden.

Het mooie van deze twee voorbeelden is, dat de resultaten van individuele leerlingen bepalen wat de interventies zijn. De leerling krijgt dus automatisch op maat leerstof aangeboden.

Wie maakt er al gebruik van deze functionaliteiten in WinToets? Graag horen we je ervaring hieronder.

Read Full Post »

Learning Analytics met behulp van WinToets en Quayn

Learning analytics is het verzamelen, meten, analyseren en weergeven van data gegenereerd door leerlingen en hun leeromgeving, met als doel het leerproces beter te begrijpen en te optimaliseren. Analyses van deze data kunnen bijvoorbeeld inzichten verschaffen in sterke en zwakke kanten van individuele leerlingen of groepen leerlingen, in het studiegedrag van leerlingen of in de kwaliteit van het gebruikte lesmateriaal.

Vorige maand is er een brochure verschenen bij Kennisnet: Learning Analytics – op weg naar meer gedifferentieerd en gepersonaliseerd onderwijs, geschreven door Erik Woning, waar heel duidelijk wordt uitgelegd wat Learning Analytics zijn en welke rol het zou kunnen spelen in het onderwijs.

Quayn en WinToets zijn voorbeelden van digitale programma’s waarbij allerlei gegevens verzameld worden tijdens het afnemen van digitale lessen en toetsen. In een reeks van blogartikelen willen we laten zien hoe je deze gegevens kunt gebruiken om je onderwijs te verbeteren. Daarbij gebruiken we begrippen en onderwerpen uit bovengenoemde brochure als uitgangspunt.

De Learning Analytics Cycle toegepast op WinToets en Quayn
Learning Analytics wordt in de literatuur wel beschouwd als een cyclus. De afbeelding komt uit de brochure Learning Analytics van Kennisnet.
Tijdens het leerproces van leerlingen wordt er data gegenereerd. Door deze data te analyseren krijg je inzichten die kunnen zorgen voor interventies in het leerproces van de leerlingen en zo is de cirkel weer rond.

Wanneer je dit toepast op WinToets en Quayn krijg deze cirkel de volgende betekenis: Leerlingen maken een les of toets in een van beide programma’s. Dit levert allerlei gegevens op. Zo wordt er precies bijgehouden welke vragen er goed gemaakt zijn en welke niet, hoe lang er over een bepaalde vraag is gedaan, wat de meest gemaakte fouten zijn, etc. Alles is op leerlingniveau en op groepsniveau te bekijken.

Door deze gegevens te analyseren, kan de moeilijkheidsgraad van de vragen worden aangepast, kan er bepaalde feedback worden gegeven, kan er afhankelijk van het resultaat bepaalde vervolglessen worden klaargezet. Dit kan zowel automatisch door het systeem gebeuren of handmatig door de docent zelf. Doordat ook data voor een hele groep opgeroepen en geanalyseerd kan worden, kun je gericht en onderbouwd de inhoud van je lessen aanpassen.

Onderwerpen in learning analytics reeks
In deze blogserie zullen de volgende onderwerpen uit de brochure van Kennisnet  besproken worden in relatie tot WinToets en Quayn:

• Embedded & extracted analytics
• Learning analytics op micro- en mesoniveau
• Inzet en doelen van learning analytics (passend onderwijs en opbrengstgericht werken)
• Metadatering op basis van het OnderwijsBegrippenKader

Missen er nog onderwerpen? Laat het ons hieronder weten.

Read Full Post »