Wat is het effect van digitaal toetsen versus schriftelijk toetsen op de prestaties op taal en rekenen?

Geplaatst op 4 april 2019

Samenvatting

Het effect van digitaal toetsen versus schriftelijk toetsen verschilt per leerdomein. Leerlingen presteren slechter op een digitale toets begrijpend lezen dan op een papieren leestoets, zeker als het gaat om een lange en informatieve tekst. Voor spelling is het nog onduidelijk wat het effect is van digitaal dan wel op papier toetsen. En bij rekenen lijken er geen verschillen in prestaties te zijn. Ook voor de eindtoets die alle groep-8 leerlingen aan het eind van het schooljaar maken zijn de prestaties op de digitale en papieren versie vergelijkbaar.

Het vergelijken van digitale en schriftelijke toetsen is lastig, omdat de manier waarop de toets wordt aangeboden gevolgen heeft voor de inhoud van de toets. Gestandaardiseerde schriftelijke toetsen die bestaan uit enkel meerkeuze-opgaven kunnen relatief makkelijk worden omgezet naar vergelijkbare digitale toetsen. Bij niet-gestandaardiseerde toetsen met open vragen is dit echter een stuk lastiger. Zelfs als de toetsen exact overeenkomen, kunnen de afname of prestaties verschillen. Bijvoorbeeld omdat leerlingen bij een schriftelijke toets langer nadenken voordat ze antwoorden dan bij een digitale toets.

Begrijpend lezen

Leerlingen presteren over het algemeen lager bij begrijpend lezen als ze informatieve teksten digitaal lezen dan wanneer ze dezelfde tekst op papier lezen. Dit effect is vooral zichtbaar bij lange teksten en wanneer de toets gemaakt moet worden onder tijdsdruk. Hoe dat precies komt is nog niet zeker. Maar het lijkt erop dat digitale teksten over het algemeen met minder aandacht worden gelezen dan teksten op papier. Mogelijk zijn leerlingen niet gewend informatie op een beeldscherm aandachtig te lezen omdat het voor de digitale activiteiten in hun vrije tijd voldoende is om oppervlakkig te lezen. Bij het lezen van verhalende teksten scoren leerlingen even goed op digitale als op papieren toetsen.

Spelling

Voor spelling is het nog onduidelijk wat het effect is van digitaal dan wel op papier toetsen. Wel schrijven leerlingen op de computer langere en betere teksten dan leerlingen die op papier schrijven. Anderzijds maken leerlingen bij een handmatige schrijftaak vaak minder spelfouten dan bij een digitale schrijftaak. Bij een handmatige schrijftaak beginnen leerlingen een zin vaak niet met een hoofdletter. Bij een digitale schrijftaak gebeurt dat automatisch en wordt die fout minder gemaakt. Wanneer leerlingen regelmatig op een computer werken, maar vervolgens de schrijftaak op papier maken, vergeten ze dat ze de zin met een hoofdletter moet beginnen.

Rekenen

Sommige studies laten zien dat leerlingen beter presteren op een schriftelijke dan op een digitale rekentoets, andere studies vinden geen verschillen in toetsprestaties. Een belangrijk aandachtspunt bij digitale rekentoetsen is de afstand tussen kladpapier en een computerscherm. Omdat deze afstand groter is dan de afstand tussen kladpapier en een papieren rekentoets, is ook de verplaatsing van aandacht groter. Dit verschil kan van invloed zijn op het toetsresultaat.

Leerlingen met leerproblemen kunnen net zo goed overweg met digitale taal- en rekentoetsen als leerlingen zonder leerproblemen. Digitaal toetsen lijkt dus geen extra voor- of nadelen op te leveren voor leerlingen met leerproblemen.

Adaptieve digitale toets of papieren toets?

Eén van de belangrijkste voordelen van digitaal toetsen is dat de moeilijkheidsgraad van de toetsvragen gaandeweg kan worden aangepast aan het niveau van de leerling op basis van eerder gegeven antwoorden. Dit wordt adaptief toetsen genoemd. Een nadeel is echter dat terugbladeren naar eerdere vragen vaak maar beperkt kan. De huidige digitale eindtoetsen zijn allemaal adaptief. Omdat de papieren en digitale eindtoetsen voor een deel dezelfde opgaven bevatten, de zogenoemde ankeropgaven, zijn de prestaties van de papieren en digitale eindtoets te vergelijken.

Uitgebreide beantwoording

Opgesteld door: Brenda van den Broek (Expertisecentrum Nederlands), Christel Dood (Expertisecentrum Nederlands), Joyce Gubbels (Expertisecentrum Nederlands) & Sjerp van der Ploeg (Kennismakelaar Kennisrotonde). Vraagsteller: schoolleider primair onderwijs

Vraag

Wat is het effect van digitaal toetsen versus schriftelijk toetsen voor leerlingen in de bovenbouw van het basisonderwijs op de prestaties op taal (waaronder spelling) en rekenen?

Kort antwoord

Het effect van digitaal toetsen versus schriftelijk toetsen verschilt per leerdomein. Leerlingen presteren slechter op een digitale begrijpend leestoets dan op een papieren leestoets, zeker als het gaat om een lange en informatieve tekst. Voor spelling is het nog onduidelijk wat het effect is van digitaal dan wel op papier toetsen en bij rekenen lijken er geen verschillen in prestaties te zijn. Ook voor de eindtoets die alle groep-8 leerlingen aan het eind van het schooljaar maken zijn de prestaties op de digitale en papieren versie vergelijkbaar.

Toelichting antwoord

Het vergelijken van digitale en schriftelijke toetsen is lastig, omdat de manier waarop de toets aangeboden wordt gevolgen heeft voor de inhoud van de toets (Noyes & Garland, 2008). Gestandaardiseerde schriftelijke toetsen die bestaan uit enkel meerkeuze- opgaven kunnen relatief makkelijk omgezet worden naar een vergelijkbare digitale toets. Bij niet-gestandaardiseerde toetsen met open vragen is dit echter een stuk lastiger. Zelfs als de toetsen exact overeenkomen, kunnen de afname of prestaties verschillen, bijvoorbeeld omdat leerlingen bij een schriftelijke toets langer nadenken voordat ze beginnen aan het schrijven van hun antwoord dan bij een digitale toets (Lee, 2004).

Begrijpend lezen

De prestaties op het gebied van begrijpend leesvaardigheid van informatieve teksten zijn over het algemeen lager wanneer leerlingen teksten digitaal lezen dan wanneer ze dezelfde tekst op papier lezen (Delgado, Vargas, Ackerman & Salmeron, 2018; Dillon, 1992; Mangen, Walgermo & Brønnick, 2013). Dit effect is vooral zichtbaar bij lange teksten en wanneer de toets gemaakt moet worden onder tijdsdruk. Hoe het precies komt dat leesvaardigheidsscores lager zijn bij digitaal lezen is nog niet zeker maar het lijkt erop dat digitale teksten over het algemeen met minder aandacht worden gelezen dan teksten op papier. Mogelijk heeft dit te maken met het feit dat het voor veel van de activiteiten die leerlingen in hun vrije tijd op digitale apparaten uitvoeren voldoende is om oppervlakkig te lezen. Ze zijn daardoor wellicht niet gewend om informatie op een beeldscherm met veel aandacht te lezen. Bij het lezen van verhalende teksten scoren leerlingen even goed op digitale als op papieren toetsen.

Spelling

Voor spelling is het nog onduidelijk wat het effect is van digitaal dan wel op papier toetsen. Wel laat onderzoek zien dat leerlingen met gebruik van een computer langere en betere teksten schrijven dan leerlingen die een tekst op papier schrijven (Goldberg, Russel & Cook, 2003). Anderzijds is er ook onderzoek dat erop duidt dat leerlingen bij een handmatige schrijftaak minder spelfouten maken dan bij een digitale schrijftaak (Wollscheid, Sjaastad, Tømte & Løver, 2016). Bij een handmatige schrijftaak beginnen leerlingen een zin vaak niet met een hoofdletter. Bij een digitale schrijftaak gebeurt dat automatisch en wordt die fout minder gemaakt. Wanneer leerlingen regelmatig op een computer werken, maar vervolgens de schrijftaak op papier maken, vergeten ze dat ze de zin met een hoofdletter moeten beginnen.

Rekenen

Voor rekenen worden uiteenlopende resultaten gevonden (Joosten-ten Brinke, Weber & Saveski, 2016). Sommige studies laten zien dat leerlingen beter presteren op een schriftelijke dan op een digitale rekentoets (bijv. Mead & Drasgow, 1993), andere studies vinden geen verschillen in toetsprestaties (bijv. Higgins, Patterson, Bozman & Katz, 2010). In een recent onderzoek naar de verschillen tussen de afname van een rekentoets op een tablet en dezelfde toets op papier bij Nederlandse groep-6 leerlingen werden geen verschillen gevonden (Hamhuis, Glas & Meelissen, 2018). Een belangrijk aandachtspunt bij digitale rekentoetsen is de afstand tussen kladpapier en een computerscherm. Omdat deze afstand groter is dan de afstand tussen kladpapier en een papieren rekentoets, is ook de verplaatsing van aandacht groter (Kingston, 2009). Dit verschil kan van invloed zijn op het toetsresultaat.

Leerlingen met leerproblemen

Een Amerikaanse studie uit 2012 toont aan dat leerlingen met leerproblemen net zo goed overweg kunnen met digitale taal- en rekentoetsen als leerlingen zonder leerproblemen (Taberbhai, Seo & Bowman, 2012). Een andere studie laat daarbij zien dat het effect van lezen op een scherm versus van papier niet anders is voor leerlingen met taalproblemen dan voor leerlingen zonder taalproblemen (Srivastava & Gray, 2012). Digitaal toetsen lijkt dus geen extra voor- of nadelen op te leveren voor leerlingen met leerproblemen.

Eindtoets: adaptieve digitale toets of papieren toets?

Eén van de belangrijkste voordelen van digitaal toetsen is dat de moeilijkheidsgraad van de toetsvragen gaandeweg aangepast kan worden aan het niveau van de leerling op basis van eerder gegeven antwoorden (Noyes & Garland, 2008). Dit wordt adaptief toetsen genoemd (Welp, 2017). Een nadeel is echter dat bij digitale toetsing de mogelijkheid om terug te bladeren naar eerdere vragen vaak beperkt is. Scholen kunnen kiezen of ze hun groep-8 leerlingen een digitale eindtoets of een papieren eindtoets laten maken. De digitale eindtoetsen die worden aangeboden zijn allemaal adaptief. Omdat de papieren en digitale eindtoetsen voor een deel dezelfde opgaven bevatten, de zogenaamde ankeropgaven, zijn de prestaties de prestaties van de papieren en digitale eindtoets te vergelijken (Meijer, Egberink, Albers, Tendeiro & Niessen, 2015).

Geraadpleegde bronnen

Delgado, P., Vargas, C., Ackerman, R. & Salmerón, L. (2018). Don’t throw away your printed books: A meta-analysis on the effects of reading media on reading comprehension. Educational Research Review, 25, 23-38. https://www.sciencedirect.com/science/article/pii/S1747938X18300101
Dillon, A. (1992). Reading from paper versus screens: A critical review of the empirical literature. Ergonomics, 35(10), 1297-1326. http://psycnet.apa.org/record/1993-03823-001
Goldberg, A., Russel, M. & Cook, A. (2003). The Effect of Computers on Student Writing: A Meta-Analysis of Studies from 1992 to 2002. The Journal of Technology, Learning, and Assessment, 2(1). https://ejournals.bc.edu/ojs/index.php/jtla/article/view/1661/1503
Hamhuis, E., Glas, C. & Meelissen, M. (2018). De eTIMSS equivalentiestudie. Van papieren toets naar tablettoets, zijn er verschillen? Enschede: Universiteit Twente. Verkregen van: https://ris.utwente.nl/ws/files/32543463/TIMSS_equivalentiestudie_eindrapport.pdf op 15 november 2018.
Higgins, J., Patterson, M.B., Bozman, M. & Katz, M. (2010). Examining the Feasibility and Effect of Transitioning GED Tests to Computer. Journal of Technology, Learning, and Assessment, 10(2). Verkregen van https://files.eric.ed.gov/fulltext/EJ895961.pdf op 23 november 2018.
Joosten-ten Brinke, D., Weber, A. & Saveski, G. L. (2016). Digitaal grootschalig summatief toetsen in het primair onderwijs. Onderzoeksrapportage. Heerlen: Open Universiteit. Verkregen van: https://www.kennisnet.nl/fileadmin/kennisnet/leren_ict/digitaal_toetsen/bijlagen/Digitaal grootschalig_summatief_toetsen_in_het_primair_onderwijs.pdf op 15 november 2018.
Kingston, N. M. (2009). Comparability of computer- and paper-administered multiple- choice tests for K-12 populations: A synthesis. Applied Measurement in Education, 22, 22-37. Doi: 10.1080/08957340802558326. Verkregen van: https://www.tandfonline.com/doi/abs/10.1080/08957340802558326 op 20 november 2018.
Lee, H.K. (2004). A comparative study of ESL writers’ performance in a paper-based and a computer-delivered writing test. Assessing Writing, 9, 4–26.
Mangen, A., Walgermo, B.R. & Brønnick, K. (2013). Reading linear texts on paper versus computer screen: Effects on reading comprehension. International Journal of Educational Research, 58, 61-68. https://www.sciencedirect.com/science/article/pii/S0883035512001127
Mead, A.D. & Drasgow, F., (1993). Equivalence of computerized and paper and pencil cognitive ability tests: A meta-analysis. Psychological Bulletin, 114, 449–458. Verkregen van https://www.researchgate.net/profile/Alan_Mead/publication/232485286_Equivalence_of Computerized_and_Paper-and-Pencil_Cognitive_Ability_Tests_A_Meta-Analysis/links/0deec52af53412a9aa000000/Equivalence-of-Computerized-and-Paper-and-Pencil-Cognitive-Ability-Tests-A-Meta-Analysis.pdf op 23 november 2018.
Meijer, R. R., Egberink, I. J. L., Albers, C. J., Tendeiro, J. N. & Niessen, A. S. M. (2015). Verantwoording onderzoek werkgroep Meijer: Aanvullingen COTAN Beoordelingssysteem wat betreft normering referentieniveaus en computer adaptief toetsen van andere eindtoetsen (deel 1). Rijksuniversiteit Groningen, Psychologie, Psychometrie & Statistiek. Verkregen van: https://core.ac.uk/download/pdf/148313496.pdf op 15 november 2018.
Noyes, J.M. & Garland, K.J. (2008). Computer- vs. Paper-based tasks: Are they equivalent? Ergonomics, 51(9), 1352-1375. https://www.princeton.edu/~sswang/Noyesa_Garland_computer_vs_paper.pdf
Srivastava, P. & Gray, S. (2012). Computer-based and paper-based reading comprehension in adolescents with typical language development and language-learling disabilities. https://lshss.pubs.asha.org/article.aspx?articleid=1761500
Taberbhai, H., Seo, D. & Bowman, T. (2012). Comparison of paper-pencil and online perfomances of students with learning disabilities. Britisch Educational Research Journal, 38(1), 61-74. https://onlinelibrary.wiley.com/doi/pdf/10.1080/01411926.2010.526193
Welp, E. (2017). Adaptief toetsen: dit moet je weten. https://www.kennisnet.nl/artikel/adaptief-toetsen-dit-moet-je-weten/
Wollscheid, S., Sjaastad, J., Tømte, C. & N. Løver (2016). The effect of pen and paper or tablet computer on early writing – A pilot study. Computers & Education, 96, 70-80. https://www.sciencedirect.com/science/article/pii/S0360131516300653