In het kader van het onderzoeksprogramma 'Evaluatie van Onderwijsbeleid' (SCHOLAR) heeft de Universiteit van Amsterdam onderzoek verricht naar het effect van computersubsidies op leerprestaties van achterstandsleerlingen.
Ict op School concludeert dat de uitvoering van het onderzoek onder de maat is om valide conclusies te kunnen trekken. De onderzoekers toetsen in hoeverre het beschikbaar stellen van geld voor ICT-voorzieningen een jaar later tot betere resultaten leidt op de Citoscore van de leerlingen in groep 8. Nu dit haarlemmerolie-effect van computers niet gevonden is, concluderen de onderzoekers dat de investeringen in ICT weggegooid geld zijn. Ferme conclusies op basis van ondeugdelijk onderzoek zijn in het verleden veelvuldig in de media kritiekloos aangehaald. Verwijzing naar een in 1996 uitgevoerd Israëlisch onderzoek is in deze context een constante factor. De onderzoekers leveren daarmee een bedenkelijke bijdrage aan het vraagstuk naar rendement van ICT in het onderwijs.
In onderzoekstermen is er sprake van tekortkomingen op het gebied van construct validiteit. Hoe ernstig dit is kan als volgt worden geïllustreerd. De onderzoekers maken gebruik van de statische techniek regressie analyse. Het gebruik van deze techniek veronderstelt een verklaringsmodel of een theoretisch kader. Een theoretisch kader maakt aannemelijk welke samenhang tussen verschillende kenmerken wordt verondersteld. Statistische handboeken bevatten tal van lachwekkende en spraakmakende onderzoeksresultaten die in belangrijke mate toe te schrijven zijn aan het ontbreken van een doordacht theoretisch kader. Daarbij is te denken aan het vinden van een statistisch verband tussen schoenmaat van kinderen en woordenschat. Niet gehinderd door enige kennis van onderwijs en ontwikkeling van kinderen is de onzinnige conclusie te formuleren dat schoolprestaties zullen verbeteren door kinderen grotere schoenen te geven.
De UVA-onderzoekers bevinden zich met het computeronderzoek in een vergelijkbare valkuil. Het onderzoek bekijkt namelijk de relatie tussen het beschikbaar stellen van financiële middelen voor ICT en de toename van toetsscores in groep 8. Daarbij wordt geen rekening gehouden met de (doel)groep waarvoor het geld is besteed. Dit betekent dat bijvoorbeeld het effect van een extra computerinvestering voor taalontwikkeling bij kleuters een jaar later wordt afgemeten aan de toetsscore van leerlingen in groep 8. De onderzoekers gaan er aan voorbij dat er meer tijd dan een periode van een jaar nodig is voordat een kleuter groep 8 heeft bereikt. Overigens geldt sowieso dat het enige tijd duurt voordat resultaten van ICT-investeringen in volle omvang zichtbaar zijn. Enige praktijkkennis in combinatie met een theoretisch kader had de onderzoekers kunnen behoeden voor de nietszeggende resultaten die thans worden gepresenteerd.
Namens het onderwijsveld heeft Ict op School als taak bij te dragen aan de kennisontwikkeling op het gebied van ICT en leren. Daarvoor analyseren wij resultaten van onderzoek en letten daarbij vooral op de kwaliteit van het uitgevoerde onderzoek. De aandacht voor de methodisch technische kwaliteit van onderzoek komt voort uit de gebrekkige bijdrage van onderwijsonderzoek aan het oplossen van vraagstukken waarmee beleidsmakers en onderwijsgevenden zich bezighouden. Dit is niet alleen een situatie die zich in ons land aandient maar ook in tal van andere landen. In de Verenigde Staten heeft dit geleid tot de oprichting van een 'What Works Clearingshouse'. Daar worden resultaten van onderwijsonderzoek getoetst op minimale eisen van kwaliteit om op die manier beleidsmakers en praktijkmensen te beschermen tegen conclusies en aanbevelingen uit ondeugdelijk onderzoek. Wanneer we dit soort eisen toepassen op het computeronderzoek van de Universiteit van Amsterdam dan wordt snel duidelijk dat we hier te maken hebben met ondermaats onderzoek. Dit type onderzoek toont nog eens nadrukkelijk aan het nut van een kwaliteitssysteem voor onderwijsonderzoek. Daarmee kunnen onderwijspraktijk en beleidsmakers beschermd worden tegen ondeugdelijk onderzoek.
Zie voor meer onderzoek rond rendement van ICT in het onderwijs, onze rendementspagina.
|
