Een beoordeling van de Commissie Testaangelegenheden Nederland (COTAN) van het NIP is van belang voor het verantwoord kunnen gebruiken van psychologische tests. Dat staat te lezen op de site van het NIP.
De COTAN stelt de kwaliteit van tests en testgebruik centraal en heeft de fairness matrijs ontwikkeld, waarmee een gestructureerde beschrijving kan worden gegeven van onderzoek dat bij de ontwikkeling van een test is gedaan naar testonpartijdigheid.
Deze matrijs wordt met ingang van 1 juli in gebruik genomen bij nieuwe beoordelingen. In het COTAN Beoordelingssysteem werd al aandacht besteed aan fairness, maar met behulp van de matrijs wordt het oordeel over het uitgevoerde testonpartijdigheidsonderzoek en de kwaliteit daarvan geïntegreerd beschreven, zodat psychologen en daarover sneller en beter worden geïnformeerd
Wat is test fairness?
Een psychologische test kan als fair worden beschouwd wanneer ”voor elke kandidaat, ongeacht de culturele achtergrond, met een bepaalde testscore ook de verwachte criteriumscore hetzelfde is” (Linnenbank & Speelman-Tjoeng, 2009). Persoonlijke kenmerken van kandidaten, die niet van belang zijn voor de te meten eigenschap, mogen geen invloed hebben op de testresultaten. Dat is echter niet altijd het geval; verschillende factoren kunnen bijdragen aan zowel interne als externe (toets- of item) partijdigheid. Dat maakt een test beperkt toepasbaar.
Totstandkoming
De fairness matrijs is door de COTAN ontwikkeld op verzoek van het Algemeen Bestuur van het NIP. Een werkgroep heeft drie verschillende opties uitgewerkt voor het beter zichtbaar maken van fairness in het COTAN beoordelingssysteem: een 8e beoordelingscriterium, een keurmerk en een gestructureerde beschrijving met behulp van de fairness matrijs. Op grond van de aanbevelingen van de werkgroep heeft de COTAN gekozen voor de optie ‘gestructureerde beschrijving’ aan de hand van de fairness matrijs.
Fairness matrijs en het project Diversiteit
Het geven van voorlichting over de fairness matrijs, als nieuw onderdeel van het COTAN beoordelingssysteem, is uitgewerkt in een deelproject van het sectoroverstijgende project Diversiteit. Dit deelproject betreft een samenwerking tussen de sectie Interculturalisatie van het NIP en de COTAN.
Doel van het project was het organiseren van een workshop over de fairness matrijs. Workshopleiders Remko van den Berg (directeur NOA) en Bas Hemker (senior onderzoeker bij Cito), beiden lid van de COTAN, hebben tijdens hun presentatie een toelichting gegeven op het begrip fairness, hebben cijfers en onderzoek gepresenteerd naar test- en itembias, zijn ingegaan op de activiteiten van NIP op het gebied van fairness en hebben aandacht besteed aan internationale richtlijnen over fairness.
Tevens werd de totstandkoming van de fairness matrijs toegelicht en werd met de deelnemers besproken hoe deze matrijs in de praktijk kan worden gebruikt. De onmogelijkheid om een test in zijn algemeenheid te kunnen classificeren als ‘fair’ kwam daarbij uitgebreid aan bod. Aan de hand van een aantal ingevulde testmatrijzen werd gediscussieerd over de bruikbaarheid van de informatie in de matrijs als een test zou moeten worden geselecteerd voor specifieke doelgroepen. Hierbij werden door de deelnemers suggesties gedaan voor informatie die zij ook graag zouden terug zien in de matrijs, zoals een heldere definiëring van onderzochte groepen. Maar ook of de verschillen tussen groepen die gevonden worden bij een bepaalde test vergeleken kunnen worden met verschillen die gevonden zijn bij andere tests die eenzelfde construct meten bij vergelijkbare doelgroepen.
Bron: PsyNip
