Kwaliteit van tests

Meurs HRM vindt het belangrijk te werken met een kwalitatief goed testinstrumentarium: tests en vragenlijsten die goed genormeerd zijn, betrouwbaar zijn en adequaat voorspellen. Daarom leggen wij onze belangrijkste psychologische instrumenten voor aan de Cotan (www.cotandocumentatie.nl), een onafhankelijke commissie die de kwaliteit van psychologische tests beoordeelt. De critera waarop wordt beoordeeld zijn: theoretische uitgangspunten, kwaliteit van het testmateriaal, kwaliteit van de handleiding, normen, betrouwbaarheid, begripsvaliditeit (meet het instrument wat het beoogt te meten?) en criteriumvaliditeit (voorspellende waarde). De Cotan publiceert haar bevindingen in boekvorm en online.

Waarom toch?

Loop je in zo’n beoordelingsprocedure door de Cotan niet het risico dat jouw test er minder goed doorheen komt? Inderdaad! Als de uitkomst tegenvalt, dan moeten we daar maar wat aan gaan doen… Meurs HRM kiest voor transparantie op het punt van kwaliteit. Niemand hoeft ons op erewoord te geloven, we dragen liever zelf het bewijs aan.

Onderzoek en ontwikkeling

Meurs HRM beschikt als een van de weinige HRM-adviesbureaus over de capaciteit om hoogwaardige instrumenten te ontwikkelen en te onderhouden. Specialisten op het gebied van arbeids- en organisatiepsychologie, psychodiagnostiek, psychometrie en ict werken hierin samen. Zij houden zich permanent bezig met onderzoek naar de kwaliteit van instrumenten op basis van omvangrijke gegevens, met ontwikkeling van nieuwe instrumenten op basis van actuele wetenschap, en met onderzoek naar effecten van testgebruik bij klanten.

Hoe hoog leggen we de lat?

Ieder instrument van Meurs HRM krijgt van onze onderzoekers de aandacht die het nodig heeft. Maar niet voor elk instrument hoeft even veel inspanning te worden geleverd. Verreweg de meeste aandacht gaat uit naar die instrumenten die veel door onze klanten gebruikt worden en/of waarvan het gebruik een sterke impact op de betrokken kandidaten en cliënten kan hebben. Als een instrument bijvoorbeeld wordt gebruikt om belangrijke en op korte termijn onomkeerbare beslissingen over een persoon te nemen, bijvoorbeeld in een selectieprocedure (aannemen of niet aannemen?), wordt de lat heel hoog gelegd. Aan instrumenten met een ander gebruiksdoel kunnen wellicht iets mildere eisen worden gesteld; maar nog altijd streng genoeg.

Het perfecte instrument?

Was het maar waar dat het bestond! Uit Cotan-beoordelingen blijkt dat wij goede instrumenten hebben en dat wij die, zoals de Cotan eens opmerkte “voorbeeldig” verantwoorden, maar tevreden zijn we nooit. Op de dag dat wij een uitstekende beoordeling ontvingen voor onze persoonlijkheidsvragenlijst, waren bijvoorbeeld al stappen gezet voor een volgende update, die zowel inhoud als normen betrof.

De strengste eisen

Onder andere aan onze capaciteitentests, persoonlijkheidsvragenlijst, drijfverenvragenlijst en de callcenterkit stellen wij de strengste eisen. Dergelijke tests worden niet alleen voorzien van een gebruikershandleiding, maar ook van een uitgebreid “technisch” document. Normen worden geleverd voor de meest gangbare gebruiksdoelen (bijvoorbeeld selectie versus loopbaanbegeleiding) of gebruikersgroepen (bijvoorbeeld opleidingsniveaus). De grootte van de normgroep is minstens 300 (soms zelfs een veelvoud daarvan) en de opbouw is representatief naar belangrijke achtergrondvariabelen, zoals geslacht, leeftijd, opleidingsniveau en branche. De normen worden eenmaal per jaar gecheckt en zo nodig bijgesteld. Ieder jaar wordt de betrouwbaarheid van het meetinstrument vastgesteld, die zodanig hoog moet zijn dat men er belangrijke beslissingen op kan baseren. Verder wordt uitgebreid onderzoek gedaan naar de begripsvaliditeit en de voorspellende waarde.

Bijna net zo streng

Ook voor instrumenten die niet bedoeld zijn voor selectiebeslissingen wil Meurs HRM dat ze voldoen aan eisen op het gebied van uitgangspunten, normen, betrouwbaarheid en validiteit. Gezien het gebruiksdoel zijn de eisen echter net iets minder streng. Het betreft bijvoorbeeld tests die erop zijn gericht dat zij de cliënt inzicht in diens eigenschappen geven, en daarmee een onderbouwing bieden voor keuzes die de cliënt gaat maken wat betreft zijn of haar persoonlijke ontwikkeling, professionele inzetbaarheid en loopbaanstappen. Het zijn dus geen tests op basis waarvan iemand anders dan de geteste persoon zelf een beslissing over de persoon neemt, maar “beschrijvende” tests die tot meer zelfinzicht kunnen bijdragen. Natuurlijk moeten ook dergelijke tests betrouwbaar zijn, maar aangezien de cliënt er zelf bij is om het resultaat te nuanceren en te integreren, liggen de psychometrische eisen net iets lager. Ook in andere opzichten, bijvoorbeeld wat de normen betreft, zijn de Cotan-eisen iets milder.

Allerlei gradaties

Kwaliteitsborging hoeft niet altijd te berusten op uitgebreid statistisch en psychometrisch onderzoek. Wel moet zorg worden besteed aan wat, gezien het gebruiksdoel van het instrument, de belangrijkste eisen zijn. Zo was voor een bepaalde taalvaardigheidstoets ons belangrijkste criterium dat de opgaven de betreffende vaardigheid goed “dekken” en dat de score van de persoon echt iets over het beheersingsniveau zegt. In dat geval hebben wij samengewerkt met externe deskundigen van een gerenommeerd taalinstituut om inhoud en normen vast te stellen.

Samenwerking met klanten

Graag zoekt Meurs HRM de samenwerking met klanten op om nieuwe instrumenten te ontwikkelen of bestaande te onderzoeken. De klant scherpt er zijn testprocedure door aan, en wij onze instrumenten. Wij zijn met name geïnteresseerd in onderzoeken waarin we onze instrumenten kunnen koppelen aan datgene (criterium) wat we proberen te voorspellen. Als u bijvoorbeeld beschikt over praktijkbeoordelingen van een groep kandidaten die in een zelfde functie werkzaam is, dan is het voor ons erg interessant te onderzoeken of onze testresultaten overeenkomen met het functioneren.