Dr. Arne Evers, Arbeids- & Organisatiepsychologie, Universiteit van Amsterdam

“Er is onderzoek nodig waaruit blijkt dat werknemers met een beter portfolio beter gedijen en presteren in een werkomgeving”

Door Meurs HRM werd mij verzocht te reageren op “Assessments in de nieuwe wereld van werken”, een beschrijving van het nieuwe assessmentproduct van Meurs. Ik moet eerlijk bekennen dat ik heb getwijfeld of ik wel op dit verzoek in zou moeten gaan. Mijn deskundigheid ligt niet zozeer bij de personeelspsychologische praktijk, maar meer op het gebied van testontwikkeling en testkwaliteit.

Bovendien heb ik een hartgrondige hekel aan promotionele selectiepraatjes. De websites van werving- en selectiebureaus staan bol van terminologie als hun “onderscheidende werkwijze”, “de klant centraal stellen”, aandacht voor het “persoonlijke aspect”, “kwaliteit staat centraal”, aandacht voor “de persoonlijke groei van medewerkers”, en “onze kernwaarden zijn ondernemerschap, passie en oprechtheid”, om maar een paar citaten te geven. Kennelijk beseft men niet dat men door het gebruik van dit soort jargon allerminst een onderscheidende indruk maakt, vermeende uniciteit wordt hierdoor eerder eenheidsworst. Mijn mogelijke irritatie zou een objectieve beschouwing in de weg kunnen staan.

Na lezing van het stuk bleek daarvoor echter geen reden. Er wordt op heldere wijze beschreven hoe deze nieuwe vorm van assessment eruit ziet en wat de voordelen zouden zijn. Hierbij wordt zowel het perspectief van de werkende of werkzoekende als van de organisatie gehanteerd. Promotionele prietpraat blijft gelukkig achterwege. Deze nieuwe techniek maakt een sympathieke indruk, omdat werknemer en organisatie als gelijkwaardige partners worden gepresenteerd die met elkaar in gesprek gaan.

De vraag is of dat in werkelijkheid ook opgaat, dat zal in ieder geval voor een deel van de situatie op de arbeidsmarkt afhangen. Een sterk punt lijkt mij ook dat deze methode de werknemer dwingt het heft in eigen hand te nemen; pro-activiteit is in de nieuwe wereld van werken een onmisbare eigenschap. De vraag is wel of dit assessmentproduct echt zo nieuw is als wordt beweerd, ten slotte sjouwen middelbare scholieren tegenwoordig ook al met portfolio’s rond (weliswaar zonder de resultaten van een psychologisch assessment).

Zoals hierboven gesteld, ligt mijn expertise vooral op het gebied van testkwaliteit. Ik wil die expertise benutten door dit assessmentproduct kort te bespreken met behulp van de zeven criteria die de COTAN gebruikt voor het beoordelen van testkwaliteit . Daarbij moet worden vermeld dat dit beoordelingssysteem eigenlijk nooit wordt toegepast op dit soort samengestelde producten, maar het biedt een goed referentiekader voor deze bespreking.

Theoretische achtergrond
De Theoretische achtergrond komt in de beschrijving van Meurs niet goed uit de verf. Het is niet helder welke elementen in het Nieuwe assessment moeten worden opgenomen en waarom. Ook is niet omschreven wat de doelgroep is van dit instrument . Hoger opgeleiden? Gaat het om alle mogelijke typen functies en bedrijfstakken? Ook al wordt de nieuwe wereld van werken gekenmerkt door een maximale flexibiliteit, er zullen immers toch verschillen blijven tussen bijvoorbeeld managers, verpleegkundigen of werknemers in het onderwijs.

Kwaliteit van het testmateriaal
Met betrekking tot de Kwaliteit van het testmateriaal kunnen er vragen worden gesteld bij het feit dat de testonderdelen thuis worden gemaakt. Dit is in strijd met de aloude ‘wet’ dat de testsituatie voor de getesten zoveel mogelijk gestandaardiseerd dient te zijn. De een werkt nu mogelijk op een supersnelle PC met 17 inch beeldscherm en de ander op een traag tweedehandsje waarop figuren slecht te onderscheiden zijn. En wat te denken van de omgevingscondities die niet in de hand te houden zijn, zoals krijsende kinderen, aanbellende postbodes of meekijkende supporters die aanwijzingen geven? Mogelijk heeft dit voor vragenlijsten een beperkte invloed, voor capaciteitentests lijkt een dergelijk gebrek aan standaardisatie van de afnamesituatie wel degelijk van invloed te kunnen zijn op de scores.

Handleiding
Er bestaat (nog?) geen Handleiding waarin de werknemers zou kunnen lezen hoe hij/zij zijn/haar portfolio zou kunnen opbouwen en waarin de werkgever zou kunnen vinden waarop hij/zij zou moeten letten. In feite betreft dit de scoring en interpretatie van het aangeleverde materiaal. Voor zover dit materiaal uit testscores en testrapporten bestaat mag men aannemen dat de scoring in de betreffende handleidingen wel wordt beschreven. Maar hoe deze scores te integreren en hoe ze vervolgens te combineren met de andere gegevens die in het portfolio worden aangeleverd?

Normen
Hierbij sluit aan dat geen Normen worden verstrekt. Maar waar niet wordt gescoord, zijn normen natuurlijk niet relevant. Men mag aannemen dat voor de testonderdelen normtabellen beschikbaar zijn. Voor de rest van het portfolio moet de werkgever geheel op zijn eigen beoordelingsvermogen vertrouwen.

Betrouwbaarheid
Voor de Betrouwbaarheid geldt in feite hetzelfde: voor de testonderdelen zullen deze wel bekend zijn (hoewel deze mogelijk zijn beïnvloed door de afnamecondities, zie hierboven), maar hoe zit het met de andere onderdelen en het totaal van het portfolio? Aan de ene kant gaat het hierbij om de betrouwbaarheid van de verstrekte informatie: geeft deze een goed, dat is waarheidsgetrouw, beeld van de kandidaat of is het allemaal opgepimpt en/of is negatieve informatie weggelaten? Aan de andere kant gaat het om de indruk die deze informatie maakt op anderen, bijvoorbeeld managers, dit heeft te maken met de interbeoordelaarsbetrouwbaarheid.

Begripsvaliditeit
De vraag naar de Begripsvaliditeit betreft in dit geval wat men met dit portfolio nu eigenlijk meet. Zou het zo kunnen zijn dat de slimme werknemers die er niet voor schromen om zichzelf ‘te verkopen’ met een mooier dossier voor de dag komen dan de minder begaafden en degenen die hier meer moeite mee hebben. Meten we dan eigenlijk toch niet gewoon intelligentie en extraversie, maar in een ander jasje?

Criteriumvaliditeit
Afgezien van al het bovenstaande lijken gegevens over de Criteriumvaliditeit essentieel. Uiteindelijk gaat het dan om de vraag of met behulp van het Nieuwe Assessment betere resultaten worden bereikt dan met de ‘oude’ vormen van assessment. Dat lijkt echter geen onderzoekbare vraagstelling. Daarom zou het al mooi zijn als überhaupt gegevens over de predictieve validiteit beschikbaar zouden zijn. Daarmee wordt geen tevredenheidsonderzoek bedoeld, maar een onderzoek waaruit blijkt dat werknemers met een beter portfolio (of met een ander type portfolio) beter gedijen en beter presteren in een (bepaald type) werkomgeving.

Hierboven is het al gezegd: het is misschien niet helemaal eerlijk om de COTAN-testbeoordelingsstructuur los te laten op het Nieuwe Assessment, aangezien het hier een samengestelde methode betreft, waar klassieke tests of assessments slechts een deel van uitmaken. Aan de andere kant heeft dit tot voordeel dat op systematische wijze de verschillende kenmerken van de methode zijn langsgelopen.

Met name op onderzoeksgebied lijken er een aantal interessante uitdagingen op de weg van de auteurs van het Nieuwe Assessment te liggen. Zo zou onderzoek naar de betrouwbaarheid, begripsvaliditeit en criteriumvaliditeit moeten plaatsvinden. Hierbij moet worden opgemerkt dat Meurs in dat geval, bij mijn weten, de eerste in Nederland zou zijn die een dergelijk onderzoek naar de kwaliteit van een hele methode uitvoert. Toch, zou het de auteurs sieren als ze deze uitdagingen zouden oppakken, met name waar het de criteriumvaliditeit betreft. Immers, zonder ‘evidence’ dat de methode werkt en zonder dat is aangetoond dat deze benadering beter is dan andere blijven het slechts mooie woorden. Al oogt de benadering nog zo sympathiek.