Jarna Soilevuo Grønnerød and Cato Grønnerød kommenterar på sin egen Wartegg blogg Psychometrics inlägg om att det är tveksamt att använda Wartegg som beslutsunderlag vid urval. Jarna och Cato håller med om att det är tveksamma bevis för att Wartegg kan användas vid urval.

”We agree that these studies do not provide an adequate base for the use of the WZT as a selection instrument” (http://wartegg.tumblr.com/post/28405225737/recent-discussion-on-the-wartegg-as-a-selection).

Som Psychometrics påpekat är underlaget bristfälligt, endast 122 individer ingår i det underlag som som ligger till grund för evidens. Detta håller författarna med om, dock håller de inte med psychometrics att det är ett problem med så gamla studier publicerade för ca 40-50 år sedan. Författarna förvarar också de kriterier som används i studierna (skattning av prestation och skolbetyg).

I det förra inlägget om Wartegg skrev psychometrics

”Med tanke på det begränsade urvalet i studierna, kriteriena i studierna och att studierna är relativt gamla rekommenderar psychometrics att ifrågasätta Wartegg i urvalssammanhang. Betydligt fler studier behövs av Warteggs prediktiva validitet innan poängen på Wartegg kan användas som beslutsunderlag i urvalssammanhang. Leverantörer och uppdragsgivare av bedömningstjänster rekommenderas ta hänsyn till dessa resultat och ifrågasätta de beslut som tas med vägledning av poängen på Wartegg”

Några förtydligande kan vara på plats. För det första, kriterierna som utgörs av skolbetyg och prestationsskattning, bör ca 40-50 år senare tolkas med försiktighet. Att använda prestationsskattning som kriterie är ett bra sätt att mäta ett kriterie, dock är det frågan om skattningen är relevant för hur man idag använder Wartegg idag, tex som underlag för att välja chefer. Att använda skolbetyg som kriterie kan vara bra om urvalet handlar om att prestera i skolan, dock kan det ifrågasättas om det är arbetsprestation som ska förutsägas. Eftersom Wartegg, åtminstone i Sverige, används för urval  arbetssammanhang har en studie med skolbetyg som kriterie begränsad relevans. Slutsatsen blir att studiens ålder tillsammans med kriteriernas karaktär och det begränsade urvalet gör det tveksamt att att Wartegg ska användas i urvalssammanhang.

Om Wartegg jämförs med andra metoder som kan användas i urval ter sig resultatet än svagare. När det gäller begåvningtestning så visar den senaste meta analysen en operationell validitet på .65 för medelkomplexa arbeten (Schmidt, Schaffer & Oh, 2008; Appendix D). Urvalsstorleken är i jämförelse med Wartegg studien är enorm, bara i en meta analys som ingår i underlaget finns över 15 000 individer (Schmidt, Schaffer & Oh, 2008; Tabell 2). Även självrapporterad personlighet i form av målmedvetenhet har en stark evidens i jämförelse med Wartegg. Den senaste meta analysen visar på en operationell validitet på .22 för denna personlighetsfaktor (Schmidt, Schaffer & Oh, 2008; Appendix D), bara i en meta analys ingår 48 000 individer (Hough, 1992).
Så slutsatsen kvarstår, vilket också Jarna och Cato håller med om, evidensen är svag för att använda Wartegg för urvalsbeslut.

Referenser

Hough LM. (1992). The Big Five personality variables—construct confusion: Description
versus prediction. Human Performance, 5, 139–155.
Schmidt, F. L., Schaffer, J. A. & Oh, I. (2008). Increased accuracy for range restriction corrections: Implications for the role of personality and general mental ability in job and training performance. Personnel Psychology, 61, 827–868.
Soilevuo Grønnerød, J., & Grønnerød, C. (2011, November 7). The Wartegg Zeichen Test: A Literature Overview and a Meta-Analysis of Reliability and Validity. Psychological Assessment. Advance online publication. doi: 10.1037/a0026100