Validitet handlar om att rätt beslut ska tas utifrån tolkningen av ett testresultat. Även om ett test har goda psykometriska egenskaper (i form av statistiska mått) leder detta inte per automatik till att rätt beslut tas, eftersom själva resultatet lämnar öppet för en hel del tolkning.

Testresultatet kan tolkas på två väldigt olika sätt. Det första tillvägagångssättet, och det särdeles vanligaste sättet att tolka testresultat på, är så kallad intuitiv tolkning. Utgångspunkten är ofta en mer eller mindre otydlig kravprofil för hur arbetsprestation manifesteras i det tilltänkta arbetet. Testresultatet bedöms av personbedömaren i ljuset av denna kravprofil1, och när beslutet tas, är det i praktiken de sökande som bäst passar profilen som får arbetet. Testresultatet ses som en del av en helhet (den berömda helhetstolkningen) och personen som tolkar testresultatet avgör om och hur olika testpoäng ska vägas in vid beslut. Det andra sättet att tolka testresultat på är så kallad mekanisk tolkning. Denna tolkningsmetod bygger på att det finns en i förväg utvecklad evidens-baserad tolkning av testpoäng som anger sannolikheten att en viss individ ska prestera bättre på arbetet än andra. Denna beräkning som oftast baseras på en statistisk ekvation (tex regressions-analys), tillämpas på varje enskilt testresultat. Istället för att vid varje tillfälle väga ihop resultatet mot en given kravprofil, grundas tolkningen på en väl beforskad vägning av olika testpoäng. Det har länge varit känt att den mekaniska tolkningen är överlägsen den intuitiva tolkningen, trots detta tolkas testresultatet fortfarande med den intuitiva metoden. Nedan kommer några exempel på vår egen förmåga att tävla mot den mekaniska tolkningen (sammanställningen är hämtat från en avhandling; The Validity of Judgment: Can the Assessor Learn to Outperform the Equation? av  David M. Klieger).

1. people ignore base rates or other prior probabilities (representativeness heuristic discussed by Tversky & Kahneman, 1974; basing judgments on absolute frequencies rather than relative frequencies as discussed by Einhorn & Hogarth,1978).
2. people cognitively retrieve only those instances that most easily come to mind (Tversky & Kahneman, 1974) and overly weight negative evidence (Wright, 1974)
3. people integrate information more slowly than do machines (Yntema & Torgerson, 1961; Wright, 1974)
4. the behavior of people who succeed primarily due to good luck rather than sound judgment sometimes is naively held up as a model on which to base one’s own behavior (Kahneman & Klein, 2009)
5. people habitually mistake self-fulfilling prophesies for sound judgment strategies (i.e., Pygmalion effect, Hawthorne effect, treatment effects, or wicked environments; Kahneman & Klein, 2009; Hogarth, 2001; Einhorn & Hogarth, 1978; Camerer, 1981a)
6. unlike mechanical processes, people engaged in clinical data combination possess a selfimage which they may seek to preserve at the cost of predictive precision and accuracy (e.g., confirmation bias; Phillips & Gully, 2008)
7. judges might believe (correctly or not) that they will not be held accountable for their mistakes, which might make them less careful (Kahneman & Klein, 2009)
8. even if people can at least effectively instruct, revise, and override an algorithmic process (e.g., a machine running regression equations), their vigilance over the algorithmic process may decline over time (the automation bias discussed by Kahneman & Klein, 2009, and Skitka, Mosier & Burdick, 1999, 2000); and unlike mechanical processes, people often need corrective feedback to avoid engaging in erroneous, after-the-fact explanations (hindsight biases) that cause them to become overconfident in their judgment-making ability, and such corrective feedback is frequently absent (Fischhoff, 1975; Einhorn & Hogarth, 1978; Hogarth, 1981) orinadequate (Hammond, 1971; Einhorn & Hogarth, 1978; Balzer et al., 1989).

Forskningen ger klart besked, använd inte helhetstolkningen som ett argument vid tolkning av psykologiska testpoäng, den fungerar inte.

Anders Sjöberg