För några veckor sedan fick jag frågan om vilken reliabilitet som gäller för intervjuer vid urval. Som jag tidigare nämnt så säger sig många sig använda strukturerade intervjuer för att det har en hög validitet, dvs förutsäger arbetsprestation. En övre gräns för validiteten i detta sammanhang är den sk interbedömarvaliditeten, dvs hur överensstämmelsen är mellan två olika intervjuer/intervjuare. Om reliabiliteten är låg så är inte två intervjuare överens och då är resultatet opålitligt. Ur ett kandidatperspektiv är det naturligtvis ohållbart att ett urvalsbeslut är beroende vilken intervjuare man får.

Redan 1995 genomfördes en metanalys som berör reliabiliteten i anställningsintervjun. Det övergripande resultatet visade på en enorm variation i reliabilitet med ett medelvärde på .70 (.39-1.00). I detta värde ingick alla typer av urvalsintervjuer, men det intressantaste resultatet är att intervjun som de flesta använder sig av – en ostrukturerad sådan – hamnade så lågt som .37. Den strukturerade intervjun (med fasta frågor och svarsalternativ) låg på .59. Den mest frekvent använda intervjun (i denna studie) med en frågebank där intervjuaren själv väljer frågor och där följdfrågor tillåts, hamnade på .56. Detta torde vara det som många hänvisar till är en strukturerad intervju. Så slutsatsen är att det trots den goda intentionen hos rekryterare när de använder sig av kompetensbaserade strukturerade intervjuer är att reliabiliteten är tämligen låg. Det positiva som tas upp i forskningen är att det går att träna upp förmågan, att reliabiliteten ökar om du använder dig av fler intervjuare och kombinerar informationen mekaniskt (inte diskuterar resultatet av intervjuerna). Även en noggrann arbetsanalys ökar reliabiliteten. Detta resultat måste naturligtvis diskuteras i ljuset av kostnaden för intervjun, och ibland måste det ifrågasättas om intervjun ska användas för urvalsbeslut?

För ett antal år sedan var jag inblandad i en studie där jag beräknade reliabiliteteten mellan två oberoende intervjuare vi urvalet till läkarlinjen vid Karolinska Institutet, sammanlagt 544 intervjuer utfördes i skarpt läge. Den övergripande reliabiliteten landade på .77, vilket är väldigt bra. Det var när flera frågeområden summerades till ett övergripande mått på lämplighet för att komma in på utbildningen som denna höga reliabilitet framkom. Däremot när vissa specifika egenskaper bedömdes sjönk reliabiliteten betänkligt. Nedan visas resultatet för de specifika egenskaperna.

Intellektuell förmåga=.47
Stresstålighet=.49
Empati=.56
Social förmåga=.52
Mognad=.55
Motivation=.62

Detta resultat visar att det är förmodligen är så att vi överskattar vår förmåga att skatta specifika egenskaper hos kandidaten i intervjun, men om vi tränas ordentligt kan vi vara överens på en övergripande nivå vem som är bäst lämpad för jobbet/utbildningen. Reliabiliteten gäller dock endast rangordningen av kandidater, validiteten i detta sammanhang handlar om intervjun verkligen kan förutsäga vem som blev bäst läkare, det är en annan match.

Referenser

Conway, R, Jako, R., & Goodman, D (1995). A meta-analysis of interrater and internal consistency reliability of selection interviewa. Journal of Applied Psychology, 80, 565-579.

Sjöberg, A. (2004). Psychometric properties of interview ratings and self reports. Are we measuring getting along and getting ahead? Presented at the Hogan Assessment Annual Convention, Prag. Aug 2004.

Tidigare har jag påpekat att vid urvalet till polishögskolan finns det vissa oklarheter vad rekryteringsmyndigheten och polisen egentligen fattar sitt urvalsbeslut på. Nu visar det sig  att magkänslan även styr när polisen genomför sin riskbedömning. 

– Vi har undersökt tre av de metoder som polisen använder. De är lika dåliga allihop. Det har inte att gått att få till det inom polisorganisationen, så det fungerar på slumpnivå. Man kan lika gärna köpa en tärning, säger Sten Levander, professor i psykiatri, som är en av den som utrett riskbedömningarna åt Rikspolisstyrelsen.

Lyssna på intervjun nedan eller klicka här

Gästblogg av Björn Elowson

Oavsett hur våra fördomar ser ut så har vi preferenser om vad vi tycker om och vad vi inte riktigt gillar. De flesta skulle nog hålla med om att  människor är lika mycket värda och förtjänar samma chans. Etnisk ursprung, kön, ålder, sexuell läggning eller utseende har  ingenting med kompetens att göra. Även personer som  jobbar  med rekrytering skulle nog hålla med om att exempelvis  hudfärg är helt irrelevant i en urvalsprocess. Men efter att ha jämfört olika urvalsprocesser kan man dra följande slutsatser.

• Om du  både  eftersträvar ett rättvist och effektivt urval så är metoden avgörande
• Använder du  ostrukturerade metoder  som  exempelvis djupintervju och CV granskning är risken överhängande att du som rekryterare  kommer att fatta fel beslut

Sammanfattning av studien

Summary (English)

Hela studien finns att ladda ned här (klicka på länken nedan)

Björn Elowson – Att välja rätt och rättvist

Att låta magkänslan styra har blivit ett sätt att signalera att man törs tänka själv och inte är fyrkantig. Men hur bra blir det när ”magen” får bestämma? Inte alls, om man får tro filosofen Kristoffer Ahlström som i en ny bok ger exempel på vad magkänslan kan ställa till med. Vem ska man egentligen tro på? I boken Blink: Den intuitiva intelligensen, som kom på svenska för fyra år sedan, predikade författaren Malcolm Gladwell att spontana beslut ofta är lika bra som, eller bättre än, noggrant övervägda val. Det tar inte mer än två sekunder att skapa sig en uppfattning om något, enligt Gladwell. En uppmaning att lita på magkänslan, alltså.

I en svensk bok, Magkänslans anatomi, hävdar filosofen Kristoffer Ahlström raka motsatsen. Magkänslan leder oss på villovägar, framförallt därför att vi i allt väsentligt är stenåldersmänniskor, som lever i en komplex och högteknologisk civilisation. På 40 000 år, en evolutionär kafferast, har människan förflyttats från en glesbefolkad till­varo som jägare och samlare till dagens människomyller med datorer, flygmaskiner och komplicerade sociala strukturer. Under dessa 40 000 år har människans hjärna inte förändrats. ”Vi är i evolutionär mening precis lika illa anpassade för ett modernt liv som många av våra förfäder skulle ha varit”, skriver Ahlström.

Läs hela artikeln här

Pearsons utbildning Psykologiska test i arbetslivet ger en gedigen introduktion till området. Utbildningen passar för såväl yrkesverksamma, som för högre utbildning inom HR- och personalvetarområdet, och för psykologprogram. Utbildningen är helt generisk, och bygger således inte på användning av (eller ger utbildning i) särskilt namngivna test.
[youtube]http://youtu.be/caBOWbqYZMQ[/youtube]

Förra veckan blev jag uppringd av en journalist på SVD (Linnea Bolter), hon ska intervjua mig om urvalspsykologi imorgon. Hon påminde mig om att hon intervjuat mig för några år sedan, så nedan kommer den intervjun som genomfördes i december 2012.

En brokig meritförteckning behöver inte vara en nackdel i rekryteringssammanhang. Tvärtom kan man som uppstickare locka arbetsgivare med en profil och personlighet som skiljer sig från mängden.

Har du en annan utbildning eller andra erfarenheter än vad som efterfrågas, är det förstås lätt att bli bortrensad redan vid den första sållningen i en rekryteringsprocess. Men det finns också arbetsgivare som inte låter sig avskräckas av sökande som gått alternativa vägar. Meriter och egenskaper som sticker ut blir då en tillgång snarare än ett hinder. Man väcker nyfikenhet och blir en joker som vägs mot säkrare kort i rekryteringen.
På kommunikationsbyrån Prime letar man uttryckligen efter både ess och jokrar när man rekryterar. Essen har toppbetyg och gedigna universitetsutbildningar, medan jokrarna kan ha erfarenheter från eget företag, bloggande, samhällsengagemang eller formgivning. Beroende på hur bra man klarat ett inledande arbetsprov, väljs man ut till en rekryteringsdag med en rad olika prestationstester. CV kommer in först senare i processen.
– Vi vill ha en palett av personligheter och försöker samla bredden i urvalet. Men ett visst mått av joker letar vi efter i alla sökande. Jokrar är ju ofta orädda personer som inte går de givna vägarna – de har en personlighet som är attraktiv i sig, säger Hanna Fallenius, hr-ansvarig på Prime.

Mattias Ström som har jobbat på Prime i drygt fyra år kan nog sägas vara en typisk joker: Innan han blev kommunikationskonsult var han fotbollsmålvakt i AIK, personal shopper, lärarvikarie och retorikstudent. Han är också aktiv musiker sedan många år och spelar i ett bossanovaband.
– Innan jag sökte hit pluggade jag på en hel del om pr och pratade med folk i branschen för att fylla på med kunskap som jag inte hade då. Min bakgrund var kanske ingen spjutspets i sig, men den gjorde att jag stack ut, säger Mattias Ström.
Han tror att det är bra att föra ett resonemang med arbetsgivaren om vad man kan tillföra med sin udda bakgrund. Själv satsade han framför allt på att ge järnet under rekryteringsdagen.
– Man får inte ett jobb för att man har blandade erfarenheter, men man ska inte heller skämmas för dem. Det är klart att de tillför en del, men i slutändan är det kunskap och engagemang som avgör, säger Mattias Ström.
En fördel han haft av sina brokiga erfarenheter är att han har löst nära besläktade problem i flera olika branscher.
– Som personal shopper handlar det också om att bygga förtroende och vara rådgivande. När det gäller musiken har jag ämneskunskaper som kommit till nytta i flera projekt. Och från fotbollen har jag vinnarinstinkten. Den går aldrig ur kroppen, säger Mattias Ström. En fördel han haft av sina brokiga erfarenheter är att han har löst nära besläktade problem i flera olika branscher.

– Personer som har med sig mer udda saker i bagaget kan snabbt bli relevanta. Flera av våra klarast lysande stjärnor är jokrar. Felrekryteringar beror snarare på att pusselbitar som engagemang och matchande ambition saknas, säger Hanna Fallenius.

Anders Sjöberg som forskar om rekrytering och urval vid Stockholms universitet menar emellertid att många arbetsgivare anställer personer som liknar dem själva, när de nyanställer. Man gör en helhetsbedömning av kandidaterna, men i själva verket är det magkänslan som fattar det avgörande beslutet. Ett bra sätt att inte låta irrationella känslor ta överhand är att låta begåvningstest styra rekryteringen.
– I en rekrytering jag jobbade med fick en person utan någon erfarenhet av försäljning jobbet som butikschef bland 800 sökande. Istället för CV valde man att testa förmåga och personlighet. En meritförteckning i sig säger inget om arbetsprestation, säger Anders Sjöberg.
När man väljer att fokusera på de sökandes förmågor, får man också en större mångfald av olika bakgrunder och personligheter bland de anställda.
– Jag skulle önska att alla sökande tog reda på hur arbetsgivaren fattar beslutet: Är det intervjun, erfarenheterna eller meriterna som avgör? Även om man inte får jobbet, ska man vara nöjd med rekryteringen, säger Anders Sjöberg.

The educational council at Medicinska Förening have decided to award this years Mäster award to Petter Gustavsson, who is active at the Psychologists program. The Mäster award is given to a teacher who during a longer period of time have run their teaching in a personal and engaged way, or to a teacher who has initiated and carried out lasting improvements in education and teaching. The award will be presented to Petter at the Lucia ball at MF on the 13th of December! 

Congratulations to Mäster of 2014: Petter Gustavsson

Photo: Stefan Zimmerman

Sofia Sjöberg föreslår att rekryterare ska använda sig av matematiska formler när de anställer nya medarbetare. I sin doktorsavhandling i psykologi skriver Sofia Sjöberg om sin metod som kan hjälpa till att motarbeta diskriminering på arbetsmarknaden. Hon tror att metoden skulle leda till att fler kvinnor skulle få chefsjobb och att diskrimineringen av utlandsfödda minskar. 

1:08:30 in i sändningen

Klicka här för att lyssna på hela programmet

Emotionell intelligens lanserades som begrepp av både praktiker och forskare på 90-talet. Daniel Golemans bok från 1995 fick ett enormt genomslag i media. Nu handlade det inte bara om den kognitiva förmågan, det fanns också något som handlade om den känslomässiga delen som var minst lika viktig att belysa som den kognitiva intelligensen. Jag fick Golemans bok av min mentor Lars Nystedt på psykologiska institutionen som examenspresent när jag doktorerade. Jag läste boken och fascinerades av det Goleman skrev så fascinerande om. Några år senare när jag börjat jobba med testutveckling förstod jag problematiken, att det är en sak att teoretisk säga att något finns, men en helt annan sak att bedöma samma egenskap. Av någon anledning, jag misstänker att det var Hunter Mabon som passade frågan vidare, blev jag något av en talesperson att EQ var något av ”kejsarens nya kläder”. Men frågan är om vad jag sa för 14 år sedan verkligen står sig idag?

Idag är EQ ett begrepp som används i arbetslivet i både urvals- och utvecklingssammanhang. Internationellt har det blivit en stor affär för många firmor, i USA uppkattas det att 150 konsultorganisationer erbjuder EQ relaterade produkter och 75% av Fortune 500 företag har anammat EQ som en del av deras urval- och utvecklingsstrategi. Medvetet eller inte följer naturligtvis Norden trenden, idag erbjuds en hel del EQ relaterade bedömningstjänster. Naturligtvis har det vetenskapliga fältet varit skeptiska (och det är ju inte så konstigt, det är ju deras jobb). Inte minst för att det är oklart om det överhuvudtaget går att bedöma eller mäta EQ på samma sätt som kognitiv förmåga, dvs IQ

För att undersöka om det går att bedöma måste man skilja på två helt olika utgångspunkter, antingen är EQ en del av den kognitiva intelligensen (vilket lanserades långt innan Golemans bok), eller så är EQ en del av personligheten. Resultatet när det mäts på individnivå är tydlig, dessa två definitioner är svagt relaterade med varandra, dvs två olika EQ mått kan visa olika resultat, detta är inte så bra om syftet med mätningen är att en person ska få vägledning om sin känslomässiga status, eller om EQ mätningen ska vägas samman för ett urvalsbeslut.

Vad jag kommer ihåg av vad jag sade får 14 år sedan var att jag gillade teorin, men var skeptiskt avseende de mätningar av begreppet som fanns att tillgå. Nu verkar det som marknaden, inte helt, men delvis tagit till sig mätningarna av EQ, och detta genom att mäta EQ genom att testpersonen får ta ställning till ett antal påståenden som har med deras egen förmåga att göra, sk självrapporterad EQ. Ett annat vanligt sätt är att samla in bedömningar från andra personer, ofta närmaste arbetskamraterna. Den kognitiva mätningen av EQ (som jag förespråkade) har däremot lyst med sin frånvaro, åtminstone i arbetslivets bedömningstjänster.

Men åter 14 år tillbaka i tiden, detta sade jag på Stiftelsen för Tillämpad Psykologi (STP) testdag år 2000

• Mät IQ & EQ med prestationsmått (dvs den kognitiva definitionen)
  Mät personlighet med personlighetsinstrument (den andra definitionen)
  Om tio år kommer den generella intelligensfaktorn bestå av både känslo- och begåvningsmässig variation som mäts med prestationsmått (dvs den kognitiva definitionen)

Vad säger då forskningen idag?

2010 publicerade Joseph & Newman resultat som såg otroligt lovande för att den personlighetsdefinitionen verkligen bidrog till att förutsäga arbetsprestation, särkilt i yrken inom omvårdnad. Medan mätningar av den kognitiva aspekten av EQ visade på betydligt lägre kriterievaliditet (Anders Sjöberg, 2000 hade tokfel). Men läser man noga Joseph & Newman så var de själva förvånade av resultatet och lanserade inte på något sätt att detta resultat skulle generaliseras helt och hållet. Jag var och lyssnade på ett seminarium om EQ på SIOP 2011, och där fanns det naturligtvis stor förhoppning för de som hade hoppat på EQ-tåget, men forskarna, som alltid betonade att ytterligare forskning behövs innan vi kan säga hur detta praktiskt ska användas.

I senaste numret av Journal of Applied Psychology publicerar samma forskargrupp nya resultat (se referens nedan, Joseph et al, 2014). Forskarna går igenom samtliga resultat som behandlar den personlighetsmässiga definitionen av EQ och jämför mätningen av personlighet och dessa mätningars prediktiva kraft att förutsäga arbetsprestation. Vid en jämförande analys av EQ mätningar och personlighetsmätningar bidrar inte EQ något till att förutsäga vem som kommer prestera bra eller dåligt på arbetet. Närmare bestämt förklarar en kombination av IQ, kognitiv IQ, självrapporterad tidigare prestation, självförtroende, samvetsgrannhet, extraversion och emotionell stabilitet det mesta av variationen av EQ som det mäts i praktiken. Eller än mer förenklat, EQ handlar om personligheten i form av emotionell stabilitet och extraversion. När dessa faktorer konstanthålls mot kriteriet finns det noll procent av tilläggsvaliditet när EQ mäts enligt principen att EQ är en egenskap skilt från de kognitva delen av intelligensen. Så, för 14 år sedan hade jag rätt, detta är kejsarens nya kläder, men jag hade fel det är inte så att den den generella intelligensfaktorn består av både känslo- och begåvningsmässig variation som mäts med prestationsmått.

Vad betyder då detta praktiskt; ni som använder EQ i urvalsprocessen behöver inte byta det mot ett mått på personlighet (det är typ samma sak), ni som använder personlighet mätt med ett bra femfaktortest behöver inte heller byta (det är typ samma sak). Ni som använder EQ som en hjälp i utvecklingsarbetet ska var medveten att ni till stor del mäter personlighet när ni tolkar ert EQ mått.

Referenser

Joseph, D. L., & Newman, D. A. (2010a). Discriminant validity of selfreported emotional intelligence: A multitrait–multisource study. Educational
and Psychological Measurement, 70, 672–694. doi:10.1177/
0013164409355700

Joseph, D. L., & Newman, D. A. (2010b). Emotional intelligence: An integrative meta-analysis and cascading model. Journal of Applied Psychology,
95, 54–78. doi:10.1037/a0017286

Joseph, D. L., Jin, J., Newman, D. A., & O’Boyle, E. H. (2014, September 22). Why does self-reported emotional intelligence predict job performance? A meta-analytic investigation of mixed EI. Journal of Applied Psychology. Advance online publication.
http://dx.doi.org/10.1037/a0037681