Psychometrics välkomnar ny testutveckling i Norden. Hjälp Pearson Assessment utveckla nya personlighetstest.

Pearson Assessment utvecklar nya arbetspsykologiska test och genom att besvara ett antal frågor om hur du tänker, handlar och känner i olika situationer, bidrar du till kvalitets-säkring av test som används i olika utvecklings- och omställningssituationer i arbetslivet. 

Som tack får du din personlighetsprofil skickad till din e-postadress.

Vill du besvara frågorna på svenska, så klicka här för att läsa mer om projektet och anmäla dig.

Vil du fylle ut på norsk, så klikk her for å lese mer om prosjektet og melde deg på.

Vil du udfylde på dansk, så klik her for at læse mere om projektet og tilmelde dig.

Vidarebefordra gärna denna sida till andra som kan vara intresserade av att delta.

Tack på förhand för att ni hjälper till att utveckla tillförlitliga test med realistiska normer för den Nordiska marknaden.

Anders

I en färsk avhandling presenteras intressanta resultat avseende olika typer av begåvningstest. Det är Bennet Eugene Postlethwaite som har samlat alla publicerade studier genom åren som undersökt begåvningspoängens prediktiva kraft till olika kriterier, var av ett kriterie är arbetsprestation.

Vad vi vet innan är att begåvningstest, ofta lite slarvigt definieras som generella intelligens test (g), vilka förutsäger arbetsprestation, men denna avhandling tar frågeställningen vidare och visar hur olika typer av test skiljer sig åt i prediktionskraft. Författaren delar in begåvningstesten i tre olika typer av test; Gf (fluency), Gc (Crysstalized), GCA (General Cognitive Ability). Exempel på Gf test är det vi känner bäst i Sverige och Norge som Ravens Matriser, Matrigma och Bomat Advanced. Gc test kan vara kombinationer av synonymer, motsatser och språkliga analogier. Ett annat typ av Gc test är högskoleprovet (Sverige), eller olika typer av språktest. GCA är det vi kallar g test i Sverige, generella intelligens test med många olika slag av problemlösning, tex Instruktionsprovet, det militära inskrivningsprovet, Wechsler skalorna, BasIQ och Wonderlic.

Postlethwaites övergripande jämförande resultat visas här till vänster. Av resultatet går att utläsa att det, något överraskande, är Gc test (språklig buren information) som har den största prediktiva kraften. Författaren förklarar att resultatet kan bero på att Gc test handlar om vad man lär sig och att arbeta handlar om att lära sig jobbet. Som teoretiska förklaring används Cattells Investment Teori som postulerar att det är Gf som påverkar Gc och inte tvärtom. Gc blir då ett bra mått på vad du har lärt dig fram tills den tidpunkt när du gör testet, givet din medfödda nivå på Gf. Inlärning är viktig i arbetssammanhang, därför den relativt höga korrelatioen mellan Gc och arbetsprestation, menar författaren. Det finns argument också för att använda Gc test eftersom dessa inte diskriminerar äldre arbetssökande, det är väl känt att Gf sjunker med ålder medan Gc är stabilt eller ökar.

När sedan resultatet delas upp i låg, mellan, hög-komplexa arbeten ser resultatet ut så här (se grafen nedan). Gf test har en hög prediktiv kraft särskilt i hög-komplexa arbeten. Gc test har en jämnare fördelning, men fortfarande differentierande över komplexitetsgrad och GCA test visar ungefär samma resultat. Det bekräftar vad vi vet från tidigare forskning om arbetskomplexitet och dess modererande effekt på sambandet mellan begåvning och arbetsprestation, men detta resultat visar att det är särskilt Gf test som utmärks av denna effekt.

Den praktiska implikationen av detta är; när det gäller prediktiv kraft kan med fördel Gc test användas för att förutsäga arbetsprestation. Å andra sidan så förutsäger Gf test mycket väl arbetsprestation i hög-komplexa arbeten, men inte i låg komplexa arbeten. Fördelen att använda Gf test (icke verbala test) är naturligtvis att det inte krävs att testtagaren kan språket väl. Dessutom är det betydligt svårare att utveckla bra reliabla verbala test i jämförelser med Gf test. GCA har i princip samma prediktiva kraft i jämförelse med Gc test, att adminsitrera ett GCA test som på olika sätt mäter den generella intelligensen har en stor fördel eftersom det mäter det breda begreppet generell intelligens, nackdelen är att det tar ofta lite längre tid att administrera eftersom dessa test (tex BasIQ) ofta är mer omfattande i jämförelse med Gf och Gc test. Om leverantören av test rekommenderar ett Gc test bör leverantören kunna visa hög intern konsistens i testet (god reliabilitet), att det finns i likvärdigt psykometriskt sunda språkversioner, samt visa på god kriterierelaterad validitet.

Min rekommendation är att inte förlita sig enbart på test som mäter en problemlösningsförmåga, och att alltid inkludera någon typ av språklig problemlösningsförmåga i er bedömning. Var försiktiga att administrera endas Gf test (Matriser) för att fatta viktiga beslut. Det är förvisso ett rent mått på intelligens (som har en stark ärftlig komponent), men risken är att ni missar det som individen lärt sig fram till nu, en komponent som är väl så viktig att kartlägga för att förutsäga kommande arbetsprestation. Om rådet inte följs är risken att den prediktiva kraften förloras, särskilt i lågkomplexa arbeten.

Referens

”Fluid ability, crystallized ability, and performance across multiple domains: a meta-analysis.” dissertation, University of Iowa, 2011.

Avslutande Kommentar

Avhandlingen behandlar också akademisk framgång och ”training performance” där mönstret i resultatet liknar det som redovisas ovan.

När psykologiska test granskas i Europa används ”EFPA REVIEW MODEL FOR THE DESCRIPTION AND EVALUATION OF PSYCHOLOGICAL AND EDUCATIONAL TESTS” som kriterie för vad som ska granskas av de bedömare som genomför granskningen. En arbetsgrupp bestående av Arne Evers (chair, the Netherlands), Carmen Hagemeister (Germany), Andreas Høstmælingen (Norway), Patricia Lindley (UK) José Muñiz (Spain) och Anders Sjöberg (Sweden) presenterade en revision av de riktlinjer som gäller idag på ett möte i Bryssel förra veckan.

EFPA Board of Assessment som är den grupp som handskas med testrelaterade frågor röstade JA till att denna version kan gå ut på offentlig remiss i början av 2013. Förhoppningsvis kommer de nya riktlinjerna att gälla från hösten 2013. Även om de nya riktlinjerna bygger mycket på de gamla så är det några förändringar som bör poängteras. För det första så har ett längre avsnitt om validitet lagts till som förklarar ett ställningstagander att ett test inte isolerat kan valideras, utan måste sättas i relation till vilka beslut som ska tas efter att testpoängen räknats fram. För det andra har det tydliggjorts att de testförlag som säger att deras test går att användas för en mängd olika områden (utveckling, urval) behövs det mer bevis i jämförelse med förlag som säger att deras test är framtaget för ett syfte (urval inom försäljning). För det tredje har avsnittet om datagenerade tolkningsrapporter arbetats om, här bör granskningen inte bara titta på kvalieten i rapporterna utan också granska hur väl valideringsstudierna stödjer texten i datarapporten. Det går sålunda inte att komma undan med att redovisa en korrelation med ett kriterie om man inte också kan redovisa hur det hänger samman med vad som sägs i rapporten.

Ett längre avsnitt är nu ägnat åt en beskrivning vilka normer som använts och vilken rational som finns för hur dessa har räknats fram. Skrämmande många uppdragsgivare och leverantörer vet idag inte hur normerna räknats fram, vilket kan få vida konsekvenser vid beslutsfattande. På marknaden finns det företag som idag räknar fram särskilda normer för kunder (sk egna normer) som inte hänger ihop med resultatet som genereras av testsystemen.

När de nya riktlinjerna är klara får det konsekvenser för de organisationer som idag sköter testgranskningen i olika länder. I Norge är det Det Norskes Veritas (DNV) och i Sverige är det Stiftelsen för Tillämpad Psykologi (STP) som är ansvariga för att granska testkvaliteten. I England är det British Psychological Society (BPS) och i både Spanien och Nederländerna är respektive psykologförbund ansvariga för granskningen. Även om alla dessa länder har samma utgångspunkt, EFPA REVIEW MODEL, så är tillvägagångssättet vid granskningen olika. I Sverige och Norge får testförlag betala för att bli granskade, i övriga länder är det gratis. I Spanien och Nederländerna granskas alla typer av psykologiska test, i Norge och Sverige granskas bara test som används för arbetspsykologiska beslut.

Endast i Norge är den slutliga rapporten hemlig i den mening att det är det betalande förlaget som äger rapporten. I övriga länder är rapporten offentlig, i en del länder kostar det pengar att köpa rapporten i andra länder är det gratis. Endast i Norge och England godkänner eller underkänner man test, i övriga länder arbetar man efter den amerikanska modellen att granskarna beskriver kvaliteten i materialet och i valideringsstudierna. I Norge får testförlagen vara med och bestämma vilka som ska vara granskare, i Sverige utser STP granskare vars namn är anonyma.

Det är inte så av automatik att ett granskat test i ett land är granskat i andra länder, och det är inte heller riktlinjernas mål. Sålunda kommer inte test i framtiden godkännas eller underkännas av EFPA, det är upp till förbunden och marknaden i respektive land att bestämma hur riktlinjerna ska användas. I nästan alla länder görs och en anpassning av riktlinjerna, så faktum är att inte något land har samma system. Psychometrics meddelar i början av nästa år när riktlinjerna går ut på remiss, endast förslag som i texten är konkretiserade kommer att behandlas av arbetsgruppen. Innan riktlinjerna faststlås måste den nya modellen godkännas av ledningsgruppen i EFPA.

Känslomässig stabilitet påverkar dig i ditt dagliga liv, inte minst ditt arbetsliv. Genom din känslomässiga stabilitet filtreras vad du i vardagen upplever. Även om din arbetsglädje påverkas av en mängd olika saker dagligen (en dålig chef, för hög belastning, hot om konkurs, taskiga arbetskamrater och för lång resväg till jobbet) spökar dina känslomässiga förutsättningar hur du upplever din chef, arbetskamrater och arbetsbelastning. Urvalsgruppen kommer titta närmare på detta när vi följt 83 anställda över fem år, kartlagt deras känslomässiga stabilitet och deras känslomässiga arbetsglädje.

Känslomässig stabilitet säger något om hur säker eller osäker en person är på sig själv, hur väl personen kan motstå impulser, på vilket sätt stress hanteras och vilken sinnesstämning personen i allmänhet har. En del personer blir lättare irriterade och frustrerade och är mer benägna att känna nedslagenhet och pessimistiskt tänkande. De stabila personerna däremot låter sig inte påverkas av yttre omständigheter och känner sig inte nedslagna av motgångar. Dessa personer ger ett intryck av att vara självständiga individer som tar vara på sig själva. Andra uppfattar dessa personer som jämna i humöret och utan skuldkänslor. De har en förmåga att motstå impulser och frestelser vilket gör att de sällan hamnar i problemfyllda situationer på jobbet på grund av förhastade eller behovsdrivna beslut.

Känslomässig stabilitet har visat sig i studier vara den faktor som bäst, av de fem breda personlightetsfaktorerna, som förutsäger senare arbetstrivsel. Redan på 30-talet fann man detta positiva samband, men sedan glömdes den forskningen bort. Inte förrän på 80-talet började den frågeställningen undersökas igen, denna forskningen sammanfattades i en meta-analys 2002. Resultatet visar att fyra av fem faktorer (Stabilitet, Extraversion, Sympatiskhet, Målmedvetenhet) visade sig ha en en positiv effekt på hur grad av arbetsglädje. Stabilitet hade den starkaste effekten på arbetstrivsel.

Urvalsgruppen vid Stockholm universitet, psykologiska institutionen, har följt 83 individer under 5 år, kartlagt deras känslomässiga stabilitet, mätt deras arbetstrivsel för att utröna hur den känslomässiga stabiliteten påverkar skillnaden i den inter-individuella utvecklingen av arbetstrivsel över tid (skillnaden mellan medarbetare), och den intra-indivudella utvecklingen av arbetsglädje (individernas förändring av arbetsglädje över tid), givet deras känslomässiga stabilitet när de anställdes. Resultatet kommer förhoppningsvis kunna presenteras redan i sommar vid den europeiska kongressen i psykologi som anordnas i Stockholm 2013.

Referenser

Fisher, V. E., & Hanna, J. V. (1931). The dissatisfied worker. New York: Macmillan.

Judge, T. A., Heller, D., & Mount, M. K. (2002). Five-factor model of personality and job satisfaction: A Meta-analysis. Journal of Applied Psychology, 87, 530-541

Staw, B. M., Bell, N. E., & Clausen, J. A. (1986). The dispositional approach to job attitudes: A lifetime longitudinal test. Administrative Science Quarterly, 31, 56–77.

Staw, B. M., & Ross, J. (1985). Stability in the midst of change: A dispositional approach to job attitudes. Journal of Applied Psychology, 70, 469–480.

Det går en våg i näringslivet på epitetet att det lönar sig att vara snäll och sympatisk i sitt arbete. Det skrivs böcker i ämnet, och företrädarna hävdar att klimatet kommer bli mer sympatiskt.

Sympatiskhet ingår också i den berömda fem faktormodellen som beskriver människan övergripande personlighetsstruktur. Denna dimension handlar om i vilken utsträckning vilken ”stil” en person har i sina relationer till andra. Vissa personer är varma, tillitsfulla, snälla, sympatiska och ivriga att hjälpa, andra är mer avvaktande och skeptiskt inställda till sin omgivning och antar lättare ett kritiskt synsätt mot andra människor. I faktorn brukar ibland även ingå egenskaper som ”ömsinthet kontra realism” och ”följsamhet kontra konkurrensinriktning”.

Lönar det då att vara snäll i sina relationer på arbetet? Nu har ett forskarteam i USA med Professor Timothy A Judge i spetsen undersökt detta i fyra separata studier. I inte mindre än tre separata studier undersökte Judge & Co personlighetens fem dimensioner och hur mycket personerna tjänade i månaden. Tillsammans med en mängd olika kontrollvariabler som också analyserades (komplexitet, ålder, status, ansvar, tidigare inkomst etc) är resultatet är tydligt. Att vara osympatisk syns i lönekuvertet, särkilt för män. Män som ligger en standardavvikelse under medelvärdet i sympatiskhet tjänar i snitt 18% mer än män som ligger en standardavvikelse över medelvärdet i sympatiskhet. För kvinnor lönar det också att vara tuffa mot andra, men där tjänar mindre följsamma kvinnor i snitt bara 5% mer än sina snällare medsystrar.

Högre utbildning, tidigare inkomst, status i arbetet och ansvar i arbete var andra faktorer som hade, inte förvånande, ett positivt samband med lönen. Andra personlighetsfaktorers inverkan på lönen visade på skiftande resultat. Enskilda analyser visade att målmedventenhet och emotionell stabilitet var svagt positivt relaterat till lön, medan det var svaga samband som inte gick att generalisera.

I den sista studien testade forskarna hypotesen att män som visar sin varma känsla (där kvinnor ofta har en fördel) inte i lika stor utsträckning bedöms som lämpliga för chefsposter, i jämförelse med sina medtävlare som visar mer av sin skeptiska inställning till andra människor. Indirekt testar denna studie om män som visar sin ”kvinnliga sida” straffas i urvalsprocessen till chefsposter.

Resultatet var tydligt män som visar sin sympatiska sida har inte samma chans att nå en chefsposition i jämförelse med de män som visar mindre värme i relationer till andra. Kvinnor då? Kvinnor som var mindre sympatiska vann över män som var sympatiska, men män verkar generellt ha en fördel till chefsposition.

OK, då kan vi försiktigt konstatera att det är en fördel i löneförhandlingen att vara lite tuffare, men vilka nackdelar har det att vara mindre omtyckt och snäll mot sina arbetskamrater. Ja, de som ligger lågt på sympatiskhet visade sig mindre nöjda med livet utanför jobbet, mer stressad. De hade också ett mindre nätverk och nära vänner. Så detta är medaljens baksida. Det verkar som att de som vinner lönekriget genom att bekräfta sin personlighet måste offra annat.

Så, att vara illa omtyckt av dina kollegor behöver inte vara en nackdel, sannolikheten att du så småningom kommer att ha högre lön än dina omtyckta sociala och varma vänner är ganska sannolik. Det har sin nackdel när det gäller välmående, stress och det social nätverket. Och för att få en chefsroll så bör män tona ned sina kvinnliga drag, annars förlorar både män och kvinnor mot sina osympatiska medtävlare.

Referens

Judge, T.A., Livingston, B.L., & Hurst, C. (2012). Do nice guys—and gals—really finish last? The joint effects of sex and agreeableness on income. Journal of Personality & Social Psychology, 102, 390-407.

Psychometrics kommer kontinuerligt uppdateras med senaste forskningsnyheter avseende bedömningstjänster i arbetslivet. 

Genom att anmäla dig till höger kan du nu följa alla inlägg på Psychometrics direkt i din mobiltelefon. Varje nytt inlägg skickas direkt till alla som anmäler sig. Psychometrics kommer kontinuerligt uppdateras med senaste forskningsnyheter avseende bedömningstjänster i arbetslivet. 

Anders

Validiteten beror på två saker, testets psykometriska kvalitet och användningen av testet. Den psykometriska (och även den teoretiska) kvaliteten ska redovisas i den tekniska manualen, i korthet ska det som teorin säger (ex, det finns tre faktorer) stödjas av den statistik (ex faktoranalys) som redovisas. Om testet sedan ska förutsäga arbetsprestation ska det framgå med önskvärd tydlighet hur bra testet är för detta syfte. Det som inte finns i manualen, finns det inte stöd för och därför ska inte testet användas för andra saker än det är avsett för. Finns det bara valideringsstudier för urval ska samma instrument EJ användas för utveckling, detta begränsar användningen betydligt för vissa test på marknaden.

Ibland redovisas sk lokala studier där testet utvärderas och ibland refereras till meta-analyser (många lokala studier sammanfatttas till ett effektmått). Avgörande för validiten är den samlade mängd stöd som finns för det avsedda användandet. Men, detta är väl ingen nytt tänker du? Nej, det är det inte men tyvärr är det en sak som missuppfattats, nämligen den validitet som finns redovisad i forskningen förutsätter 100% mekanisk sammanvägning av testresultat. Just det, alla valideringsstudier antar att du använder testet mekaniskt och fattar beslutet utan magkänla, fingertoppskänsla, erfarenhet, valideringssamtal, helhetsbedömningar etc etc. Du kan naturligtvis lägga till annan information, men den måste också behandlas mekaniskt och evidens ska finna hur det ska vägas mot varandra, allt enligt ISO 10667. Om du lägger in fel information för beslutet kommer slumpen att vinna över dig, dvs det är bättre att singla slant istället för att ta in fel information för urvalsbeslut, ganska logiskt eller hur!

Listor över olika metoders validitet blir därför ointressant så länge du inte använder test på det avsedda sättet. En av dessa listor och väl använd referens är Schmidt & Hunters metanalys (1998), många pratar om den men få här läst den. Om nu begåvning har en korrelation med arbetsprestation med .65 (Sjöberg et al, 2012), antar forskarna mekanisk tolkning av testpoängen. Om du inte använder mekaniskt tolkning (högst poäng vinner) så sänker du per automatik validiteten i beslutet. .65 är således en övre gräns inte en nedre gräns som vissa tror (du kan inte med din subjektiva förmåga höja validiteten).

Låt mig ge ett exempel, om du har en kandidat som ligger bra till på ett begåvningstest (hög poäng), men istället tar en kandidat som ligger sämre till med argumentet att denna person har ett bra ”track record”, då åsidosätter du allt som finns beskrivet om validitet (om du inte säker på att ditt alternativ har högre validitet i jämförelse med  begåvningspoängen. Ett samband på runt .50 ger dig ett odds på 4 gånger större chans att hitta en toppresterare i jämförelse med att du singlar slant. Detta odds blir osäkert när du tar in andra faktorer som inte är validerade i bedömningen.

Gör så här istället, ta alla testpoäng på skalor som det finns evidens för har ett positivt samband med det du vill förutsäga, och summera. Sedan tar du alla skalor som är dåliga indikatorer (minus samband) på vad du vill förutsäga, summera dem och sedan tar du de positiva faktorerna minus de negativa faktorerna, höga poäng bra, låga poäng dåliga. Använder du ett Big Five test, summera ihop alla faktorer (använd standardpoängen på Stabilitet, Extraversion, Vänlighet, Målmedvetenhet och Öppenhet), strunta i att ”tolka profilen”. Är du bra på excel kan du maximera vägningen genom att lägga in mer precisa mått (regressionsanalys). Men är det så enkelt? Ja det är det, tyvärr har logiken förlorat mot den förhärskande helhetsbedömningen, men det betyder inte att det är för sent att ändra på detta. Krångla inte till det använd huvudet (eller minräknaren) och börja summera. Varför gör ingen det då? Nedan kommer de mest frekventa invändningarna, med mina kommentarer i kursivt.

1. Den mekaniska tolkningen tar inte hänsyn till många faktorer som är viktiga för beslutet

Det är inte heller någon som sagt, mekanisk tolkning handlar inte om VAD man bedömer utan HUR man väger ihop informationen. Tänk att du har 10 olika bedömningsfaktorer om en person, det finns två sätt att väga ihop den informationen, du kan göra det mekaniskt eller intuitivt. Varken den mekaniska eller den intuitiva tolkningen kan hjälpa dig med okända faktorer, de enda som säger sig kunna detta är de personer som spår om framtiden! Du ska inte heller validera ett testresultat i intervjun, intervjun och testresultat ska mäta olika saker och sedan summeras ihop inför urvalsbeslutet. När konsulter säger att de kommer att använda testresultatet som ett diskussionsunderlag kan du vara säker på att testresultatet är värdelöst att använda som beslutsunderlag. Nästa gång du upphandlar rekrytering fråga inte bara vilket test de kommer att använda, fråga HUR de kommer att använda testpoängen, först då kan validitet uppskattas.

2. Den mekaniska tolkningen kan aldrig ersätta en duktig personbedömare

Detta är fel, forskningen är tydlig här. Problemet är snarare att ”duktiga” personbedömare känner sig hotade, den mekaniska tolkningen vänder på en arbets- och affärsmodellen som är accepterad, dvs att köpa ”expertråd” vid urvalsbeslut”. Samma sak som hände inom den amerikanska basebollen kommer hända inom rekryteringsbranschen. För 20 år sedan tjänade talangscouter grova pengar genom att plocka ut de bästa spelarna genom den intuitiva modellen (magkänsla etc). Idag har alla baseboll-lag en databas med prestationsinformation för varje spealare, detta vägs ihop på mekanisk väg för att användas vid urvalsbeslut. Se filmen Moneyball med Brad Pitt i huvudrollen, kolla in sista delen av filmen när Brads rollfigur får erbjudande från Boston, Bostons chef säger att de baseball team som inte ändrar sin rekryteringsmodell kommer att vara som dinosaurier i branschen.

Här kommer trailern (en snabbkurs i evidensbaserat urval)

2. Den mekaniska tolkningen är krånglig

Summera lärde vi oss tidigt i grundskolan och vi gör det inom många områden, tänk dig att du skulle ifrågasätta ICA kassörskan/kassören genom att hävda att din magkänsla säger dig att hen har räknat fel, skulle inte tro det!

4. Människan är komplex och kan inte reduceras till delar som summeras ihop

En mekanisk tolkning motsätter inte att människan är komplex? I urvalsbeslut ska inte den komplexa människans alla delar beskrivas, uppgiften är istället att sannolikhetsbestämma senare prestation. Väl utfört kan man öka oddsen till 6 (i jämförelse med slumpen), men det förutsätter att magkänslan hålls borta. Precis som läkaren ska diagnostisera (sannolikhetskhetsberäkning) och bestämma behandling ska rekryteraren bestämma vem som har största sannolikhet att lyckas i det kommande arbetet. Alla dessa beskrivningar som finns på testmarknaden kan ni sluta att betala för, de hjälper dig inte i ditt urvalsbeslut (även om det känns så).

4. Den mekaniska tolkningen accepteras inte av min kund/uppdragivare

Helt korrekt, det är här skon klämmer, de företag som vågar utmana kommer vinna.

Anders Sjöberg

Referenser

Sjöberg, S., Sjöberg, A., Näswall, K, & Sverke, M. (2012). Using individual differences to predict job performance: Correcting for direct and indirect restriction of range. Scandinavien Journal of Psychology. http://dx.doi.org/10.1111/j.1467-9450.2012.00956.x

Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin, 2, 262–274.