Dag 3 började med en presentation av Professor Stephen Stark från Florida om personlighetstestning. Han började med att berätta om taxonomier inom personlighetsforskning som lett fram till dagens fem-faktor modell och dess underfaktoerer (facetter). En annan aspekt av testning av personlighet är själva skalningen av poängen, berättade Stephan. Den traditionella skalningen är att varje respondent får ta ställning till ett antal påstående om sig själv och ange hur väl detta överensstämmer eller ej med det man tycker om sig själv (tex jag gillar att gå på fest). Detta är det klart dominerande sättet att mäta personlighet. Ett annat sätt är det ipsativa sättet, dvs att respondenten får ta ställning mellan två beteenden vilka som bäst överenstämmer med vad man tycker stämmer (jag gillar att gå på fest eller jag gillar att läsa en god bok). Problemet med det ipsativa systemet är att det inte går att använda i urvalsbeslut eftersom indivden jämförs bara med sig själv (sk inom individ variation), detta betyder inte att det är generellt värdelöst, i tex utvecklingssyfte (utvärderingen menar jag) där det inom individen ska ske en förändring, där kan det ipsativa system fungera alldeles utmärkt. Nu har dock nya psykometriska modeller använts fär att råda bot mot detta, dvs att använda sk ”forced choice scale, eller ”att tvingas ta ställning till skalor” så att även dessa typer av skalor går att använda i urval. Detta kallas för ”ideal point scaling”, eller Thurstone scaling efter hen som lanserade idén. Thurstone menade att individer tenderar att instämma i påståenden (JA eller NEJ) som bäst liknar dem själva, inte som i Likert skalning, mer eller mindre. Stephen och hans kompisar har utvecklat en modell där kandidater får ta ställning till parvisa påstpenden som sedan poängsätts enligt den ”nya modellen”. Metoden bygger på en psykometrisk modell som kallas Item Response Theory, och i detta fall är den flerdimensionnell. Inte heller behöver de två påståenden som presenteras för kandidaten komma från samma skala (tex Sympatiskhet). Istället kan påståendena presenteras huller om buller. Två fördelar kunde Stephan visa med denna nya modell.

1) Mindre känslighet för social önskvärdhet, eller sk Faking
2) När det gäller att förutsäga beteenden utanför uppgiftprestation (tex ledarskap, engagemang) bidrar detta sätt till kriterierelaterad validitet.

En mycket intressant presentation som jag får anledning att att återkomma till, jag tror att Stephen med kollegor faktiskt åstadkommit något, inte helt nytt, men ändå något mycket intressant. Stephen menar att många företag börjar använda denna metod, men först var faktiskt SHL som utvecklade en liknande metod för kommersiellt bruk för nästan tio år sedan. Metoden finns i deras instrument OPQ. Andra instrument är Educational Testing Service FACETS och AONs ADEPT15 (som du kan kolla på nedan) som använder detta nya sätt att poängsätta personlighetstest. Stephen var dock noga med att det finns kritiska studier av denna metod, så en hel del forskning, som vanligt, återstår.

[youtube width=”525″ height=”444″]https://youtu.be/yy62iNEa5D0[/youtube]

Nästa presentation jag lyssnade på var leg psykolog Gerhard Wolgers som berättade om hur stridspiloturvalet går till i Sverige. Gerhard berättade om den gedigna process som varje kandidat går igenom som vill bli svenska försvarets stridspilot. Av ca 1200 sökande sorterar Gerhard och hans psykologpolare bort personer genom en 8-stegs modell. För att göra en lång historia kort kan man säga att det är det klart tuffaste urvalssystemet jag kommit i kontakt med. En mängd olika psykologiska bedömningmetoder används, både kognitiva test och personlighetstest, och naturligtvis viktas den medicinska biten tungt i detta urval, man kan säga att det är de smartaste och friskaste människorna som jagar rysssen om hen kommer. Gerhard som gjorde en väldigt bra presentation fick igång publiken som verkligen var intresserade av att höra mer. Bland många frågor framträdde särskilt en fråga som särkilt intressant för mig, och det var frågan om DMT, Defence Mechanism Test. Frågan kom upp eftersom en tidigare talare på IMTA kongressen hade varit väldigt kritisk till metoden (jag lyssnade inte på det). DMT mäter omedvetna skikt i personligheten som är bortträngda av försvarsmekanismer (defence mechanisms). Metoden utvecklades av Ulf Kragh (1920-2005) vid Lunds universitet på grundval av den s k perceptgenetiska teorin. Med hjälp av ett takistoskop (en apparat med vilken man kan visa bilder, ord och texter med mycket kort exponeringstid) visas en serie bilder, varje bild först 5 millisekunder, sedan 8 millisekunder, därefter 12 millisekunder i små steg upp till 2 sekunder. Varseblivningsprocessen delas på det sättet upp, varigenom de testade personernas individuella sätt att komma fram till vad de olika bilderna föreställer kan följas i detalj.

Detta är faktiskt en metod som har använts av många försvarsmakter genom åren, men kritiken har varit stor mot användandet av metoden då den inte i tillräcklig utsträckning är validerat, åtminstone inte i nutid, menar kritiker. För några år sedan slutade Norges försvar att använda metoden, och nu berättar Gerhard att metoden tagits bort från urvalet till piloter i Sverige. Detta har under många år varit en stor fråga för urvalspsykologer inom försvarsmakten, men nu ska det inte hänga på DMT-resultatet (som använts i slutskedet av processen) om man ska få tränas att flyga JAS plan.

Nästa talare var Christopher Nye från Michigan State University. Professor Nye berättade om test för att mäta intresse som underlag för urvalsbeslut. Så tidigt som 1922 finns de första försöken dokumenterade för att använda intresse test för urval. Meta analyser har dock fram tills nu visat på låga samband mellan intresse och prestation, som delvis nu i senare studier har visat på andra resultat. Christopher menade att anledning till att det nu uppdagats att det kan finnas högre samband mellan intresse och prestation är att de nya studierna mycket noggrannare analyser situationen där personerna ska arbeta i. Alltså, finns det en anpassning mellan det intresse (som alltså inte direkt ska vara jobbrelaterat) som indviden har och vad personen ska göra på jobbet. Någonstans mellan .20-.30 har Christopher och hans team uppskattat sambandet, och det är mycket högre i jämförelse med vad som tidigare uppskattas (faktiskt över 100% högre samband). Inte minst är sambandet högt, inte helt överraskande, när det gäller intresse och utbildningsresultat. Militären i USA har flera intresse test, VOICE som använts av flygvapnet, AVOICE som används av armén och JOIN som används i flottan. Nu har Christopher och hans team fått i uppgift att ta fram ett nytt intresse test som ska används för klassificering av vilka yrken inom det militära som passar bäst för varje sökande. Det finns ungefär 160 olika typer av jobb i USA:s miltära system. Det är en stor utmaning enligt Christopher, och frågan från publiken var naturligtvis när ska vi få ta del av resultat? Christopher lovade inget (vilken är en god egenskap när man är forskare) men till nästa IMTA kongress hoppas han på att kunna presentera de första korrelationerna. Nästa IMTA, nummer 58 i raden! kommer hållas i Delhi, India from 07-11 Nov 2016. Psyhometrics kommer naturligtvis vara på plats.

Dr Stefan Annell inledde eftermiddagens urvalspass med att presentera en av studierna i hans avhandling om hållbar rekrytering. Stefan berättade om att rekryteringsforskningens ensidiga intresse för att förutsäga prestation, Stefan föreslår istället att ”outcomes” som arbetstrivsel och personalomsättning kan vara av intresse för ”selection” forskningen. Sedan presenterade Stefan sin studie ”Means of sustainable recruitment: The Importance of Selection Factors and Psychosocial Working Conditions in Predicting Work and Health Outcomes” som han skrivit tillsammans med Petra Lindfors, Göran Kecklund och Magnus Sverke. Nedan kommer en kort sammanfattning av studiens ”main results” på engelska.

”The overall aim of the present study was to examine the relative importance of selection factors (general intelligence, personality, and physical fitness), measured during recruitment, and psychosocial working conditions (e.g., workload, job control, and job challenge) for four different outcomes (job satisfaction, organizational citizenship behavior, occupational retention, and health). Data came from a longitudinal study of newly hired police officers in Sweden (N = 508), including information from both the recruitment process and a three-and-a-half year follow-up. Results of hierarchical multiple regression analyses show that psychosocial working conditions were far more important than the selection factors in predicting the four outcomes. The strong effects of psychosocial working conditions for new officers’ work-related attitudes and health suggest that employers, to ensure sustainability, need to focus on activities facilitating the organizational and professional entrance of newcomers by providing a sound work climate.”

Efter Stefans utmärkta sammanfattning gick frågan över till publiken. Den första frågan från publiken var om datainsamlingen och mätningen av arbetsmiljö. Stefan säger i resultatet att arbetsmiljön (egentligen hur poliser upplever arbetsmiljön) i jämförelse med individuella differenser såsom personlighet och intelligens är bättre på att predicera arbetstrivsel och utmaning i arbetet. Frågan var om inte detta är ganska självklart då alla arbetsmiljöfrågor som ställs i en enkät har en ”huge correlation” med arbetstrivsel, särkilt om det mäts vid ett och samma tillfälle, menade en i publiken. Kritik fanns också av att använd ordet prediktion när data är insamlat vid ett och samma tillfälle. Stefan svarade att det ändå är intressant att arbetsmiljöfrågorna korrelerar så högt med bland annat arbetstrivsel.

Nästa talare var Elizabeth Rupprecht. Hennes titel på hennes tal var ”Enhancing Personnel Selection with non-cognitive Assessement”.

Elizabeth arbetar på U.S. Army Research Institute for the Behavior and Social Science. Detta institut har en lång tradition att validera instrument för urval i USA:s militära system. Denna studie var inget undantag, proffsigt utförd och tydligt redovisat.

Frågeställningen var enkel, om vi konstruerar ett personlighetstest med den bästa psykometriska tekniken, med item som är speciellt anpassat för militärer, kan detta test ytterligare förutsäga kriterier som är av intresse för USA:s militärer, utöver vad kognitiva test gör? Det är länge känt att kognitiva mått predicerar teknisk prestation bland militärer, men är sämre på att förutsäga tex ledarskap, om miltärerer lämnar tjänsten och engagemang. I linje med resultat från den berömda projekt A studien som visade på kognitiva måtts överlägsenhet att förutsäga prestation har USA använt kognitva test för urvalsbeslut (fullt mekaniskt förstås, alltså med algoritmer som räknar fram vem som är bäst lämpad för jobbet). Tillsammans med intelligenstestet ASVAB har man i den mekaniska tolkningen använt

• Medicinska data
• Betyg från skolan
• Brottsregister

Elizabeth redovisade projektet TAPAS (Tailored Adaptive Personality Assessment System). TAPAS är baserad på den psykometriska modellen, Item Response Theory (IRT) och sk ”Forced choice items”. Resultatet av att kandidater svarar på frågor om sig själva i ca 13 minuter, samt testas med kognitiva test (ca 1 timme) redovisas i tre poäng.

Can do – som består av kognitiva faktorer som ska förutsäga prestation
Will do – TAPAS dimensioner som ska predicera motivation
Adaptation – TAPAS dimensioner som ska predicera motivation att prestera och stanna i systemet.

Svaret efter valideringstudien var positiv, JA, TAPAS ökar den prediktiva kraften. Jag pratade med Elizabeth direkt efter hennes presentation och gratulerade till ett proffsigt arbete, och bad henne skicka den tekniska rapporten som sammanfattar resultatet. Förhoppningsvis återkommer jag till dessa resultat i ett senare inlägg.

Emma Jonsson, Försvarshögskolan, var nästa talare. Tillsammans med hennes kollegor (Lindqvist, Bjelanovic, Lantz, Lindgren & Törner) har de precis påbörjat en studie som ska svara på frågan varför det är så stor frivillig avgång tidigt i mlitärträningen. Som bekant har Sverige gått från allmän värnplikt (7 månaders träning) till frivillgt försvar (13 veckors träning). När den allmänna värnplikten fanns var det ca 7% avhopp från utbildningen, idag är det ca 15% avhopp. Detta kostar naturligtvis en massa pengar för oss skattebetalare och är därför intressant att undersöka. En viktig del i projektet är att de som rekryterar får återkoppling på vilka faktorer som spelar roll i detta mönster, berättade Emma.

Datainsamlingen som pågår just nu använder enkäter där man bland annat frågar om orsaker till avgång, men man kommer också använda selektionstest när orsaker ska analyseras. Även rekryterande psykologer intervjuas. Av de preliminära resultat som rapporterades framkom det att det var flest avhopp de första fyra veckorna och orsakerna bland annat var att rekryterna kom på att detta inte var intressant, något på hemfronten hände, skador vid träningen eller att de kände sig felinformerade vad militärtjänstgöringen verkligen innebar. De som stannade kvar framhöll inre motivation, att träningen/utbildningen var toppen och att de hade gott stöd från anhöriga och vänner. Sammanlagt 70% av de som stannade i 13 veckor valde att stanna i det militära. Emma gjorde en mycket bra presentation, lugn och pedagogisk, det är av intresse jag kommer följa detta projekt de kommande åren.

Avslutade dagen att gå på ett symposium om ”Measuring human capabilities for military environment”. Dagens stora behållning där Professor Kyllonen  berättade om ett projekt som pågått i två år där de främsta forskarna inom mätning av mänskliga förmågor samlat sina erfarnheter i en rapport till det amerikanska miltärväsendet. En sammanfattning av detta ytterst viktiga arbete går att ladda ned HÄR. Eller varför inte lyssna på en sammanfattning av Professor Sackett, ordförande för detta projekt. Ett ord för detta. RESPEKT. Och jag kommer definitivt återvända till detta i senare inlägg.

[youtube]https://youtu.be/5sMrsP39Q_Q[/youtube]

 

IMTA konferensens första talare var professor Gerry Larsson. Gerry har under många år studerat fenomenet akut stress i mil itära situationer (förutom spelat mycket golf fick vi reda på av en av hans doktorander). Istället för att fokusera på forskningsresultat redovisades istället 18 olika praktiska metoder för att minska stress i påfrestande situationer. Allt från att ledare ska visa empati samtidigt som att fokusera på uppgiften som ska lösas, till det faktum att bli medveten om sina grundvärderingar vad som är rätt och fel, diskuterades under denna timme. Bra exempel på när personer som leder verksamhet av miltärt slag lyckas respektive misslyckas i situationen, mycket kan generaliseras till andra situationer med stor påfrestning.

Efter en lunch, där en amerikanare frågade mig om vi alltid äter lax i Sverige, var jag på en session om rekrytering och bedömning. Den första föreläsaren (Kamilla Klein) pratade om begreppet ”precommitmment”, i detta fall hur engagerad kandidaten är innan anställningsbeslutet. I flera studier ska hon, i sin doktorsavhandling, undersöka hur commitment förändras efter att kandidaten börjat i det militära. Tyvärr hade inte data kommit in så det som presenterades var en första pilotstudie av mätningen av ”precommitment. Där fann hon bla att utbildning var negativt korrelerat med ”precommitmment”, och att de hade höga poäng på”precommitmment” skalan fick sannolikt påbörja sin militära karrärbana.

Esther Oprins och Marjoleine Hart från Nederländerna presenterade ett forkningsprojekt om anpassningsförmåga i militärt kontext. Denna studies syfte var att validera ett sätt att mäta individuella differenser i denna förmåga. Resultatet visade på att det finns fog för att säga att denna egenskap kan bedömas av personer som jobbar som miltärer. Ett fynd som påpekades från publiken var att förmågan att handskas med nya situationer inte gick så bra att mäta, själva kärnan i anpassningsförmåga!

Nästa studie som presenterades av Amon LeBlanc och handlade om urvalsproceeen för rekryterare i Canada som rekryterar miltärer. Alltså rekrytering av rekryterare. Efter en gedigen arbetsanalys kom man fram till följande egenskaper som de absolut viktigaste.

• Kommunikation
• Interpersonella egenskaper
• Anpassningsförmåga
• Lagspelare

En struktuerad intervju med sammanslagt 14 frågor utvecklades, samt ett personlighetstest och en skrivtest lades till urvalsprocessen. Detta kommer under de kommande åren att valideras med mått på arbetsprestation. En diskussionsfråga som togs upp från någon i publiken vara att 14 frågor är alldeles för få, hen tyckte att 100 frågor var lagom! Amon LeBlanc var tydlig ”14 questions i enough”.

Näst på tur var Nederländerna som genom Myckel Cremers pratade om deras miltära urvalssystem. Det blev en beskrivning av deras system som var svår att uppfatta, eftersom Myckel inte ville använda mikrofon, trots att publiken bad om det! Jag uppfattade att de använder en enkät, personlighetstest (NEO) och intervju (situationsbaserade frågor som ska mäta 7 olika egenskaper). Det var skillnad urvalskvot mellan olika militära funktioner vilket inte kan ha en förklaring i olika krav eftersom det ställs samma krav om man söker till flottan eller armén. Myckel utmanade i slutet ”sanningar” inom miltärt urval som han menar inte riktigt stämmer:

• Att tidigare beteenden förutsäger senare beteenden
• Intelligens är en god prediktor för prestation i militära sammanhang
• Personlighet är stabilt

Nästa talare var från Norge och heter Henrik Sørlie. Henrik berättade om en valideringsstudie utförd i Norge, men först inledde han att berätta om det norska urvalssystemet. Henrik berättade att ett problem med den norska urvalsprocessen är att den lider av intuitiv tolkning, Henrik referade till Kahneman. För att förbättra urvalet var syftet med denna studie att öka den kriterierelaterade validiteten för officerare som väljs i Norge. Två kriterier användes, 1) Prestation i miltärskolan, och 2) tjänstgöring som officerare 2 år efter anställning. Nu gick det väldans snabbt i slutet, men kontentan var att det var extremt låga korrelationer mellan alla prediktorer och kriterier (har bett om bilderna som visades, så jag kan få mer information om denna intressanta studie).

Dag 1 var slut för mig, men rapporten fortsätter imorgon. Ni som är där får gärna skriva till mig om vad ni tycker om konferensen (info@psychometrics.se)

Ses och hörs imorgon