Det är med stolthet jag igår kunde se att en ny version av Matrigma sjösattes (Adaptive Matrigma). Ett forskningsprojekt som pågått i 6 år är nu klart. Det är ett dedikerat team av forskare och programmerare som tillsammans möjliggjort ett test som bygger på den absolut senaste forskningen inom psykometri. Att detta är möjligt är mycket tack vare Fredrik Niemelä som vidareutvecklat en matematisk modell som effektiviserar testförfarandet där syftet är att bestämma en persons logiska problemlösningsförmåga.

Matrigma Classic och Adaptive Matrigma har hel del gemensamt. De delar teoretisk bakgrund vad gäller intelligensens historia, Spearmans g faktor, och synen på mätning av intelligens. Instrumenten delar också syfte, användningsområden, och kopplingar till relevanta utfall. Dessutom delar de item, det är samma uppsättning av item som ingår i de båda instrumenten.

Men, det finns även flera väsentliga olikheter. Dessa olikheter kan tyckas abstrakta och kanske tekniskt avancerade, men de medför tveklöst konsekvenser för användning, premisser för administrering, innebörd av resultat och tolkning.

Även om den klassiska Matrigma i sin utveckling använde Item Response Therory (IRT) i val av item så bygger själva tillämpningen av testresultatet på den klassiska testteorin. Min erfarenhet att många testleverantörer säger sig ha sk adaptiva test men i själva verket är det test som utvecklats inom IRT, men i själva tillämpningen ändock lutar sig mot den klassiska testteorin.

Adaptive Matrigma håller hela vägen in i mål. Den största skillnaden mellan klassiska testteorin och IRT är att den moderna psykometrin inte behöver ge alla kandidater samma frågor och inte heller samma antal frågor. I Adaptive Matrigma anpassar hela tiden vilka av alla 150 frågor som ”passar” testpersonens intelligensnivå. Utvecklingen av adaptive Matrigma har försigåtts av ett gediget psykometriskt arbete där alla 150 items svårighetsnivå bestämts, hur väl varje item differentierar individer och hur stor chans det är att gissa rätt på varje item. Dessa tre aspekter brukar på psykometrispråk benämnas IRT med 3 parametrar.

Den matematiska algoritmen gör att testprocessen kan effektiviseras över 100% tidsmässigt; från 40 minuter till 12 minuter med minst lika träffsäkert resultat. Vad som sker är följande.

  1. Ett slumpvist item med kända svårighetsnivå administreras till testpersonen. Den första uppgiften som administreras är alltid en slumpmässigt vald uppgift på en svårighetsnivå som motsvarar en låg intelligensnivå
  2. Testpersonens rätt eller fel på detta item registreras
  3. Vid ett korrekt svar på den första uppgiften kommer den andra uppgiften som administreras vara ett slumpmässigt valt item på en svårighetsgrad motsvarande en något högre nivå, något svårare således. Vid ett inkorrekt svar på uppgift 1 så kommer uppgift 2 som administreras vara ett slumpmässigt valt item på en svårighetsgrad motsvarande något lägre nivå. Det betyder att trots ett inkorrekt svar på uppgift 1 så kommer testpersonen att administreras en något svårare uppgift, dock ej ett lika svårt som om svaret på uppgift 1 var korrekt.
  4. Valet av tredje uppgift sker på samma premisser som innan med skillnaden att det slumpmässiga itemet vid ett korrekt svar på föregående uppgift kommer att motsvara en svårighetsnivå på medelnivå. Alltså ytterligare något svårare. Vid ett inkorrekt svar på uppgift 2 så administreras ett slumpmässigt valt item som motsvarar en betydligt lägre svårighetsnivå. En testperson kan således avvika från uppvärmningsfasen tidigare än en annan testperson.
  5. Detta bygger på att administreringen av de inledande uppgifterna väljer uppgifter som ligger i underkant i svårighetsnivå. Hänsyn tas således till svaret på föregående uppgifter men valet av nästa item ligger i underkant i svårighetsgrad. Uppgifterna som administreras i denna uppvärmningsfas kan därmed betraktas som begränsat adaptiva. Detta hänynstagande minskas successivt i och med att det blir bättre matchning vartefter ett antal uppgifter administrerats.
  6. När uppvärmningsfasen är passerad har tespersonen ett initialt värde (en sk prior), detta värde är vägledande för nästa steg i den interativa processen.
  7. I nästa steg väljs item baserat på tidigare svar med syfte att ”hitta” testpersonens ”sanna” intelligensvärde.
  8. Detta förfarande fortgår fram tills att två minuter återstår av administreringstiden, som är 12 minuter, då item inte väljs slumpmässigt från den aktuella itempoolen. Uppgifter väljs istället utifrån egenskapen att de har maximalt minsta avstånd i svårighetsnivå till någon annan redan besvarad uppgift. Syftet är att täcka av den aktuella nivån så effektivt som möjligt.
  9. Det slutliga resultatet för en testperson efter denna process ”länkas” sedan till den normgrupp från Matrigma Classic, uttryckt i en C-poäng (0-10).

Detta testprojekt är nog det mest avancerade jag varit inblandad i (ibland långt över min nivå i problemlösning) och ett resultat av att många individer med olika kompetenser tillsammans lyckats tillverka en produkt som kommer hålla många år framöver. Allt från Hunter Mabon som först konstruerade alla item och till alla de på Assessio som jobbar med testplattformen Ascend.

Be proud.

Referens

Mabon, H., Niemelä, F., Sjöberg, A., & Sjöberg, S. (2017). Adaptive Matrigma. Technical Manual. Stockholm. Assessio International.

Not. Rättigheterna till Adaptive Matrigma© innehas av Assessio International. Adaptive Matrigma©  finns i deras web-test plattform Ascend. Om du vill läsa mer om Assessios produkter och Ascend klicka här.