Akademisk kvart: Effektivare forskning och säkrare forskningsresultat

Vad är sant i vetenskaplig mening?

Inom vetenskap är hypoteser mycket centrala.

En hypotes är ett påstående om hur något ligger till.

Ett påstående som går att testa.

Vetenskapsteoretiker menar att när en hypotes är sann så kan man använda den för att förutspå framtiden.

Men när en hypotes är falsk så kan man inte det.

I kärnan av detta finns något som vi kallar replikerbarhet,

nämligen att vi behöver upprepa samma sak flera gånger för att kunna säga att något är bevisat.

När något är bevisat så agerar vi utifrån att det är sant

fram tills att någon annan eventuellt motbevisar det.

Om jag genomför ett experiment och hittar att personer som blir tillsagda av en auktoritet

tenderar att lyda i större utsträckning än personer som blir tillsagda av en icke-auktoritet.

Men min kollega som upprepar min studie hittar inte att auktoritet leder till lydnad

och en tredje kollega hittar inte heller det här sambandet.

Kan vi då säga att auktoritet leder till lydnad?

Kanske men kanske inte.

Det här sambandet tycks åtminstone vara betydligt mindre robust än vad vi först trodde.

Traditionellt sett har det varit väldigt ovanligt med replikeringsstudier,

och när det kommer till psykologiska studier i den publicerade litteraturen,

så är uppskattningsvis 1 av 100 studier replikeringsstudier.

Detta betyder att det finns många obekräftade fynd.

Under senare år har vi inom psykologin hamnat i nåt som man kallar "replikeringskrisen",

vi har en svårighet att upprepa resultat när vi provar att bekräfta dem i efterhand.

Detta har fått forskare att identifiera problem med den klassiska forskningsprocessen och att föreslå nya sätt.

Jag kommer att prata om hur den traditionella forskningsprocessen ser ut,

men också om den nya rörelsen som försöker föreslå förändringar som kan hjälpa till att

både åtgärda och förhindra att vi får problem med bristande replikerbarhet.

Avslutningsvis kommer jag ge några exempel från mitt eget forskningsprojekt

som är fokuserat på just replikeringsstudier.

Forskning börjar med att identifiera ett problem.

Till exempel vet vi att polisen behöver förhöra misstänkta gärningspersoner i en brottsutredning.

Men hur kan de avgöra när någon ljuger eller talar sanning?

Ett sånt här problem får mig som forskare att ställa upp en hypotes,

till exempel att sanningssägare uttrycker sig mer detaljerat när de pratar jämfört med lögnare.

Utifrån en hypotes lägger jag upp en plan för hur jag kan testa den här hypotesen.

Jag kanske bjuder in personer till labbet där jag ber hälften att ljuga och hälften att tala sanning

och därefter jämför jag innehållet i det de säger, till exempel räknar antal detaljer.

Jag skriver sen ihop en rapport där jag beskriver bakgrunden till min hypotes,

om den fick stöd eller inte och vad det här betyder.

Rapporten skickar jag till en vetenskaplig tidskrift

och där går den igenom vad man kallar en "peer-review".

Peer-review är den kvalitetssäkring som gör att något kan kallas för vetenskap.

Det är det yttersta beviset på att din studie håller tillräckligt hög kvalitet,

exempelvis att du gjort rätt analyser,

driver rimliga teoretiska resonemang och drar rätt slutsatser utifrån det du hittat.

I många fall får forskare avslag på sina manus efter att experter har lämnat feedback.

Tyvärr har man sett att det uppstår allvarliga problem under den här processen,

som kan hota tillförlitligheten i forskningsresultaten.

Mycket har att göra med den flexibilitet som finns i att samla in, analysera och rapportera data.

Det finns väldigt många sätt att vrida och vända på en studie.

Medvetet eller omedvetet.

En omständighet som kan förvärra det här har att göra med hur publicering typiskt sett ser ut.

Vi forskare än nämligen mycket pressade att publicera våra forskningsfynd.

Och inte bara att publicera utan att publicera mycket och gärna i fina tidskrifter.

Detta påverkar om vi får en fast tjänst eller om vi får nya pengar att forska för.

Det här är vårt CV.

Vissa fynd är tyvärr betydligt lättare att få publicerade än andra.

Vetenskapliga tidskrifter tenderar att föredra positiva fynd

framför blandade resultat eller så kallade "noll-fynd".

Sensationella rubriker så som "Så här avslöjar du en lögnare"

är betydligt lättare att få publicerade och att få uppmärksamhet för än tråkigare men stabilare fynd

där vi inte hittar så stora skillnader mellan lögnare och sanningssägare, vilket är den stabila trend vi ser.

Detta fenomen kallas för "publicerings-bias" och kan få allvarliga konsekvenser.

Ibland bryr sig forskare inte ens om att försöka publicera sina fynd

vilket gör att forskningsresultat som borde bli synliga blir liggande på forskares kontor.

Detta ger i slutändan en skev bild av fenomenet och av verkligheten.

Denna publiceringstradition ger upphov till fler problem.

Detta kan exempelvis locka forskare att använda sig av tveksamma forskningsmetoder.

Ett sånt beteende kallas "p-hacking".

När vi testar om en hypotes stämmer eller inte så brukar vi ta fram ett "p-värde".

P-värdet säger i princip hur oväntat ett uppmätt resultat vore i

händelsen av att vi inte hade en skillnad mellan grupperna.

Om p-värdet är tillräckligt lågt så säger vi att resultatet är statistiskt signifikant.

Då tänker vi att det vore väldigt osannolikt att se de här skillnaderna i medelvärden mellan grupperna,

säg att vi har ett experiment med två grupper,

ifall det inte fanns en systematisk skillnad i verkligheten,

och drar då slutsatsen att de här grupperna skiljer sig åt.

Tyvärr har vi ibland så små stickprov vilket gör att det ser ut som att vi har en skillnad mellan två grupper

trots att det inte förhåller sig så i verkligheten utan är ren slump.

Ibland har vi också många variabler vilket gör att det finns många sätt att analysera data på.

P-hacking innebär att en forskare väljer den analysmetod som ger ett signifikant resultat

över de icke signifikanta.

Och att fiska efter signifikanta resultat på detta sätt sker ofta omedvetet.

De flesta forskare har givetvis goda avsikter

men ett psyklolgiskt fenomen som kallas "bekräftelse-bias" gör att vi ofta

söker efter och tolkar information i linje med vad vi tror, eller gärna vill tro, är på ett visst sätt.

När vi dessutom har gjort något under lång tid eller har mycket investerat i en fråga

så är vi än mer benägna att hamna i den här fällan.

Och trots att det är vårt jobb som forskare att vara objektiva så hamnar även vi i den här fällan.

Vissa menar att denna tendens är så stark att vi behöver ha tydliga system och skydd

som tvingar oss bort från att göra subjektiva bedömningar.

På grund av problemen man sett i den klassiska forskningsprocessen så

sker det idag ett slags paradigmskifte i hur man bedriver forskning.

En positiv utveckling är att det blir mer och mer vanligt att göra replikeringsstudier

och idag finns det till och med tidskrifter som aktivt efterfrågar denna typ av studie.

En annan positiv utveckling är att det blir mer populärt att skriva så kallade "förregistrerade rapporter".

Det betyder i princip att man gör samma sak som tidigare fast i en annan ordning

och det finns större krav på att dokumentera alla sina beslut.

Man börjar med att skriva en utförlig plan för vad man tänkt göra,

vilken metod man kommer att använda,

vilka protokoll och analyser man tänkt göra på sin data.

Man specificerar hur stort stickprov som behövs för att

kunna dra tillförlitliga slutsatser.

Man skriver till och med ner sina

hypoteser och låser dem så att man inte kan göra några korrigeringar i efterhand.

Man skriver ihop hela rapporten, som den ska se ut i publicerat skick, men med undantag för resultaten.

Resultaten kommer in senare.

Peer-reviewn, feedbacken från experter,

sker innan man går ut och samlar in data.

Och detta kan i många fall vara rimligt då en datainsamling kan vara en dyr och lång process.

Så det är bra att det går rätt till från början.

När man får tummen upp från tidskriften

blir man lovad att studien blir publicerad oavsett vilka resultat du får,

vilket tar bort en del av incitamenten som jag pratat om tidigare

att fiska efter de positiva och smaskiga resultaten som man vet lättare blivit publicerade i litteraturen.

Parallellt med förregistreringar och replikeringar så finns det idag ett större krav på oss forskare

att dela allt vårt material.

Idag laddar fler och fler forskare upp sitt material, sina enkäter, intervjuprotokoll, sin data

och sin kod för analyser på olika lagringsplatser på nätet, för andra forskare att titta på.

Detta gör det mycket lättare för andra forskare att upprepa din studie, göra en replikeringsstudie,

för att bekräfta ditt fynd.

Det blir också möjligt för andra att gå in och granska och leta efter fel så att dessa kommer upp till ytan i god tid.

I och med Corona-pandemin har det faktiskt blivit än mer tydligt hur viktigt ett sånt här system kan vara.

Ibland hamnar vi i oväntade och kritiska situationer i samhället som gör att vi,

under en kort tid,

behöver samordna material och data från hela världen

och dra slutsatser från dessa.

Och då kan faktiskt transparens och tillgänglighet vara på liv och död.

För att illustrera det här nya sättet att bedriva forskning på

tänker jag ge några exempel från mitt eget forskningsprojekt.

Jag hade nämligen problem med att tillämpa en

psykologisk teori på mitt arbete under flera år.

När mina kollegor och jag till slut tröttnade

så började vi granska litteraturen mer kritiskt.

Vi såg då tecken på både publicerings-bias och att man använt väldigt små

stickprov i sina studier,

så vi har goda anledningar att tro att fynden inte håller för upprepade försök.

Så det vi gör nu är att utvärdera hur robust den här teorin är

genom att genomföra replikeringsstudier på nyckelfynd som den här teorin vilar på.

Och vi har bjudit in folk från hela världen att delta i den här studien.

Vi har för närvarande 80 olika labb från 30 länder från alla världens befolkade kontinenter

som ska samla in data till samma studie.

Detta gör att vi kommer att ha

tillräckligt mycket data för att kunna

dra slutsatser som inte är känsliga för slumpvariationer.

Vi skriver ihop en rapport för den här studien

trots att vi inte kommer att samla in data förrän tidigast nästa år.

Då kommer rapporten och studien ha gått igenom peer-reviewprocessen

och vi blir lovade publicering oavsett vilka resultat vi hittar.

Detta gör att vi kommer kunna luta oss tillbaka och vänta in datan

utan att oroa oss för om det kommer att vara publicerbart.

Trots de utmaningar jag tagit upp här

vill jag understryka att den vetenskapliga metoden är det absolut bästa sättet vi har

att säga hur något ligger till och hurvida något är sant eller inte.

Mitt projekt kan vara ett exempel på att det händer väldigt positiva saker i rätt riktning.

Vetenskapsrådet som är Sveriges största statliga forskningsfinansiär har finansierat detta

och det är det första i sitt slag inom psykologin.

Detta visar att trots de här problemen så är vi

på väg mot en bättre forskning.