Sökningar som görs för en systematisk översikt bör genomgå en kritisk granskning, en peer-review. Det kan ske inom forskargruppen, eller ännu hellre genom att anlita någon utanför gruppen.

En första granskning kan genomföras med stöd i checklistor. Vanliga kontrollpunkter är

• Hur väl har vi översatt vår sökfråga till en sökstrategi?
• Hur har vi kombinerat de ingående blocken?
• Har vi hittat alla relevanta kontrollerade termer?
• Har vi gjort en noggrann fritextsökning?
• Har vi gjort rätt när vi överfört strategier till andra databaser?
• Har vi använt begränsningar och filter på ett genomtänkt sätt?

En mer detaljerad genomgång av dessa punkter finns i artikeln PRESS Peer Review of Electronic Search Strategies: 2015 Guideline Statement eller i förkortad svensk översättning av Karolinska Institutets bibliotek, PRESS 2015: checklista för sökstrategier.

Artikeln kan användas som en checklista för att se om man förbisett någon del i en sökning.

En faktor som kan påverka våra sökresultat är den kognitiva bias man har med sig. Genom att vara uppmärksamma på detta finns det möjligheter att förbättra sitt arbete, att minska risken att få ett färgat, vinklat eller rent felaktigt sökresultat.

Nedanstående exempel kan tillämpas på hela sökprocessen. Exemplen kan också användas för att granska hela processen runt arbetet med en översikt.

Bekräftelse – att mest använda och fokusera på information man redan känner till, och som därför bekräftar och styrker sådana åsikter och kunskaper man redan har.

Tillgänglighet – att i störst utsträckning lita på verktyg och resurser man har lätt tillgängliga, först kommer att tänka på eller har bäst kunskap om.

Fokusering – att i något skede fokusera på en aspekt eller på en mindre del av frågeställningen kan vara oundvikligt, men får inte ske genomgående, alla aspekter och alla delar av frågeställningen måste få en rättvisande tyngd i sökningen.

Ankare – att lägga för stor vikt vid tidiga resultat kan ge en ovilja att utveckla nya tankar under sökprocessen.

Ersättning – att förstå ett komplext problem bara på en allmän nivå, kan leda till förlust av viktiga aspekter eller att ersätta det med ett förenklat, och ibland felaktigt, resonemang, som inte fångar problemets hela vidd.

Funktioner hos verktygen – att i för stor utsträckning lita på funktioner och teknik i databaser kan vara riskfyllt, t. ex. om vi i för hög grad förlitar oss på de begränsningsalternativ som finns i databasernas gränssnitt.

Sökmättnad eller för tidigt avslut – att tro sig ha hittat allt, innan man verkligen gjort det. Om antalet träffar blir väldigt stort, kan det leda till beslut som orsakar brister i sökresultatet. Ett bristfälligt resultat kan också uppstå om man inte hittar någonting som verkar relevant och därav kanske för tidigt, drar slutsatsen att väldigt lite eller ingenting finns skrivet inom området.

Övertro på andras förmåga – experters detaljkunskap kan vara svår att överföra till kollegor verksamma inom andra områden och yrken. Utan en noggrann kommunikation riskerar man att missförstånd uppstår.

Övertro på egen förmåga – en för stark tillit till gruppens egen förmåga, som leder till en ovilja att inhämta kunskap och åsikter från andra, vilket kan missa potentiellt viktiga samarbeten.

Några strategier och förhållningssätt för att minska risken att begå de misstag som skisserats ovan kan vara att:

• Inse att varje sökprocess är unik och behöver en nystart
• Reflektera över sitt tänkande, vara självkritisk, inte ha för bråttom
• Förenkla, utan att påverka ämnet
• Tänka brett, försöka hitta alternativ – i söktermer, verktyg, metoder
• Föra anteckningar, inte lita på minnet
• Utbilda sig, ta hjälp av andra
• Hålla sig uppdaterad, verktyg tillkommer och förändras
• Söka feedback, peer-review, kanske först inom sin grupp, men i ett senare skede även utanför den

(I stor utsträckning baserat på Jeannine Cyr Gluck, "How searches fail: Cognitive bias in Literature Searching", https://doi.org/10.1080/15323269.2020.1702839)

Lika väl som det kan vara en viktig hjälp att granska andras sökningar när man utformar egna, ska man vara medveten om att fel begås i många arbeten.

Ett sätt att lära av detta är att se vilka sökrelaterade misstag som brukar uppstå. En studie gjord på systematiska översikter och meta-analyser inom medicin visade att 92,7 % av dessa hade brister i sina PubMed-sökningar, brister som i 78,1 % av fallen påverkade sökresultatet negativt.

De vanligaste felen var:

• Saknade synonymer
• Bristfällig täckning av synonymers olika varianter,som olika stavning, ändelser
• Brist på kontrollerade ämnesord, eller bristfälligt utnyttjande av dem

(Baserat på https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6466507)  Se även Sampson M. & McGowan J. (2006). Errors in search strategies were identified by type and frequency. Journal of Clinical Epidemiology, 59(10), 1057-63. https://doi.org/10.1016/j.jclinepi.2006.01.007 /JW]

Som forskare eller doktorand vid LiU har du möjlighet att konsultera en bibliotekarie, exempelvis när du ska göra en systematisk litteraturöversikt. Utifrån din specifika problemställning diskuterar vi tillsammans frågor som exempelvis rör:

• val av databaser och sökverktyg
• val av söktermer
• utformning av söksträngar
• dokumentering av sökprocessen
• hantering av sökresultat

Boka sökhjälp genom detta formulär:
Sökhjälp för forskare