Van literatuurstudie

tot systematic review

 

Online leerpad

Jo Tondeur & Tom Kuppens
 

Overzicht

 

 

 

 

• Waarom een literatuurstudie?
• Verschillende soorten literatuurstudies
• Wat is systematic review?
• Zoekstrategieën
• Selectiecriteria voor screening
• Codeerprocedures
• Betekenis voor jouw Masterproef?

 

 

Hoe gebruik je dit online leerpad?

Hier vind je een weblink naar bijkomende informatie.

Met deze opdracht kan je zelf aan de slag om de leerinhouden in te oefenen.

Lees deze tekst als achtergrondliteratuur bij deze slides.

Waarom een systematische literatuurstudie?

• Bij onduidelijkheid/onzekerheid
• Bij nieuwe ontwikkelingen
• Wanneer kernvragen niet beantwoord worden
• Richtlijnen voor toekomstig onderzoek
• Beleidsvorming
• In het teken van nieuwe methodes
• ...

Een voorbeeld: onduidelijkheid...

Hoe besmettelijk zijn kinderen nu echt?

Voorbeelden uit onderwijs?

Getting the bigger picture

Heb jij het bredere plaatje van wat speelt binnen het onderzoeksdomein van jouw Masterproef?

Verschillende types literatuurstudies

 

 

There is a paucity of research and publications devoted to

understanding what a

literature review is.

 

(Boote & Beile,  2005)

[http://eppi.ioe.ac.uk/cms/]

Ga na welke van de abstracts op de volgende slides systematische / conceptuele reviews zijn

SYSTEMATISCH

CONCEPTUEEL

Abstract 1

Abstract 2

Abstract 3

Oplossing

Abstract 1: systematisch

Abstract 2: conceptueel

Abstract 3: systematisch

Wat is een systematische literatuurstudie?

Wat is een 'systematic review'? 

 

"Entails a comprehensive search for relevant studies on a specific topic and a critical appraisal of the selected research based on pre-determined explicit criteria. Also uses statistical procedures to correct for bias in studies arising most often from sampling error or measurement error."

 

Bron: Paterson, B.L. (2012)

Wat is een 'systematic review'? 

 

Synoniemen: research synthesis, research review

"Research syntheses focus on empirical research findings and have the goal of integrating past research by drawing overall conclusions (generalizations) from many separate investigations that address identical or related hypotheses. The research synthesist's goal is to present the state of knowledge concerning the relation(s) of interest and to highlight important issues that research has left unresolved."

 

Bron: Cooper, H. (2017)

Wat is een 'systematic review'? 

 

• 4 taken m.b.t. wetenschappelijke informatie
  • lokaliseren van de relevante bronnen
    (zorg dat je geen belangrijke bronnen over het hoofd ziet)
  • screenen van je bronnen op relevantie
  • beoordelen van de kwaliteit van de literatuur 
  • samenbrengen van inzichten
• door gebruik te maken van een transparente, reproduceerbare methode, d.w.z. iemand anders zou dezelfde artikels moeten terugvinden en tot dezelfde conclusies komen

Bron: Nakagawa (2019)

Wat is een 'meta-analyse'? 

 

"Aggregation of quantitative research findings using pre-selected inclusion and exclusion criteria. Entails and estimation of overall effect-size of the primary research derived from the effect sizes of each individual study."

Bron: Paterson, B.L. (2012)

 

"quantitative procedures used to statistically combine the results of studies"

Bron: Cooper, H. (2017)

Verschillende soorten reviews

 

Configuratief of kwalitatief

• tekst als primaire data
• gericht op de ontwikkeling van theorie of een diepgaander inzicht van een fenomeen

 

Aggregatief of kwantitatief

• cijfergegevens als primaire data
• meten van effecten: meta-analyse
  (bv. van een didactische interventie)
• minimaliseren van bias door homogeniteit in geselecteerde studies na te streven

 

Mixed methods

• combinatie van kwalitatieve en kwantitatieve analyse

Synthesis methods (Nakagawa et al., 2019)

Welke methode zou je kiezen in onderstaande situaties?

1. Je wil weten hoe leerlingen team-based learning ervaren? 
2. Je wil weten welke impact transformatief leren heeft op de attitude van leerlingen t.o.v. duurzaamheid?
3. Je wil weten wie de belangrijkste onderzoekers zijn in het domein van entrepreneurial education​?
4. Je wil weten wat er al onderzocht is op het vlak van duurzaamheidseducatie? 

Oplossing

 

1. Systematic review
2. Meta-analyse
3. Bibliographic mapping
4. Systematic mapping

Een stappenplan

Deze verschillende stappen of methodologische keuzes leg je best op voorhand vast in een protocol.

 

• Zo vermijd je reviewer bias
• En creëer je gedeeld begrip tussen jou en je promotor
• Je kan het protocol uiteraard (lichtjes) bijsturen op basis van voortschrijdend inzicht

Zoekstrategieën

Searching the literature

Welke procedures moet je volgen om relevante literatuur te vinden?

 

Localiseren

• databanken
• journals

 

Zoekstrategieën

• zoektermen 
• queries

Localiseren van literatuur

 

• researcher-to-researcher channels
  • ResearchGate, LinkedIn, personal webpage
• quality controlled (peer-rievewed) channels
  • conference proceedings
  • journals: gevaar voor publication bias & p-hacking
• secondary channels
  • backward / forward citing
  • Web of Science
  • reference databases: SSCI, Google Scholar, ERIC*

*ERIC = Education Resource Information Center

Denk grondig na over je zoekplaats! 

 

Op Google vind je veel, maar ook veel brol en fake news.

 

Neem eens een kijkje op de website van de VUB-bibliotheek. Daar heb je toegang tot de belangrijkste wetenschappelijke databanken!

 

Maar wees kritisch, want onderzoek dat geen significante effecten vindt, wordt vaak niet gepubliceerd in wetenschappelijke journals (= publication bias of p-hacking). Vandaar dat het soms toch zinvol is om ook eens een kijkje te nemen in de zogenaamde grijze literatuur (zoals vb. op Google Scholar)

Collaborations en review journals

• je vindt hier methodologische richtlijnen voor het uitvoeren van een review
• je vindt hier ook een databank van bestaande reviews: misschien bestaat er al een review of jouw masterproefonderwerp

 

Cochrane Collaboration

• healthcare and some educational

Campbell Collaboration

• social welfare and education

​Educational Research Review (EDUREV)

 

Review of Educational Research (RER)

(Vak)didactische journals
(voorbeeld: economie en duurzaamheid)

 

 

 

 

 

 

 

 

 

 

Niet-exhaustieve lijst van relevante journals voor masterproeven in de EduMa Economie.

*Rank within Education & Educational Research (243 journals) according to Journal Citation Reports (JCR)

Zoekstrategieën

 

• Booleaanse operatoren: AND, OR, NOT
  • (sustainability AND economics) NOT higher

 

 

 

 

 

• thesaurus: hulp voor volledigheid
  (cf. 'explode function' in ERIC)
• truncate: e.g. cogniti* (cognition, cognitive) 

Zoekstrategieën

 

Waar wil je dat de zoektermen voorkomen?

• titel
• abstract
• keywords
• full text

 

Voorbeeld: Topic in Web of Science

"Searches title, abstract, author keywords, and Keywords Plus."

• author keywords werden door de auteur geformuleerd
• Keywords Plus worden door de database gegenereerd op basis van veel voorkomende termen in de referenties van een artikel

Zoekstrategieën

 

Hoe kwaliteitsvol is je zoekstrategie?

 

Volledigheid: trade-off tussen 'recall' en 'precision'

• recall = % of all relevant documents that my search uncovers
          = mate waarin je geen artikels vergeet
• precision = % of all retrieved documents that are relevant to my search
                     = mate waarin je artikels relevant zijn voor je onderzoeksvraag

Adequaatheid

• repliceerbaarheid
• gebruik van complementaire databanken
• gepubliceerde en ongepubliceerde (= grijze) literatuur
   

Zoekstrategieën

 

Hoe hou je het overzicht over je zoekstrategie?

 

Record keeping log

Vervolgstappen

Flow diagram

example

Bron: Haddaway et al. Environ Evid (2018) 7:7

Inclusie- en exclusiecriteria

 

Aan welke eigenschappen moeten zoekresultaten voldoen om al dan niet weerhouden te worden voor diepgaande studie?

 

• publicatiedatum
• geografische context
• methodologie & study design
• sample van de populatie: secundair of hoger onderwijs?
• resultaten & variabelen

 

Opmerking: in plaats van te kiezen voor exclusie, kan je een kenmerk ook laten modereren. 

Critical appraisal

 

Met critical appraisal bedoelt men de evaluatie van de kwaliteit van de artikels die je gevonden hebt.

 

Het feit dat een artikel gepubliceerd is in een peer-reviewed journal is onvoldoende als enige indicator voor kwaliteit. 

 

Er bestaan heel wat instrumenten om de kwaliteit van je referenties te beoordelen, zoals bijvoorbeeld het QHES-framework (Quality of Health Economics Studies, zie volgende slide) voor gezondheidseconomie.

 

Een dergelijk instrument bevat een checklist waarmee je elk individueel artikel een kwaliteitsscore kan geven. 

 

Vervolgens bepaal je een threshold voor de kwaliteitsscore om een artikel op basis van kwaliteit al dan niet langer te weerhouden in je studie. 

Bron: Ofman et al. (2003), Journal of Managed Care Pharmacy 9(1), p.55

Coderen

 

• instrument gericht op analyse
• iteratief/dynamisch proces: voor én na lectuur 
• codeervragen hebben antwoordcategorieën

 

 

​​

Coderen

 

Elementen op te nemen in codeergids:

1. Basisgegevens rapport 
2. Onafhankelijke variabele + hoe geoperationaliseerd
3. Afhankelijke variabelen + hoe geoperationaliseerd
4. Research design
5. Kenmerken sample + populatie
6. Context
7. Statistische uitkomsten en effect sizes
8. Codeerproces + gegevens codeerder

 

 

​​

Voorbeeld

Leeswijzer

 

Bespreek het protocol

• probleemstelling?
• definitie en operationalisering afhankelijke variabele? 
• zoekstrategie: termen en locatie? 
• inclusie- en exclusiecriteria?
• codering: proces en codes?
• beoordeling effect?
• beoordeling kwaliteit? 

Alle antwoorden vind je in het protocol op de vorige slide.

Betekenis voor jouw Masterproef?

Ook al doe je geen systematische review!

   Wat is jouw probleemstelling?

 

Welke kernbegrippen horen bij deze probleemstelling?

Denk aan Engelstalige varianten.

 

• Gebruik eerst wat meer trefwoorden; verfijn vervolgens.
• Zoek hoofdzakelijk in internationale peer-reviewed tijdschriften (bv. Web of Science/ Science Direct)
• Op google scholar vind je ook "grijze" literatuur.
• "snowballing": vertrek vanuit de referenties van een relevant artikel om verder op zoek te gaan: "View Related Records" om gelijkaardige onderzoeksartikels te zien / "Cited References": literatuur die door deze auteur(s) is gebruikt.
• Misschien vind je een literatuurstudie over jouw onderwerp?

Op zoek!

Selectie

• Selecteer relevante studies (bv op basis van abstract).
• Zorg dat je kunt verantwoorden waarom je bepaalde studies niet selecteert (bv omwille van de regio, gedateerd?, onderwijsniveau etc).

• Zoek invalshoeken en resultaten die je helpen de onderzoeksvragen te beantwoorden.
• Vat de bevindingen uit de onderzoeksartikels samen.
• Schrijf per analysecategorie een synthese neer: wat heb je gevonden en wat vraagt aandacht?

• Mendeley is een gratis programma om bij te houden wat je gelezen hebt.

Bevindingen?