Online leerpad
Jo Tondeur & Tom Kuppens
Hoe gebruik je dit online leerpad?
Hier vind je een weblink naar bijkomende informatie.
Met deze opdracht kan je zelf aan de slag om de leerinhouden in te oefenen.
Lees deze tekst als achtergrondliteratuur bij deze slides.
Bedenk zelf een reden voor je naar de volgende slide gaat...
Had jij nog een ander idee? Je kan reageren onder het deck van deze slides!
Een voorbeeld: onduidelijkheid...
Bestaat er een review over het thema van jouw Masterproef?
Hoe besmettelijk zijn kinderen nu echt?
Heb jij het bredere plaatje van wat speelt binnen het onderzoeksdomein van jouw Masterproef?
(Boote & Beile, 2005)
[http://eppi.ioe.ac.uk/cms/]
Ga na welke van de abstracts op de volgende slides systematische / conceptuele reviews zijn
SYSTEMATISCH
CONCEPTUEEL
Abstract 1
Abstract 2
Abstract 3
Oplossing
Abstract 1: systematisch
Abstract 2: conceptueel
Abstract 3: systematisch
Wat is een 'systematic review'?
"Entails a comprehensive search for relevant studies on a specific topic and a critical appraisal of the selected research based on pre-determined explicit criteria. Also uses statistical procedures to correct for bias in studies arising most often from sampling error or measurement error."
Bron: Paterson, B.L. (2012)
Wat is een 'systematic review'?
Synoniemen: research synthesis, research review
"Research syntheses focus on empirical research findings and have the goal of integrating past research by drawing overall conclusions (generalizations) from many separate investigations that address identical or related hypotheses. The research synthesist's goal is to present the state of knowledge concerning the relation(s) of interest and to highlight important issues that research has left unresolved."
Bron: Cooper, H. (2017)
Wat is een 'systematic review'?
Bron: Nakagawa (2019)
Wat is een 'meta-analyse'?
"Aggregation of quantitative research findings using pre-selected inclusion and exclusion criteria. Entails and estimation of overall effect-size of the primary research derived from the effect sizes of each individual study."
Bron: Paterson, B.L. (2012)
"quantitative procedures used to statistically combine the results of studies"
Bron: Cooper, H. (2017)
Verschillende soorten reviews
Configuratief of kwalitatief
Aggregatief of kwantitatief
Mixed methods
Synthesis methods (Nakagawa et al., 2019)
Welke methode zou je kiezen in onderstaande situaties?
Oplossing
Een stappenplan
(1)
Bepaal je
onderzoeksvraag
(2)
Ontwikkel een
gepaste zoekstrategie
(3)
Zoek in wetenschappelijke
databanken
(5)
Screen de literatuur
op basis van selectiecriteria
(6)
Evalueer de kwaliteit
van de gevonden artikels
(4)
Bepaal je
selectiecriteria
(7)
Codeer de inhoud
van de artikels
(8)
Synthetiseer
je bevindingen
Misschien doe je geen systematische review... maar toch lijken deze stappen van belang voor de theoretische achtergond van jouw Masterproef!
Hoe synthetiseer jij wat er al geweten is?
Deze verschillende stappen of methodologische keuzes leg je best op voorhand vast in een protocol.
Searching the literature
Welke procedures moet je volgen om relevante literatuur te vinden?
Localiseren
Zoekstrategieën
Localiseren van literatuur
*ERIC = Education Resource Information Center
Denk grondig na over je zoekplaats!
Op Google vind je veel, maar ook veel brol en fake news.
Neem eens een kijkje op de website van de VUB-bibliotheek. Daar heb je toegang tot de belangrijkste wetenschappelijke databanken!
Maar wees kritisch, want onderzoek dat geen significante effecten vindt, wordt vaak niet gepubliceerd in wetenschappelijke journals (= publication bias of p-hacking). Vandaar dat het soms toch zinvol is om ook eens een kijkje te nemen in de zogenaamde grijze literatuur (zoals vb. op Google Scholar)
Collaborations en review journals
Educational Research Review (EDUREV)
Review of Educational Research (RER)
(Vak)didactische journals
(voorbeeld: economie en duurzaamheid)
Niet-exhaustieve lijst van relevante journals voor masterproeven in de EduMa Economie.
*Rank within Education & Educational Research (243 journals) according to Journal Citation Reports (JCR)
Journal | IF | Rank* |
---|---|---|
Rev Educ Res | 8,985 | Q1 (1) |
J Teach Educ | 3,263 | Q1 (12) |
Environ Educ Res | 2,255 | Q1 (52) |
J Environ Educ | 2,040 | Q1 (60) |
Econ Educ Rev | 1,519 | Q2 (118) |
Int J Sust Higher Ed | 1,437 | Q3 (125) |
J Econ Educ | 0,653 | Q4 (214) |
Int Rev Econ Educ | 0,545 | Q4 (219) |
Zoekstrategieën
Zoekstrategieën
Waar wil je dat de zoektermen voorkomen?
Voorbeeld: Topic in Web of Science
"Searches title, abstract, author keywords, and Keywords Plus."
Zoekstrategieën
Hoe kwaliteitsvol is je zoekstrategie?
Volledigheid: trade-off tussen 'recall' en 'precision'
Adequaatheid
Zoekstrategieën
Hoe hou je het overzicht over je zoekstrategie?
Record keeping log
Flow diagram
example
Bron: Haddaway et al. Environ Evid (2018) 7:7
Inclusie- en exclusiecriteria
Aan welke eigenschappen moeten zoekresultaten voldoen om al dan niet weerhouden te worden voor diepgaande studie?
Opmerking: in plaats van te kiezen voor exclusie, kan je een kenmerk ook laten modereren.
Ook voor jouw theoretische achtergrond: wees bewust van wat je waar zoekt!
Critical appraisal
Met critical appraisal bedoelt men de evaluatie van de kwaliteit van de artikels die je gevonden hebt.
Het feit dat een artikel gepubliceerd is in een peer-reviewed journal is onvoldoende als enige indicator voor kwaliteit.
Er bestaan heel wat instrumenten om de kwaliteit van je referenties te beoordelen, zoals bijvoorbeeld het QHES-framework (Quality of Health Economics Studies, zie volgende slide) voor gezondheidseconomie.
Een dergelijk instrument bevat een checklist waarmee je elk individueel artikel een kwaliteitsscore kan geven.
Vervolgens bepaal je een threshold voor de kwaliteitsscore om een artikel op basis van kwaliteit al dan niet langer te weerhouden in je studie.
Bron: Ofman et al. (2003), Journal of Managed Care Pharmacy 9(1), p.55
Coderen
Coderen
Elementen op te nemen in codeergids:
Voorbeeld
Leeswijzer
Bespreek het protocol
Alle antwoorden vind je in het protocol op de vorige slide.
Ook al doe je geen systematische review!
Welke kernbegrippen horen bij deze probleemstelling?
Denk aan Engelstalige varianten.
Mendeley is een gratis programma om bij te houden wat je gelezen hebt.
Referenties
Cooper, Harris (2017) Research Synthesis and Meta-Analysis: A Step-by-Step Approach. Duke University.
Nakagawa (2019) Research Weaving: Visualizing the Future of Research Synthesis. Trends in Ecology & Evolution 34(9): 224-239
Newman, M. & Gough, D. (2020) Systematic Reviews in Educational Research: Methodology, Perspectives and Application. In Zwacki-Richter, O. et al. (eds.). Systematic Reviews in Educational Research, p.3 https://doi.org/10.1007/978-3-658-27602-7 (neem dit artikel zeker door als je met systematic reviews aan de slag wil in je masterproef!)
Paterson, B.L. (2012) "It looks great but how do I know if it fits?": an introduction to meta-synthesis research. In: Hannes & Lockwood (eds) Synthesizing Qualitative Research. John Wiley & Sons.