= Zintuiglijke waarneming
= Betekenisgeving aan zintuiglijke waarneming (bv. verklaring, analyse)
= Zegt iets over hoe er gemeten wordt en de mate waarin de meting de werkelijkheid benadert.
Voorbeeld: Een weegschaal die niet juist geijkt is, is onbetrouwbaar.
= Zegt iets over wat er gemeten wordt en de mate waarin ik meet wat ik wil weten
Voorbeeld: Een weegschaal is geen valide meetinstrument voor iemands lengte.
= volgens de waarneming of de beleving van één mens
= Onafhankelijk van de waarneming of de beleving van mensen
Objectiviteit is een vreemd begrip in kwalitatief onderwijs. We gebruiken kwalitatief onderzoek doorgaans om iets te weten te komen over de belevingswereld van iemand en dat is per definitie subjectief. Vervolgens voert jij als onderzoeker met je eigen belevingswereld en ervaringen de analyse.
Hoe gaan we dus om als kwalitatief onderzoek met objectiviteit?
Actief op zoek gaan naar falsificatie om er voor te zorgen dat je onderzoek bevestigbaar is d.m.v. intersubjectiviteit.
= Afhankelijk van de waarneming van meerdere mensen.
Mogelijke manieren om dit te bereiken:
- Met iemand anders de live observaties of de uitgestelde observatie op basis van video doen
- Respondenten transcripten laten herlezen of de ingevulde observatiewijzer met jouw interpretaties met de vraag of jouw interpretatie strookt met hun beleving (opgelet, soms zijn respondenten zich niet van al hun handelingen of belevingen bewust)
- Alle respondenten zouden zich moeten kunnen herkennen in het onderzoek dus in je data op zoek gaan naar tegenstrijdige resultaten
VOORDELEN VAN VIDEO
NADELEN VAN VIDEO
Algemene richtlijnen bij video onderzoek
(Derry, J.S., Hickey, D. & Koschmann, T., 2007)
Participanten kunnen in video niet geanonimiseerd worden (tenzij een deel van de beelden geknipt of wazig gemaakt wordt, maar dit vraagt investering van tijd en kosten)
Participanten behandelen met respect en hun privacy en vertrouwen respecteren
Ook al is video data op zijn niet-anoniem, toch kan de data op verschillende manieren vertrouwelijk behandeld worden door:
Toegang tot de beelden beperken
Andere persoonlijke informatie zoals naam, school en andere persoonsgegevens niet delen
Extra toelating vragen indien het om minderjarigen of kwetsbare gaat
Richtlijnen in verband met het delen van video data
(Derry, J.S., Hickey, D. & Koschmann, T., 2007)
Video’s opnemen is geïntegreerd in ons dagelijks leven en de sociale acceptatie om beeldmateriaal te delen is groter geworden maar tegelijk moeten we de privacy respecteren!
Restricted <=> unristricted permission
Beeldmateriaal verzamelen in functie van je onderzoeksvraag en ook enkel delen in functie van dit doel (waarvoor de participant toestemming gaf)
Richtlijnen in verband met informed consent
(Derry, J.S., Hickey, D. & Koschmann, T., 2007)
Verstaanbaar en duidelijk geformuleerd voor de participant
Inhoudelijk
Doel van het onderzoek
De potentiële voor- en nadelen aan deelname aan het onderzoek
Het recht om op elk moment hun deelname terug te trekken
Niet enkel de rechten en plichten van de participant beschrijven, maar ook van de onderzoeker
Informed consent schept duidelijkheid over wat wel en niet mag voor beide partijen
Manifest gedrag, kan je 'tellen': hand opsteken, het woord vragen, wegkijken, spreektijd, stoel verlaten ...
> Mogelijk minder valide (bv. is hand opsteken een goede maat om motivatie van een leerling te operationaliseren?)
Latent gedrag, moet je interpreteren en beoordelen: betrokkenheid, motivatie, ...
> Mogelijk minder betrouwbaar (bv. slagen verschillende onafhankelijke beoordelaars er in om eenzelfde fragment op dezelfde manier te beoordelen?)
Je gebruikt een evaluatierubric om de waarnemingen te beoordelen.
De beoordelaars geven scores voor een gedetailleerde lijst van criteria.
De deelscores worden gecombineerd tot een totaalscore.
Aandachtspunt:
Deze benadering wordt bekritiseerd omwille van risico's voor de validiteit: capteer je met de verschillende gefragmenteerde deelscores effectief het grotere complexe fenomeen dat je beoogt te meten?
Je geeft een algemene score voor de mate waarin het te observeren fenomeen aanwezig is of niet.
Aandachtspunt:
Deze benadering wordt bekritiseerd omwille van het gebrek aan transparantie van de beoordelingsprocedure. Hoe maak je aan de lezer duidelijk wat precies geobserveerd werd en hoe er tot een beoordeling werd gekomen?
Deze analysemethode bestaat uit een holistische en intuïtieve beoordeling.
De benadering baseert zich op de wetenschap dat mensen meer betrouwbare beoordelingen maken indien ze één waarneming met een andere kunnen vergelijken.
Bij comparative judgement beoordeel je verschillende waarnemingen door te bepalen in welke waarneming het te meten fenomeen het meest aanwezig is. Je komt bijvoorbeeld op basis van meerdere paarsgewijze vergelijkingen tot een finale rangschikking van alle waarnemingen.
Aandachtspunt:
Deze benadering is arbeidsintensief, zeker indien er veel waarnemingen moeten beoordeeld worden.
Indien je bv. een leerling of leerkracht wenst te observeren is het belangrijk voldoende verschillende fragmenten voor elke leerling of leerkracht te beoordelen zodat je een valide beeld kan vormen van het te observeren fenomeen (en niet toevallig een uitschieter hebt geobserveerd).
Om de betrouwbaarheid te bewaken is het aangeraden om de interbeoordelaarsbetrouwbaarheid na te gaan. Een tweede beoordelaar wordt gevraagd om met het draft codeerschema als onafhankelijke observator eenzelfde selectie van data te beoordelen als de eerste auteur. Nadien worden beide onafhankelijke beoordelingen met elkaar vergeleken. De bespreking van gelijkenissen en verschillen resulteert in het bijwerken van het codeerschema om scherper af te bakenen wanneer een fenomeen als wel en niet of in meer of mindere mate aanwezig wordt beschouwd. Via statistische analyses kunnen verschillende maten van interbeoordelaarsbetrouwbaarheid berekend worden.
Derry, S.J.; Roy D.P., Barron, B., Engle, A. A., Erickson, F., Goldman, R., Hall, R, Koschmann, T., Lemke, J.L., Sherin M.G., Sherin, B.L. (2010). Conducting video research in the learning science: Guidance on selection, analyses, technology and ethics. Journal of the Learning Sciences,19, 3-53.
Jacobs, J. K., Hollingsworth, H., & Givvin, K. B. (2007). Video-based research made "easy": methodological lessons learned from the TIMMS video studies. Field Methods, 19(3), 284-299.