1. INLEIDING

Observatie

= Zintuiglijke waarneming

 

Interpretatie

= Betekenisgeving aan zintuiglijke waarneming (bv. verklaring, analyse)

Betrouwbaarheid

= Zegt iets over hoe er gemeten wordt en de mate waarin de meting de werkelijkheid benadert.

Voorbeeld: Een weegschaal die niet juist geijkt is, is onbetrouwbaar.

 

Validiteit

= Zegt iets over wat er gemeten wordt en de mate waarin ik meet wat ik wil weten

Voorbeeld: Een weegschaal is geen valide meetinstrument voor iemands lengte.

Kenmerken van kwalitatief onderzoek

 

Subjectiviteit

= volgens de waarneming of de beleving van één mens

 

Objectiviteit

= Onafhankelijk van de waarneming of de beleving van mensen

Belang van perspectiefwissel voor juiste observatie

Menselijke waarneming is niet foutloos

Belang van context voor juiste interpretatie

Video kan de waarneming ondersteunen en accurater maken

Objectiviteit is een vreemd begrip in kwalitatief onderwijs. We gebruiken kwalitatief onderzoek doorgaans om iets te weten te komen over de belevingswereld van iemand en dat is per definitie subjectief. Vervolgens voert jij als onderzoeker met je eigen belevingswereld en ervaringen de analyse.

 

Hoe gaan we dus om als kwalitatief onderzoek met objectiviteit?

 

Actief op zoek gaan naar falsificatie om er voor te zorgen dat je onderzoek bevestigbaar is d.m.v. intersubjectiviteit.

Intersubjectiviteit

= Afhankelijk van de waarneming van meerdere mensen.

 

Mogelijke manieren om dit te bereiken:

- Met iemand anders de live observaties of de uitgestelde observatie op basis van video doen

- Respondenten transcripten laten herlezen of de ingevulde observatiewijzer met jouw interpretaties met de vraag of jouw interpretatie strookt met hun beleving (opgelet, soms zijn respondenten zich niet van al hun handelingen of belevingen bewust)

- Alle respondenten zouden zich moeten kunnen herkennen in het onderzoek dus in je data op zoek gaan naar tegenstrijdige resultaten

VOORDELEN VAN VIDEO

• Tijdens de observatie
  • Video als hulpmiddel tijdens de observatie, niet alles moet genoteerd worden
  • Je hebt authentiek datamateriaal
• Na de observatie
  • Dataverwerking verloopt gestructureerd
  • Mogelijkheid tot inter-rater reliability

  

 

NADELEN VAN VIDEO

• Tijdens de observatie
  • Eén camera volstaat vaak niet om alles in beeld te brengen
  • Wat met dingen die buiten beeld gebeuren
• Na de observatie
  • Tijdsintensieve dataverwerking

  

 

3. ETHISCHE RICHTLIJNEN BIJ HET VERZAMELEN VAN VIDEODATA

Algemene richtlijnen bij video onderzoek

(Derry, J.S., Hickey, D. & Koschmann, T., 2007)

• Participanten kunnen in video niet geanonimiseerd worden (tenzij een deel van de beelden geknipt of wazig gemaakt wordt, maar dit vraagt investering van tijd en kosten)

• Participanten behandelen met respect en hun privacy en vertrouwen respecteren

• Ook al is video data op zijn niet-anoniem, toch kan de data op verschillende manieren vertrouwelijk behandeld worden door:

  • Toegang tot de beelden beperken

  • Andere persoonlijke informatie zoals naam, school en andere persoonsgegevens niet delen

  • Extra toelating vragen indien het om minderjarigen of kwetsbare gaat

Richtlijnen in verband met het delen van video data

(Derry, J.S., Hickey, D. & Koschmann, T., 2007)

• Video’s opnemen is geïntegreerd in ons dagelijks leven en de sociale acceptatie om beeldmateriaal te delen is groter geworden maar tegelijk moeten we de privacy respecteren!

• Restricted <=> unristricted permission

• Beeldmateriaal verzamelen in functie van je onderzoeksvraag en ook enkel delen in functie van dit doel (waarvoor de participant toestemming gaf) 

Richtlijnen in verband met informed consent

(Derry, J.S., Hickey, D. & Koschmann, T., 2007)

• Verstaanbaar en duidelijk geformuleerd voor de participant

• Inhoudelijk

  • Doel van het onderzoek

  • De potentiële voor- en nadelen aan deelname aan het onderzoek

  • Het recht om op elk moment hun deelname terug te trekken

• Niet enkel de rechten en plichten van de participant beschrijven, maar ook van de onderzoeker

• Informed consent schept duidelijkheid over wat wel en niet mag voor beide partijen

4.1 Wat observeren?

Wat observeren?

 

Manifest gedrag, kan je 'tellen': hand opsteken, het woord vragen, wegkijken, spreektijd, stoel verlaten ...

> Mogelijk minder valide (bv. is hand opsteken een goede maat om motivatie van een leerling te operationaliseren?)

 

Latent gedrag, moet je interpreteren en beoordelen: betrokkenheid, motivatie,  ...

> Mogelijk minder betrouwbaar (bv. slagen verschillende onafhankelijke beoordelaars er in om eenzelfde fragment op dezelfde manier te beoordelen?)

 

 

 

4.2 Hoe tot een beoordeling komen?

Analytische beoordeling

 

Je gebruikt een evaluatierubric om de waarnemingen te beoordelen.

De beoordelaars geven scores voor een gedetailleerde lijst van criteria.

De deelscores worden gecombineerd tot een totaalscore.

 

 

 

Aandachtspunt:

Deze benadering wordt bekritiseerd omwille van risico's voor de validiteit: capteer je met de verschillende gefragmenteerde deelscores effectief het grotere complexe fenomeen dat je beoogt te meten?

Holistische beoordeling

 

Je geeft een algemene score voor de mate waarin het te observeren fenomeen aanwezig is of niet.

 

 

 

Aandachtspunt:

Deze benadering wordt bekritiseerd omwille van het gebrek aan transparantie van de beoordelingsprocedure. Hoe maak je aan de lezer duidelijk wat precies geobserveerd werd en hoe er tot een beoordeling werd gekomen?

Comparative judgment

Deze analysemethode bestaat uit een holistische en intuïtieve beoordeling.

De benadering baseert zich op de wetenschap dat mensen meer betrouwbare beoordelingen maken indien ze één waarneming met een andere kunnen vergelijken.

Bij comparative judgement beoordeel je verschillende waarnemingen door te bepalen in welke waarneming het te meten fenomeen het meest aanwezig is. Je komt bijvoorbeeld op basis van meerdere paarsgewijze vergelijkingen tot een finale rangschikking van alle waarnemingen.

 

 

Aandachtspunt:

Deze benadering is arbeidsintensief, zeker indien er veel waarnemingen moeten beoordeeld worden.

4.3 Hoe betrouwbaarheid bewaken?

Aantal fragmenten

Indien je bv. een leerling of leerkracht wenst te observeren is het belangrijk voldoende verschillende fragmenten voor elke leerling of leerkracht te beoordelen zodat je een valide beeld kan vormen van het te observeren fenomeen (en niet toevallig een uitschieter hebt geobserveerd).

 

 

 

 

 

 

Aantal observatoren

Om de betrouwbaarheid te bewaken is het aangeraden om de interbeoordelaarsbetrouwbaarheid na te gaan. Een tweede beoordelaar wordt gevraagd om met het draft codeerschema als onafhankelijke observator eenzelfde selectie van data te beoordelen als de eerste auteur. Nadien worden beide onafhankelijke beoordelingen met elkaar vergeleken. De bespreking van gelijkenissen en verschillen resulteert in het bijwerken van het codeerschema om scherper af te bakenen wanneer een fenomeen als wel en niet of in meer of mindere mate aanwezig wordt beschouwd. Via statistische analyses kunnen verschillende maten van interbeoordelaarsbetrouwbaarheid berekend worden.

 

 

 

 

 

5. LITERATUUR

Derry, S.J.; Roy D.P., Barron, B., Engle, A. A., Erickson, F., Goldman, R., Hall, R, Koschmann, T., Lemke, J.L., Sherin M.G., Sherin, B.L. (2010). Conducting video research in the learning science: Guidance on selection, analyses, technology and ethics. Journal of the Learning Sciences,19, 3-53.

Jacobs, J. K., Hollingsworth, H., & Givvin, K. B. (2007). Video-based research made "easy": methodological lessons learned from the TIMMS video studies. Field Methods, 19(3), 284-299.