ORIËNTATIE

 DOELEN

• Verbanden leggen tussen evaluatiebenaderingen en -methoden en functie van evalueren
• Betrouwbare en valide evaluatie instrumenten ontwikkelen en gebruiken
• Een op groei gerichte visie op evaluatie ontwikkelen
• Evalueren om te leren inbouwen en daartoe gepaste instrumenten kiezen en ontwikkelen
• Een kritische mening vormen over het gebruik van cijfers en toetsinstrumenten in onderwijs
• Op een doordachten manier rapporteren over resultaten

          Jelina - 4HuWe - heeft het niet makkelijk met spelling Nederlands.  Door voor haar bijkomende instructie, begeleiding en oefening te voorzien, doet ze het  bij toetsen op het eind van het semester veel beter.

 ter overweging

1. op het rapport komt het gemiddelde van alle toetsen?
2. op het rapport komt een cijfer dat de beheersing van Jelina op dat moment weergeeft?
3. op het rapport komen geen cijfers maar wordt per eindterm aangegeven in hoeverre Jelina die al beheerst?
4. bij het rapport zit positieve commentaar over wat Jelina al goed beheerst en gerichte feedback over wat ze nog verder moet oefenen?

Doelstellingen

Beginsituatie

Leeromgeving

Evaluatie

(Van Gelder, 1973)

bepalen van de waarde van het onderwijsleerproces en van het resultaat daarvan

 situering

Leeromgeving

design van evaluatie

Juist, valide en betrouwbaar instrument om te meten of doelen bereikt worden

Wanneer is het goed (genoeg)?

Beslissing (sanctionerende of didactisch)

Terugkoppeling aan betrokkenen in overeenstemming met het doel van de evaluatie

Meten en registreren

Beoordelen

Beslissen

Rapporteren

 vier fasen

waarom

wat

wie

wanneer

waarmee

hoe

?

 vele keuzes

waarom

Evaluatie van leren

Evaluatie om te leren

'Test'

< 'testum': instrument

> meting, objectieve vaststelling

Summatieve evaluatie

• om te evalueren of de doelen bereikt zijn en te beslissen over slagen/niet slagen

'Assessment'

< 'assidere': naast iemand zitten

> begeleiding, groeipotentieel, gericht op leerproces

Formatieve evaluatie

• om het leerproces te stimuleren, bij te sturen
• om onderwijsaanbod en ondersteuning bij te sturen

wat

Product

Proces

Het resultaat van het leerproces

Het verloop van het leerproces

• bij de leerling
• aan de kant van de leraar (onderwijs-, begeleidingsproces)
• in de interactie tussen beiden
• in de interactie tussen leerlingen

wie

Traditioneel

Bij evalueren om te leren

de leerkracht

• de leerkracht - samen met
• de leerling - zelfevaluatie
• de medeleerlingen - peerevaluatie > leren van elkaars werk + feedback
• externen - vb. expert uit beroepsveld

wanneer

      bij de start                                       tussentijds                                       bij het eind

product                             proces                            product                             proces                            product

Het tijdstip van evaluatie bepaalt niet noodzakelijk of evaluatie formatief of summatief is !  

kwaliteit van evaluatie

hoe

! voor summatieve evaluatie

hoe

! voor summatieve evaluatie

 validiteit

Meet je wat je wil/ moet meten? Zorgvuldig toetsvorm en -inhoud kiezen

1. Doel van evaluatie
2. Overzicht van inhouden
3. Beheersingsniveau
4. Relatief belang van verschillende onderdelen en van onderscheiden beheersingsniveaus
5. Kruistabel

 Wordt er correct gemeten? Of berust het resultaat op toeval?

• het instrument
• de afnamesituatie
• de beoordeling        
• de beoordeelde

hoe

! voor summatieve evaluatie

Betrouwbaarheid

Afweging: best mogelijke validiteit en betrouwbaarheid i.f.v. tijd & beschikbare middelen

(de meest valide toetsvorm kan zeer onbetrouwbaar worden als de omstandigheden (bijv. aantal leerlingen) niet toelaten om hem goed uit te voeren)

hoe

! voor summatieve evaluatie

Efficiëntie

Objectiviteit

> verbetersleutels, scorewijzers, kijkwijzers

Transparantie

> duidelijkheid over doelen, criteria, normen, voorbeeldvragen, oefentoets, ...

Normering

> vooraf bepaalde criteria

hoe

! voor summatieve evaluatie

Billijkheid

Data verzamelen en interpreteren

1. Beslis over evaluatievorm en beoordelingseisen
2. Gebruik evaluatieinstrument (toets, observatieformulier, ...) om gegevens te verzamelen
3. Beoordeel zo objectief mogelijk
4. Scoor en interpreteer de score ('is 8/10 voldoende om geslaagd te zijn'? Als de student-chirurg 8 keer op de 10 juist snijdt, is dat dan genoeg om te slagen? Wat is de cesuur?)  Bij voorkeur criteriumgerefereerd i.p.v. normgerefereerd
5. Rapporteer de resultaten

!Congruent!

WYTIWYG

What you test is what you get

hoe

! voor summatieve evaluatie

Uit het leven gegrepen

• Herhalingstoets wiskunde - hoofdstuk tweedegraadsfuncties en -vergelijkingen
• Deze toets weegt mee voor 50% van de punten van het rapport
• Leerlingen werken een les uur aan de toets
• Op het einde van de les worden alle toetsen verzameld
• Igor geeft zijn toets niet af
• Twee dagen later vindt Igor de toets in zijn boekentas en informeert de leraar hierover

Hoe zou je hiermee omgaan, rekening houdend met de kwaliteitscriteria?

hoe

! voor summatieve evaluatie

evaluatievormen

Welke toetsvormen ken je?

Zorg dat je toetsvorm congruent is met het gedrag dat in de doelen beoogd werd

waarmee

tal van opties

Toets met gesloten vragen

Toets met open vragen

Hands-on toets

Simulatietoets

Casus

Logboek

Portfolio

 wanneer zou ik een ... gebruiken?

Beraad je in een groep van 4 over twee toetsvormen:

• Welke zijn de kenmerken van deze toets?
• Wat zijn de voordelen van deze toetsvorm?
• Wat zijn de nadelen van deze toetsvorm?
• Wanneer zou je deze toetsvorm gebruiken?

Bespreek en noteer (8')

Verifieer met de cursus (2')

Licht vervolgens plenair toe

• waar- onwaar
• meerkeuze
• matching
• classificeren
• rangschikken

 toets met gesloten vragen

• grote gokkans, vooral bij waar/onwaar vragen en matching
• constructie van goede meerkeuzevragen is moeilijk en tijdrovend

• beperkte afnametijd
• eenvoudig te automatiseren correctie
• objectieve scoring mogelijk
• hoge representativiteit aangezien

+

-

• kort antwoord-vraag
• essayvraag

 toets met open vragen

• toepassings-, denk-, redenerings-, uitdrukkingsvermogen toetsen
• gokken uitgesloten
• vraagconstructie eenvoudig

• best geen essayvragen voor  feitelijke of begripsmatige kennis
• correctie vraagt veel tijd, moeilijker om betrouwbaar te scoren
• vorm van het antwoord (handschrift, structuur of taalvaardigheid bij een mondelinge toets) kan de inhoud maskeren

+

-

• Taak in een reële werksituatie (in context)
• Observatie door de beoordelaar(s), via observatieschema

 Hands-on toets

• grote authenticiteit
• complexiteit van de reële beroepssituatie wordt in rekening gebracht

• geringere betrouwbaarheid omdat de toets slechts beperkt standaardiseerbaar is
• tijdsintensief

+

-

• Simulatieopdrachten  5 à 10 minuten
• Scoringslijsten
• Eisen soms zeer hoog (90 tot 100% beheersing) o.v. de risico’s in de beroepspraktijk
• Vb.:  reageren in een conflictsituatie; deelnemen aan een groepsdiscussi; onderdelen van een toestel  correct monteren; een meting uitvoeren; …

 Simulatietoets

• tijd voor afname examen

• valide
• authentiek mits toetssituatie = afspiegeling van de praktijk
• betrouwbaar mits voldoende gedetailleerde beoordelingslijsten
• hoge mate van standaardisatie mogelijk

+

-

• Casussen/praktijksituaties op papier die moeten worden geanalyseerd, opgelost, ... met de aanwezige kennis en vaardigheden
• Sommige casusbeschrijvingen beslaan 1 pagina, andere 20 à 30 pagina’s.
• Scorewijzer met de elementen van antwoord die moeten voorkomen

 Hands-off toets: casus

• beperkte validiteit voor handelingen (praktijk)
• objectiviteit scoring
• tijd constructie  casussen

+

-

• problemen in het leerproces diagnostiseren
• reflectievaardigheid registreren
• monitoren eigen leerproces bevorderen
• laat toe tussentijds bij te sturen

 Logboek

• validiteit en betrouwbaarheid zwak gezien invloed introspectief vermogen, eerlijkheid, introversie-extraversie, …

• Procesverslag, minder of meer voor-gestructureerd
• Aanduiding van competenties waaraan gewerkt is, welke moeilijkheden werden ervaren en hoe ermee is omgegaan
• Bij groepsopdrachten info  over de taakverdeling en reflecties over samenwerking
• Verslag leerlingen over wat zij menen geleerd te hebben
• Aanvullend bij het toetsen van verschillende competenties

+

-

Selectie van 'producten', 'artefacten' aan de hand waarvan men zijn competenties zichtbaar maakt, eventueel aangevuld met bijschriften/reflecties bij die producten, zelfevaluatie, persoonlijk ontwikkelingsplan

 Portfolio

• laat toe om competenties die in complexe reële situaties worden ingezet te beoordelen evenals langere en ingewikkelde leertrajecten
• toetsing van authentieke situaties
• zet aan tot in handen nemen van eigen leerproces

• voor de student kan het samenstellen van een portfolio tijdsintensief zijn
• ook de portfolio-analyse kan tijdrovend zijn (als er ook tussentijdse begeleiding aan gekoppeld wordt: al gauw 5 à 7 uur per student)

+

-

doordenker

Lees en leid uit het voorbeeld principes af waarvan je kan gebruik maken om evalueren om te leren in je lessen in te bouwen.

over 'evalueren om te leren'

Canvas-cursus Krachtige Leeromgeving
> Startpagina
> Lesmateriaal per campus
> Campus Etterbeek
> Les vandaag: voorbeeld

• Online voorkennistoets
• Rubrics samenwerkingsvaardigheden
• Evaluatiecriteria opiniestuk (eindproduct)
• Co-evaluatie - eigen werkpunt samenwerking bepalen   
• Tussentijdse monitoring
• Gebruik van rubrics en evaluatiecriteria
• Reflectie
• Peerfeedback

over 'evalueren om te leren'

Oriënteren

Voorbereiden

Uitvoeren

Reflecteren

Feedback

evalueren om te leren: voorbeeld

evalueren om te leren: principes

 = alle  informatie  die  een  leerling  krijgt  over  diens leerproces

< leerkracht, medeleerlingen, ouders, leerling zelf, online tests...

Bij de hoogste invloeden op leerprestaties, indien goed toegepast

Effect size: .73

(Hattie & Timperley, 2007)

feedback

Beschrijf aan welke criteria de prestatie/het proces moet beantwoorden

Vergelijk met de geleverde prestatie/proces

• Correctief: benoemen ongewenst gedrag en suggestie hoe bij te sturen
• Uitleg gevend: toelichting - bijkomende instructie
• Ondersteunend: suggesties om het gesteld doel te bereiken of waardering voor het resultaat van de inspanningen

Stramien voor feedback geven

1. Taakniveau

Juist of onjuist

'Je beschrijft heel helder waarom de grondstoffen gebruikt worden voor deze technische realisatie. Wat ik mis is een analyse van de risico's bij gebruik van deze grondstoffen.'

3. Zelfregulatie

'Ik merk op dat je stopt met werken telkens als je een hulpvraag hebt. Misschien kan je je vraag opschrijven en toch doorwerken aan andere dingen tot ik je kan verder op weg helpen.'

2. Procesniveau

Gebruikte strategie

'Je hebt enkele internet-bronnen met de juiste informatie gevonden. Het is nodig die grondiger te bestuderen en verbanden te leggen tussen de elementen van informatie.'

4. Persoonlijk functioneren

'Ik vind het fantastisch dat je met al die creatieve ideeën komt.'

(Hattie & Timperley, 2007)

vier feedbackniveaus

Feedback = informatie over het leerproces (na de uitvoering)
Hoe doe ik het als leerling?

Feed-up = informatie over de leerdoelen (tijdens de uitvoering)
Wat wil/moet ik als leerling bereiken? Waar werk ik naartoe? Wat wil ik bereiken?

Feedforward = informatie over vervolgstappen (vòòr de volgende stap / leertaak)
Wat volgt? Wat is de volgende stap?

Drie vormen van feedback

Rubrics kunnen prima worden ingezet voor feed up, feedback, en feed forward en voor gebruik door de leerkracht, de leerling zelf en medeleerlingen

avi77 principes voor feedback

Goede feedback:

1. maakt duidelijk wat een goede prestatie is
2. faciliteert de ontwikkeling van zelfreflectie
3. bezorgt de leerlingen kwalitatieve informatie over hun leren
4. moedigt dialoog aan over leren tussen leerkracht en leerlingen en leerlingen onderling
5. moedigt motivatie en zelfvertrouwen aan
6. zorgt voor opportuniteiten om de kloof tussen huidige en gewenste prestaties te dichten
7. geeft leerkrachten informatie die kan gebruikt worden om hun lesgeven vorm te geven

(Nicol & Macfarlane-Dick, 2006)

Kwaliteit van feedback

Voorbeeld rubricsschaal product

Onvoldoende

Uitstekend

Voorbeeld rubricsschaal proces

Onvoldoende

Uitstekend

Voor attitudes en vaardigheden
https://fdocuments.nl/reader/full/sam-schaal-schaal-voor-meting-van-attitudes-en-schaal-voor-meting-van-attitudes

Voor wiskunde

https://users.ugent.be/~mvalcke/LI_1213/cursus/rubrics_vb.pdf

Voor wetenschappen

histoforum.net/webquests/Rubrics_of_Rubrieken.doc

Voorbeelden rubrics

Afsluitend

Formatieve toetsing en feedback

         (Mitchell, 2015)

15

          Jelina - 4HuWe - heeft het niet makkelijk met spelling Nederlands.  Door voor haar bijkomende instructie, begeleiding en oefening te voorzien, doet ze het  bij toetsen op het eind van het semester veel beter.

 ter overweging

1. op het rapport komt het gemiddelde van alle toetsen?
2. op het rapport komt een cijfer dat de beheersing van Jelina op dat moment weergeeft?
3. op het rapport komen geen cijfers maar wordt per eindterm aangegeven in hoeverre Jelina die al beheerst?
4. bij het rapport zit positieve commentaar over wat Jelina al goed beheerst en gerichte feedback over wat ze nog verder moet oefenen?

• Brooks, C., Burton, R., van der Kleij, F., Carroll, A., Olave, K., Hattie, J., (2021). From fixing the work to improving the learner: An initial evaluation of a professional learning intervention using a new student-centered feedback model. Studies in Educational Evaluation 68.100943 (2021).

• Hattie J., & Timperley H. (2007). The Power of Feedback. Review of Educational Research 77(1), 81–112.

• Mitchell, D. (2014). What really works in Special and Inclusive Education. Using Evidence-Based Teaching –Second Edition. New York: Routledge

• Nicol, D., and Macfarlane-Dick, D. (2006). Formative assessment and self-regulated learning: A model and seven principles of good feedback practice. Studies in Higher Education,31 (2), 199–218.

• wwww.pixabay.com

 Referenties

• Leerlijn pedagogiek en didactiek + stam (vb. GDW):
  • Opdracht: ideale lesvoorbereiding met bijhorende kijkwijzer lesontwerp.
  • Mondeling examen: je krijgt twee vragen om te toetsen of je de referentiekaders begrijpt en kan toepassen.
• Leerlijn reflecterend en onderzoekend handelen:
  • Permanente evaluatie coachingsvaardigheden
  • Naslag op portfolio d.m.v. o.a. GRROW-verslag (reflectievaardigheden)

70%

30%

Pass/Fail

 Evaluatie van KLO