Krachtige Leeromgeving

EVALUATIE

Hoorcollege 8 - Campus Etterbeek - Ariadne Warmoes

Verbanden leggen tussen evaluatiebenaderingen en -methoden en functie van evalueren
Betrouwbare en valide evaluatie-instrumenten ontwikkelen en gebruiken
Een op groeigerichte visie op evaluatie ontwikkelen
Evalueren om te leren inbouwen en daartoe gepaste instrumenten kiezen en ontwikkelen
Een kritische mening vormen over het gebruik van cijfers en toetsinstrumenten in onderwijs
Op een doordachten manier rapporteren over resultaten

Doelen van deze les

Evaluatie
- Design
- Kwaliteit
- Vormen
- Feedback

Opbouw van deze les

Actualiteit

(Vlaams Regeerakkoord-2024-2029)

(vrtnws, 03-09-2019)

Voorbeeld

Bron: ZAVO

Voorbeeld

Bron: Scheppers Mechelen

1. Evaluatie

1.1 Oriëntatie

"Evaluatie: eindpunt of motor?"

Probleemstelling

(Engels, N.)

Situering

Bepalen van de waarde van het onderwijsproces en van het resultaat daarvan

(Engels, N.)

Situering

Constructive "alignment"

leerdoelen

leer-

activiteiten

evaluatie

1.2 Design van evaluatie

op het rapport komt het gemiddelde van alle toetsen?
op het rapport komt een cijfer dat de beheersing van Jelina op dat moment weergeeft?
op het rapport komen geen cijfers maar wordt per leerplandoel aangegeven in hoeverre Jelina die al beheerst?
bij het rapport zit positieve commentaar over wat Jelina al goed beheerst en gerichte feedback over wat ze nog verder moet oefenen?

Opdracht

Jelina - 4HuWe - heeft het niet makkelijk met spelling Nederlands. Door voor haar bijkomende instructie, begeleiding en oefening te voorzien, doet ze het bij toetsen op het eind van het semester veel beter.

waarom

wat

wie

wanneer

waarmee

hoe

?

Vele keuzes

Evaluatie van leren

Evaluatie om te leren

'Test'

< 'testum': instrument

> meting, objectieve vaststelling

Summatieve evaluatie

om te evalueren of de doelen bereikt zijn en te beslissen over slagen/niet slagen

'Assessment'

< 'assidere': naast iemand zitten

> begeleiding, groeipotentieel, gericht op leerproces

Formatieve evaluatie

om het leerproces te stimuleren, bij te sturen
om onderwijsaanbod en ondersteuning bij te sturen

Waarom?

Voorbeeld GO! Atheneum KA Tervuren

Product

Proces

Het resultaat van het leerproces

Het verloop van het leerproces

bij de leerling
aan de kant van de leraar (onderwijs-, begeleidingsproces)
in de interactie tussen beiden
in de interactie tussen leerlingen

Wat?

bij de start tussentijds bij het eind

product proces product proces product

Wanneer?

Traditioneel

Bij evalueren om te leren

de leerkracht

de leerkracht - samen met
de leerling - zelfevaluatie
de medeleerlingen - peerevaluatie > leren van elkaars werk + feedback
externen - vb. expert uit beroepsveld

Wie?

Samenvatting

Bron: proev.be

Noteer op je whiteboard

Product / proces?

Noteer op je whiteboard

Product / proces?

Noteer op je whiteboard

Formatief / summatief?

Noteer op je whiteboard

Formatief / summatief?

5,3/10

Noteer op je whiteboard

Formatief / summatief?

Noteer op je whiteboard

Wie evalueert?

Noteer op je whiteboard

Wie evalueert?

1.3 Kwaliteit van evaluatie

Juist, valide en betrouwbaar instrument om te meten of doelen bereikt worden

Wanneer is het goed (genoeg)?

Beslissing (sanctionerende of didactisch)

Terugkoppeling aan betrokkenen in overeenstemming met het doel van de evaluatie

Meten en registreren

Beoordelen

Beslissen

Rapporteren

Hoe? Vier fasen

Data verzamelen en interpreteren

Beslis over evaluatievorm en beoordelingseisen
Gebruik evaluatieinstrument (toets, observatieformulier, ...) om gegevens te verzamelen
Beoordeel zo objectief mogelijk
Scoor en interpreteer de score ('is 8/10 voldoende om geslaagd te zijn'? Als de student-chirurg 8 keer op de 10 juist snijdt, is dat dan genoeg om te slagen? Wat is de cesuur?) Bij voorkeur criteriumgerefereerd i.p.v. normgerefereerd
Rapporteer de resultaten

!Congruent!

WYTIWYG

What you test is what you get

! voor summatieve evaluatie

Hoe?

! voor summatieve evaluatie

Hoe?

! voor summatieve evaluatie

Meet je wat je wil/ moet meten?

Hoe? - Validiteit

! voor summatieve evaluatie

Meet je wat je wil/ moet meten? Zorgvuldig toetsvorm en -inhoud kiezen aan de hand van een toetsmatrijs:

Doel van evaluatie
Overzicht van inhouden
Beheersingsniveau

Hoe? - Validiteit

Bron: JIJ! van Bureau ICE

Wordt er correct gemeten? Of berust het resultaat op toeval?

het instrument
de afnamesituatie
de beoordeling
de beoordeelde

! voor summatieve evaluatie

Hoe? - Betrouwbaarheid

Flipped the classroom?

Afweging: best mogelijke validiteit en betrouwbaarheid i.f.v. tijd & beschikbare middelen

(de meest valide toetsvorm kan zeer onbetrouwbaar worden als de omstandigheden (bijv. aantal leerlingen) niet toelaten om hem goed uit te voeren)

! voor summatieve evaluatie

Hoe? - Efficiëntie

Objectiviteit

> verbetersleutels, scorewijzers, kijkwijzers

Transparantie

> duidelijkheid over doelen, criteria, normen, voorbeeldvragen, oefentoets, ...

Normering

> vooraf bepaalde criteria

! voor summatieve evaluatie

Hoe? - Billijkheid

1.4 Evaluatievormen

Opdracht

Welke evaluatievormen ken je?

leerdoelen

leer-

activiteiten

evaluatie

Zorg dat je toetsvorm congruent is met het gedrag dat in de doelen beoogd werd

waarmee

Waarmee? - Tal van opties

Leeractiviteit

Examen

Toets met gesloten vragen - Toets met open vragen - Hands-on toets - Simulatietoets - Casus - Logboek - Portfolio

Opdracht

Wanneer zou ik een .... gebruiken?

Beraad je in een groep van 4 over twee toetsvormen:

Welke zijn de kenmerken van deze toets?
Wat zijn de voordelen van deze toetsvorm?
Wat zijn de nadelen van deze toetsvorm?
Wanneer zou je deze toetsvorm gebruiken?

Bespreek en noteer (8')

Verifieer met de cursus (2')

Licht vervolgens plenair toe

waar- onwaar
meerkeuze
matching
classificeren
rangschikken

grote gokkans, vooral bij waar/onwaar vragen en matching
constructie van goede meerkeuzevragen is moeilijk en tijdrovend

beperkte afnametijd
eenvoudig te automatiseren correctie
objectieve scoring mogelijk
hoge representativiteit aangezien

Waarmee? - Toets met gesloten vragen

kort antwoord-vraag
essayvraag

toepassings-, denk-, redenerings-, uitdrukkingsvermogen toetsen
gokken uitgesloten
vraagconstructie eenvoudig

best geen essayvragen voor feitelijke of begripsmatige kennis
correctie vraagt veel tijd, moeilijker om betrouwbaar te scoren
vorm van het antwoord (handschrift, structuur of taalvaardigheid bij een mondelinge toets) kan de inhoud maskeren

Waarmee? - Toets met open vragen

Taak in een reële werksituatie (in context)
Observatie door de beoordelaar(s), via observatieschema

grote authenticiteit
complexiteit van de reële beroepssituatie wordt in rekening gebracht

geringere betrouwbaarheid omdat de toets slechts beperkt standaardiseerbaar is
tijdsintensief

Waarmee? - Hands-on toets

Simulatieopdrachten 5 à 10 minuten
Scoringslijsten
Eisen soms zeer hoog (90 tot 100% beheersing) o.v. de risico’s in de beroepspraktijk
Vb.: reageren in een conflictsituatie; deelnemen aan een groepsdiscussi; onderdelen van een toestel correct monteren; een meting uitvoeren; …

tijd voor afname examen

valide
authentiek mits toetssituatie = afspiegeling van de praktijk
betrouwbaar mits voldoende gedetailleerde beoordelingslijsten
hoge mate van standaardisatie mogelijk

Waarmee? - Simulatietoets

Casussen/praktijksituaties op papier die moeten worden geanalyseerd, opgelost, ... met de aanwezige kennis en vaardigheden
Sommige casusbeschrijvingen beslaan 1 pagina, andere 20 à 30 pagina’s.
Scorewijzer met de elementen van antwoord die moeten voorkomen

grote groepen studenten te toetsen
casus kan valide zijn (relevantie, evenwichtigheid en representativiteit)

beperkte validiteit voor handelingen (praktijk)
objectiviteit scoring
tijd constructie casussen

Waarmee? - Hands-off toets

problemen in het leerproces diagnostiseren
reflectievaardigheid registreren
monitoren eigen leerproces bevorderen
laat toe tussentijds bij te sturen

validiteit en betrouwbaarheid zwak gezien invloed introspectief vermogen, eerlijkheid, introversie-extraversie, …

Procesverslag, minder of meer voor-gestructureerd
Aanduiding van competenties waaraan gewerkt is, welke moeilijkheden werden ervaren en hoe ermee is omgegaan
Bij groepsopdrachten info over de taakverdeling en reflecties over samenwerking
Verslag leerlingen over wat zij menen geleerd te hebben
Aanvullend bij het toetsen van verschillende competenties

Waarmee? - Logboek

Selectie van 'producten', 'artefacten' aan de hand waarvan men zijn competenties zichtbaar maakt, eventueel aangevuld met bijschriften/reflecties bij die producten, zelfevaluatie, persoonlijk ontwikkelingsplan

laat toe om competenties die in complexe reële situaties worden ingezet te beoordelen evenals langere en ingewikkelde leertrajecten
toetsing van authentieke situaties
zet aan tot in handen nemen van eigen leerproces

voor de student kan het samenstellen van een portfolio tijdsintensief zijn
ook de portfolio-analyse kan tijdrovend zijn (als er ook tussentijdse begeleiding aan gekoppeld wordt: al gauw 5 à 7 uur per student)

Waarmee? - Portfolio

1.5 Evalueren om te leren

Canvas-cursus Krachtige Leeromgeving
> Startpagina
> Modules - lesmateriaal Campus Etterbeek

Opdracht

Lees het voorbeeld. Hoe bouwt deze student evalueren om te leren in in haar les?

Online voorkennistoets
Rubrics samenwerkingsvaardigheden
Evaluatiecriteria opiniestuk (eindproduct)
Co-evaluatie - eigen werkpunt samenwerking bepalen
Tussentijdse monitoring
Gebruik van rubrics en evaluatiecriteria
Reflectie
Peerfeedback

Oriënteren

Voorbereiden

Uitvoeren

Reflecteren

waarmee

Evalueren om te leren

waarmee

Evalueren om te leren - een voorbeeld

= alle informatie die een leerling krijgt over diens leerproces

< leerkracht, medeleerlingen, ouders, leerling zelf, online tests...

Bij de hoogste invloeden op leerprestaties, indien goed toegepast

Effect size: .73

(Hattie & Timperley, 2007)

waarmee

Evalueren om te leren - feedback

avi77 principes voor feedback

Goede feedback:

maakt duidelijk wat een goede prestatie is
faciliteert de ontwikkeling van zelfreflectie
bezorgt de leerlingen kwalitatieve informatie over hun leren
moedigt dialoog aan over leren tussen leerkracht en leerlingen en leerlingen onderling
moedigt motivatie en zelfvertrouwen aan
zorgt voor opportuniteiten om de kloof tussen huidige en gewenste prestaties te dichten
geeft leerkrachten informatie die kan gebruikt worden om hun lesgeven vorm te geven

(Nicol & Macfarlane-Dick, 2006)

waarmee

Feedback - kwaliteit

Feedback = informatie over het leerproces (na de uitvoering)
Hoe doe ik het als leerling?

Feed-up = informatie over de leerdoelen (tijdens de uitvoering)
Wat wil/moet ik als leerling bereiken? Waar werk ik naartoe? Wat wil ik bereiken?

Feedforward = informatie over vervolgstappen (vòòr de volgende stap / leertaak)
Wat volgt? Wat is de volgende stap?

Rubrics kunnen prima worden ingezet voor feed up, feedback, en feed forward en voor gebruik door de leerkracht, de leerling zelf en medeleerlingen

waarmee

Feedback - drie vormen

Beschrijf aan welke criteria de prestatie/het proces moet beantwoorden

Vergelijk met de geleverde prestatie/proces

Correctief: benoemen ongewenst gedrag en suggestie hoe bij te sturen
Uitleg gevend: toelichting - bijkomende instructie
Ondersteunend: suggesties om het gesteld doel te bereiken of waardering voor het resultaat van de inspanningen

waarmee

Feedback - stramien voor feedback geven

1. Taakniveau

Juist of onjuist

'Je beschrijft heel helder waarom de grondstoffen gebruikt worden voor deze technische realisatie. Wat ik mis is een analyse van de risico's bij gebruik van deze grondstoffen.'

Zelfregulatie

'Ik merk op dat je stopt met werken telkens als je een hulpvraag hebt. Misschien kan je je vraag opschrijven en toch doorwerken aan andere dingen tot ik je kan verder op weg helpen.'

2. Procesniveau

Gebruikte strategie

'Je hebt enkele internetbronnen met de juiste informatie gevonden. Het is nodig die grondiger te bestuderen en verbanden te leggen tussen de elementen van informatie.'

Persoonlijk functioneren

'Ik vind het fantastisch dat je met al die creatieve ideeën komt.'

(Hattie & Timperley, 2007)

waarmee

Feedback - vier feedbackniveaus

Een les geschiedenis over de kruistochten. De leerlingen maken twee opdrachten:

Opdracht 1:

Op basis van aangereikte bronnen lossen ze gerichte vragen op.

Casus

Opdracht 2: Maak per 4 een videodagboek uit het leven van een kruisvaarder. Je omschrijft historisch correct drie verschillende dagen.

NIET VERGETEN:

Je fragment moet historisch correcte informatie bevatten.
Elk filmpje moet een situering in TIJD en RUIMTE bevatten.
Elk filmpje moet tussen de 2 en 3 minuten duren.
Maak het een beetje spannend en wees creatief!
Upload de filmpjes op YouTube en stuur de links door naar het e-mailadres van de leerkracht.
Je wordt beoordeeld op taal, creativiteit, historische correctheid en de duur van het filmpje

Casus

Je situeert de kruistochten correct in de tijd, al klopt de ruimtelijke situering nog niet helemaal. Je kan dit opnieuw nalezen in hoofdstuk 2, vooral de kaart op het einde helpt daarbij. In je videodagboek kies je een creatieve insteek en dat maakt het verhaal boeiend, al sluipen er nog enkele kleine historische onjuistheden in je tweede dag. Ik lijst ze hieronder op. Je hebt de tijd tot volgende les om deze te corrigeren. Je taalgebruik is meestal verzorgd, maar een paar spellingsfouten verstoren soms de helderheid. De lengte van je filmpjes is goed gekozen en je slaagt erin om de sfeer van de tocht mooi weer te geven. Met iets meer aandacht voor historische details kan je werk nog sterker worden.

Fouten:

Kruisvaarders zijn getrainde soldaten
Wapens zoals pistolen
De paus heeft de kruisvaart uitgezwaaid

Casus

Geef voorbeeld(en):

Vorm: feedback ; feed-up : feedforward?
Stramien: correctief, uitleg, ondersteunend
Niveau: juist/onjuist, zelfregulatie, strategie & persoonlijk functioneren

Geef feedback over de leraar zijn feedback via een tip en top.

ADDENDUM

Klasmanagement

Actualiteit

(vrtnws, 14-11-2024)

(vrtnws, 30-09-2024)

Opdracht

Wat is het probleem? Herken je de vraag van Frank?

(De Morgen, 14-09-2023)

Klasmanagement

= maatregelen en voorzieningen treffen om een werkomgeving te creëren die leren en onderwijzen toelaat en bevordert.

zich betrokken voelen bij de anderen

gemotiveerd zijn

rust vinden om taakgericht bezig zijn

zich (mede)verantwoordelijk voelen

respect hebben voor elkaar

zich veilig voelen

gevoel het aan te kunnen

spelregels kennen

zich rechtvaardig behandeld voelen

zich gewaardeerd voelen

Klasmanagement - hoe?

Oude vs nieuwe autoriteit

Oude autoriteit	Nieuwe autoriteit
Afstand	Aanwezigheid
Controle en gehoorzaamheid	Zelfbeheersing
Hiërarchie	Ondersteuning
Principe van onmiddellijke bestraffing	Volharding

(De Autoriteit van leraren is niet meer vanzelfsprekend, Omer)

Klasmanagement - hoe?

Wel:

Goed georganiseerde lessen met vlotte overgangen tussen werkvormen, een voor de leerlingen uitdagende en motiverende leeromgeving waarin ze zich aanvaard en veilig voelen, waar iedere jongere kan leren: dat is een goede basis.