krachtige leeromgeving

EVALUATIE

KLASMANAGEMENT

Hoorcollege 8 - Campus Etterbeek - Emma Van Malderen

• Verbanden leggen tussen evaluatiebenaderingen en -methoden en functie van evalueren
• Betrouwbare en valide evaluatie-instrumenten ontwikkelen en gebruiken
• Een op groeigerichte visie op evaluatie ontwikkelen
• Evalueren om te leren inbouwen en daartoe gepaste instrumenten kiezen en ontwikkelen
• Een kritische mening vormen over het gebruik van cijfers en toetsinstrumenten in onderwijs
• Op een doordachten manier rapporteren over resultaten
• Preventieve maatregelen nemen om een gestructureerd werkklimaat in de klas te bevorderen

Doelen van deze les

1. Evaluatie
   • Design
   • Kwaliteit
   • Vormen
   • Feedback
2. Klasmanagement

Opbouw van deze les

7.1 Oriëntatie

Actualiteit

(vrtnws, 20-11-2024)

(Vlaams Regeerakkoord-2024-2029)

(vrtnws, 03-09-2019)

1. op het rapport komt het gemiddelde van alle toetsen?
2. op het rapport komt een cijfer dat de beheersing van Jelina op dat moment weergeeft?
3. op het rapport komen geen cijfers maar wordt per eindterm aangegeven in hoeverre Jelina die al beheerst?
4. bij het rapport zit positieve commentaar over wat Jelina al goed beheerst en gerichte feedback over wat ze nog verder moet oefenen?

Opdracht

Jelina - 4HuWe - heeft het niet makkelijk met spelling Nederlands.  Door voor haar bijkomende instructie, begeleiding en oefening te voorzien, doet ze het  bij toetsen op het eind van het semester veel beter.

(Engels, N.)

Situering

Bepalen van de waarde van het onderwijsproces en van het resultaat daarvan

7.1 Design van evaluatie

Juist, valide en betrouwbaar instrument om te meten of doelen bereikt worden

Wanneer is het goed (genoeg)?

Beslissing (sanctionerende of didactisch)

Terugkoppeling aan betrokkenen in overeenstemming met het doel van de evaluatie

Meten en registreren

Beoordelen

Beslissen

Rapporteren

Vier fasen

waarom

wat

wie

wanneer

waarmee

hoe

?

Vele keuzes

Evaluatie van leren

Evaluatie om te leren

'Test'

< 'testum': instrument

> meting, objectieve vaststelling

Summatieve evaluatie

• om te evalueren of de doelen bereikt zijn en te beslissen over slagen/niet slagen

'Assessment'

< 'assidere': naast iemand zitten

> begeleiding, groeipotentieel, gericht op leerproces

Formatieve evaluatie

• om het leerproces te stimuleren, bij te sturen
• om onderwijsaanbod en ondersteuning bij te sturen

Waarom?

Product

Proces

Het resultaat van het leerproces

Het verloop van het leerproces

• bij de leerling
• aan de kant van de leraar (onderwijs-, begeleidingsproces)
• in de interactie tussen beiden
• in de interactie tussen leerlingen

Wat?

Traditioneel

Bij evalueren om te leren

de leerkracht

• de leerkracht - samen met
• de leerling - zelfevaluatie
• de medeleerlingen - peerevaluatie > leren van elkaars werk + feedback
• externen - vb. expert uit beroepsveld

Wie?

      bij de start                                       tussentijds                                       bij het eind

product                             proces                            product                             proces                            product

Het tijdstip van evaluatie bepaalt niet noodzakelijk of evaluatie formatief of summatief is !  

Wanneer?

7.2 Kwaliteit van evaluatie

! voor summatieve evaluatie

Hoe?

! voor summatieve evaluatie

Meet je wat je wil/ moet meten? Zorgvuldig toetsvorm en -inhoud kiezen aan de hand van een toetsmatrijs:

1. Doel van evaluatie
2. Overzicht van inhouden
3. Beheersingsniveau

> Relatief belang van verschillende onderdelen en van onderscheiden beheersingsniveau

Hoe? - Validiteit

 Wordt er correct gemeten? Of berust het resultaat op toeval?

• het instrument
• de afnamesituatie
• de beoordeling        
• de beoordeelde

! voor summatieve evaluatie

Hoe? - Betrouwbaarheid

Afweging: best mogelijke validiteit en betrouwbaarheid i.f.v. tijd & beschikbare middelen

(de meest valide toetsvorm kan zeer onbetrouwbaar worden als de omstandigheden (bijv. aantal leerlingen) niet toelaten om hem goed uit te voeren)

! voor summatieve evaluatie

Hoe? - Efficiëntie

Objectiviteit

> verbetersleutels, scorewijzers, kijkwijzers

Transparantie

> duidelijkheid over doelen, criteria, normen, voorbeeldvragen, oefentoets, ...

Normering

> vooraf bepaalde criteria

! voor summatieve evaluatie

Hoe? - Billijkheid

Data verzamelen en interpreteren

1. Beslis over evaluatievorm en beoordelingseisen
2. Gebruik evaluatieinstrument (toets, observatieformulier, ...) om gegevens te verzamelen
3. Beoordeel zo objectief mogelijk
4. Scoor en interpreteer de score ('is 8/10 voldoende om geslaagd te zijn'? Als de student-chirurg 8 keer op de 10 juist snijdt, is dat dan genoeg om te slagen? Wat is de cesuur?)  Bij voorkeur criteriumgerefereerd i.p.v. normgerefereerd
5. Rapporteer de resultaten

!Congruent!

WYTIWYG

What you test is what you get

! voor summatieve evaluatie

Hoe?

Opdracht

 Uit het leven gegrepen:

• Herhalingstoets wiskunde - hoofdstuk tweedegraadsfuncties en -vergelijkingen
• Deze toets weegt mee voor 50% van de punten van het rapport
• Leerlingen werken een lesuur aan de toets
• Op het einde van de les worden alle toetsen verzameld
• Igor geeft zijn toets niet af
• Twee dagen later vindt Igor de toets in zijn boekentas en informeert de leraar hierover

 Hoe zou jij als leraar hiermee omgaan? Op welke kwaliteitscriteria beroep je je?

7.3 Evaluatievormen

Opdracht

 Welke toetsvormen ken je? Ken je nog andere toetsvormen?

Zorg dat je toetsvorm congruent is met het gedrag dat in de doelen beoogd werd

waarmee

Waarmee? - Tal van opties

Toets met gesloten vragen - Toets met open vragen - Hands-on toets - Simulatietoets - Casus - Logboek - Portfolio

Opdracht

Wanneer zou ik een .... gebruiken?

Beraad je in een groep van 4 over twee toetsvormen:

• Welke zijn de kenmerken van deze toets?
• Wat zijn de voordelen van deze toetsvorm?
• Wat zijn de nadelen van deze toetsvorm?
• Wanneer zou je deze toetsvorm gebruiken?

Bespreek en noteer (8')

Verifieer met de cursus (2')

Licht vervolgens plenair toe

• waar- onwaar
• meerkeuze
• matching
• classificeren
• rangschikken

• grote gokkans, vooral bij waar/onwaar vragen en matching
• constructie van goede meerkeuzevragen is moeilijk en tijdrovend

• beperkte afnametijd
• eenvoudig te automatiseren correctie
• objectieve scoring mogelijk
• hoge representativiteit aangezien

+

-

Waarmee? - Toets met gesloten vragen

• kort antwoord-vraag
• essayvraag

• toepassings-, denk-, redenerings-, uitdrukkingsvermogen toetsen
• gokken uitgesloten
• vraagconstructie eenvoudig

• best geen essayvragen voor  feitelijke of begripsmatige kennis
• correctie vraagt veel tijd, moeilijker om betrouwbaar te scoren
• vorm van het antwoord (handschrift, structuur of taalvaardigheid bij een mondelinge toets) kan de inhoud maskeren

+

-

Waarmee? - Toets met open vragen

• Taak in een reële werksituatie (in context)
• Observatie door de beoordelaar(s), via observatieschema

• grote authenticiteit
• complexiteit van de reële beroepssituatie wordt in rekening gebracht

• geringere betrouwbaarheid omdat de toets slechts beperkt standaardiseerbaar is
• tijdsintensief

+

-

Waarmee? - Hands-on toets

• Simulatieopdrachten  5 à 10 minuten
• Scoringslijsten
• Eisen soms zeer hoog (90 tot 100% beheersing) o.v. de risico’s in de beroepspraktijk
• Vb.:  reageren in een conflictsituatie; deelnemen aan een groepsdiscussi; onderdelen van een toestel  correct monteren; een meting uitvoeren; …

• tijd voor afname examen

• valide
• authentiek mits toetssituatie = afspiegeling van de praktijk
• betrouwbaar mits voldoende gedetailleerde beoordelingslijsten
• hoge mate van standaardisatie mogelijk

+

-

Waarmee? - Simulatietoets

• Casussen/praktijksituaties op papier die moeten worden geanalyseerd, opgelost, ... met de aanwezige kennis en vaardigheden
• Sommige casusbeschrijvingen beslaan 1 pagina, andere 20 à 30 pagina’s.
• Scorewijzer met de elementen van antwoord die moeten voorkomen

• beperkte validiteit voor handelingen (praktijk)
• objectiviteit scoring
• tijd constructie  casussen

+

-

Waarmee? - Hands-off toets

• problemen in het leerproces diagnostiseren
• reflectievaardigheid registreren
• monitoren eigen leerproces bevorderen
• laat toe tussentijds bij te sturen

• validiteit en betrouwbaarheid zwak gezien invloed introspectief vermogen, eerlijkheid, introversie-extraversie, …

• Procesverslag, minder of meer voor-gestructureerd
• Aanduiding van competenties waaraan gewerkt is, welke moeilijkheden werden ervaren en hoe ermee is omgegaan
• Bij groepsopdrachten info  over de taakverdeling en reflecties over samenwerking
• Verslag leerlingen over wat zij menen geleerd te hebben
• Aanvullend bij het toetsen van verschillende competenties

+

-

Waarmee? - Logboek

Selectie van 'producten', 'artefacten' aan de hand waarvan men zijn competenties zichtbaar maakt, eventueel aangevuld met bijschriften/reflecties bij die producten, zelfevaluatie, persoonlijk ontwikkelingsplan

• laat toe om competenties die in complexe reële situaties worden ingezet te beoordelen evenals langere en ingewikkelde leertrajecten
• toetsing van authentieke situaties
• zet aan tot in handen nemen van eigen leerproces

• voor de student kan het samenstellen van een portfolio tijdsintensief zijn
• ook de portfolio-analyse kan tijdrovend zijn (als er ook tussentijdse begeleiding aan gekoppeld wordt: al gauw 5 à 7 uur per student)

+

-

Waarmee? - Portfolio

7.4 Evalueren om te leren

(doordenker)

Canvas-cursus Krachtige Leeromgeving
> Startpagina
> Modules - leerpakketten
> Leerpakket evaluatie
> Evalueren om te leren

Opdracht

 Lees het voorbeeld. Hoe bouwt deze student evalueren om te leren in in haar les?

• Online voorkennistoets
• Rubrics samenwerkingsvaardigheden
• Evaluatiecriteria opiniestuk (eindproduct)
• Co-evaluatie - eigen werkpunt samenwerking bepalen   
• Tussentijdse monitoring
• Gebruik van rubrics en evaluatiecriteria
• Reflectie
• Peerfeedback

Oriënteren

Voorbereiden

Uitvoeren

Reflecteren

waarmee

Evalueren om te leren

7.4 Evalueren om te leren

(feedback)

waarmee

Evalueren om te leren - een voorbeeld

waarmee

Evalueren om te leren - principes

 = alle  informatie  die  een  leerling  krijgt  over  diens leerproces

< leerkracht, medeleerlingen, ouders, leerling zelf, online tests...

Bij de hoogste invloeden op leerprestaties, indien goed toegepast

Effect size: .73

(Hattie & Timperley, 2007)

waarmee

Evalueren om te leren - feedback

Beschrijf aan welke criteria de prestatie/het proces moet beantwoorden

Vergelijk met de geleverde prestatie/proces

• Correctief: benoemen ongewenst gedrag en suggestie hoe bij te sturen
• Uitleg gevend: toelichting - bijkomende instructie
• Ondersteunend: suggesties om het gesteld doel te bereiken of waardering voor het resultaat van de inspanningen

waarmee

Feedback - stramien voor feedback geven

1. Taakniveau

Juist of onjuist

'Je beschrijft heel helder waarom de grondstoffen gebruikt worden voor deze technische realisatie. Wat ik mis is een analyse van de risico's bij gebruik van deze grondstoffen.'

Zelfregulatie

'Ik merk op dat je stopt met werken telkens als je een hulpvraag hebt. Misschien kan je je vraag opschrijven en toch doorwerken aan andere dingen tot ik je kan verder op weg helpen.'

2. Procesniveau

Gebruikte strategie

'Je hebt enkele internetbronnen met de juiste informatie gevonden. Het is nodig die grondiger te bestuderen en verbanden te leggen tussen de elementen van informatie.'

Persoonlijk functioneren

'Ik vind het fantastisch dat je met al die creatieve ideeën komt.'

(Hattie & Timperley, 2007)

waarmee

Feedback - vier feedbackniveaus

Feedback = informatie over het leerproces (na de uitvoering)
Hoe doe ik het als leerling?

Feed-up = informatie over de leerdoelen (tijdens de uitvoering)
Wat wil/moet ik als leerling bereiken? Waar werk ik naartoe? Wat wil ik bereiken?

Feedforward = informatie over vervolgstappen (vòòr de volgende stap / leertaak)
Wat volgt? Wat is de volgende stap?

Rubrics kunnen prima worden ingezet voor feed up, feedback, en feed forward en voor gebruik door de leerkracht, de leerling zelf en medeleerlingen

waarmee

Feedback - drie vormen

avi77 principes voor feedback

Goede feedback:

1. maakt duidelijk wat een goede prestatie is
2. faciliteert de ontwikkeling van zelfreflectie
3. bezorgt de leerlingen kwalitatieve informatie over hun leren
4. moedigt dialoog aan over leren tussen leerkracht en leerlingen en leerlingen onderling
5. moedigt motivatie en zelfvertrouwen aan
6. zorgt voor opportuniteiten om de kloof tussen huidige en gewenste prestaties te dichten
7. geeft leerkrachten informatie die kan gebruikt worden om hun lesgeven vorm te geven

(Nicol & Macfarlane-Dick, 2006)

waarmee

Feedback - kwaliteit

Onvoldoende

Uitstekend

waarmee

Feedback - een voorbeeld van rubrics

Onvoldoende

Uitstekend

waarmee

Feedback - voorbeeld van rubrics voor proces

Voor attitudes en vaardigheden
https://fdocuments.nl/reader/full/sam-schaal-schaal-voor-meting-van-attitudes-en-schaal-voor-meting-van-attitudes

Voor wiskunde

https://users.ugent.be/~mvalcke/LI_1213/cursus/rubrics_vb.pdf

Voor wetenschappen

histoforum.net/webquests/Rubrics_of_Rubrieken.doc

waarmee

Feedback - andere voorbeelden

waarmee

Meer weten?

Formatieve feedback

         (Mitchell, 2015)

15

Opdracht

Jelina - 4HuWe - heeft het niet makkelijk met spelling Nederlands.  Door voor haar bijkomende instructie, begeleiding en oefening te voorzien, doet ze het  bij toetsen op het eind van het semester veel beter.

1. op het rapport komt het gemiddelde van alle toetsen?
2. op het rapport komt een cijfer dat de beheersing van Jelina op dat moment weergeeft?
3. op het rapport komen geen cijfers maar wordt per eindterm aangegeven in hoeverre Jelina die al beheerst?
4. bij het rapport zit positieve commentaar over wat Jelina al goed beheerst en gerichte feedback over wat ze nog verder moet oefenen?

ADDENDUM

Klasmanagement

Opdracht

Wat is het probleem? Herken je de vraag van Frank? 

(vrtnws, 14-11-2024)

(vrtnws, 30-09-2024)

Opdracht

Wat is het probleem? Herken je de vraag van Frank? 

(De Morgen, 14-09-2023)

Klasmanagement

= maatregelen en voorzieningen treffen om een werkomgeving te creëren die leren en onderwijzen toelaat en bevordert.

zich betrokken voelen bij de anderen

gemotiveerd zijn

rust vinden om taakgericht bezig zijn

zich (mede)verantwoordelijk voelen

respect hebben voor elkaar

zich veilig voelen

gevoel het aan te kunnen

spelregels kennen

zich rechtvaardig behandeld voelen

zich gewaardeerd voelen

Klasmanagement - hoe?

Oude vs nieuwe autoriteit

(De Autoriteit van leraren is niet meer vanzelfsprekend, Omer)

Klasmanagement - hoe?

Wel:

Goed georganiseerde lessen met vlotte overgangen tussen werkvormen, een voor de leerlingen uitdagende en motiverende leeromgeving waarin ze zich aanvaard en veilig voelen, waar iedere jongere kan leren: dat is een goede basis.

Gedrag

Klasmanagement - groepsvorming

(Tuckman, 1965)

Klasmanagement - groepsvorming

• Kennismaking
• Klassenregels
• Activiteiten gericht op elkaar leren kennen
• Rust en structuur

Klasmanagement - groepsvorming

• Controle houden
• Ordeverstoringen snel oplossen
• Machtsstrijd vermijden
• Verbindende activiteiten
• Kringgesprek

Opdracht

Heb je suggesties voor Frank? 

(De Morgen, 14-09-2023)

EXIT

• Leerlijn pedagogiek en didactiek + stam (vb. GDW):
  • Opdracht: ideale lesvoorbereiding met bijhorende kijkwijzer lesontwerp.
  • Mondeling examen: je krijgt twee vragen om te toetsen of je de referentiekaders begrijpt en kan toepassen.
• Leerlijn reflecterend en onderzoekend handelen:
  • Permanente evaluatie coachingsvaardigheden
  • Naslag op portfolio d.m.v. o.a. GRROW-verslag (reflectievaardigheden)

70%

30%

Pass/Fail

 Evaluatie van KLO