Beoordelen van gesprekken met behulp van MS Teams

Tim Lorenz, docent de opleiding Sportkunde, 19 mei 2020

Beoordelen van gesprekken met behulp van MS Teams

Tim Lorenz vertelt over de positieve ervaringen die zij vanuit jaar 3 (een Minor) op hebben gedaan met het beoordelen van gesprekken en online toetsen (casustoets) met behulp van MS Teams.

Mijn doel
Studenten moeten een verantwoord assessment uit kunnen voeren, Leefstijlcoaching kunnen toepassen en een Beweegprogramma ontwikkelen en begeleiden.

Wat heb ik gedaan
Casuïstiek; leerling draagt online een eigen casus uit hun eigen omgeving aan m.b.t. Welvaartsziekte en de docent levert online een fictieve casus aan m.b.t. Welvaartsziekte en Sportblessure. Van hieruit worden de competenties van de student getoetst. 

Leerlingen moeten tijdens een vraaggesprek aan kunnen geven hoe ze de Leefstijlcoaching en het Beweegprogramma gaan aanpakken en daar een assessment op uitvoeren, Leefstijlcoaching toepassen en een beweegprogramma ontwikkelen en begeleiden.

Toetsing (assessment) is vraag gestuurd en één op één; Toetsing wordt in MS Teams via de agenda geagendeerd. In totaal zijn er 4 docenten die de assessments hebben afgenomen. Eén docent neemt in Teams de toets af d.m.v. een vraag gestuurd gesprek van ongeveer 20 à 25 minuten. We hebben expliciet gekozen om de student geen presentatie te laten houden omdat we willen dat ze inzicht kunnen tonen. De vragen die tijdens het gesprek worden gesteld zijn gebaseerd op de drie leerdoelen; Assessment, Leefstijlcoaching en Beweegprogramma’s en zijn gericht op de niveaus Knows How en Shows How (Piramide van Miller). Omdat je op deze niveaus vragen stelt (toepassingsvragen), ondervang je grotendeels dat een student tijdens een gesprek kan “spieken”.

Back up; telefonische toetsing. Student moet docent op afgesproken tijdstip bellen als het online niet kan doorgaan.

Maatregelen toetskwaliteit; de toetsopdracht vooraf in een format t.b.v. de casus in laten vullen door de student. Dit
format bestaat uit vragen m.b.t. tot de leerdoelen, voorbeeldvragen en Alignement Rubric. Over ieder leerdoel (Assessment, Leefstijlcoaching en Beweegprogramma’s) worden ongeveer 10 vragen in het format gesteld.

M.b.t. het “Vier ogen principe”; we spreken voorafgaand aan de toets al af
wat voldoende en onvoldoende is.

Kalibratie;

• Voorafgaand; voorbeeldcasussen bespreken met studenten.
• Tijdens; 1^e dag: Docenten gaan onafhankelijk toetsen, opname (van elkaar)terugkijken, onafhankelijk beoordelen, nabespreken met elkaar, elkaar feedbackgeven en “finetunen”.2^e dag: doe je als docent zijnde de gesprekken en de beoordeling alleen.Overleg en feedback vragen met een collega is altijd mogelijk.
• Achteraf; elkaar kritische vragen stellen t.b.v. kwaliteitsverbetering.

Mijn ervaring

• Het is prettig om de opname van het gesprek bij de beoordeling terug tekunnen kijken. Vooral ook als er vragen of klachten zijn over de beoordeling.
• Back up (telefonische toetsing) is tot nu toe niet nodig geweest. 
• We ervaren dat het afnemen van een toets door 2 personen niet altijd leidt tot een hogere betrouwbaarheid omdat je elkaar kunt afleiden, je verschillende manier van vragen stellen kunt hebben, en je voor jezelf een bepaalde volgorde van vragen stellen hebt die door de ander onderbroken kan worden.
• Je merkt tijdens het toetsen eigenlijk meteen wanneer een student informatie bij de hand heeft om te “spieken”. Het leidt de student af, dat zie je aan de reacties van de student.
• 5 voordelen van toetsen in MS Teams;

- Minder “recall bias” door het terug kunnen terugkijken van de gespreksopname. Hierdoor krijg je een verhoging van de validiteit van de beoordeling.

- Betere kalibratie mogelijk waardoor je een verhoging van de betrouwbaarheid krijgt.

- Meer concentratie tijdens het toetsmoment; je hoeft geen aantekeningen te maken.

- Meer transparantie en controlemogelijkheden; bij klachten en t.b.v. accreditatie.

- Makkelijker te organiseren; flexibelere inzet docenten en geen lokalen nodig. Vooral door dit laatste voordeel denken
we er over om de toetsing volgend jaar ook op deze manier voort te gaan zetten.

• Het toetsprogramma kent een mix van toetsvormen, die allemaal dezelfde competenties toetsen maar op een verschillend niveau van Miller;

       - Formatieve oefentoetsen de 2 laagste niveaus

      - Casustoets op de 2 middelste niveaus

      - WPL/Stage op het hoogste niveau

• Als je een klein team van docenten hebt kost het minder tijd om onderling af te stemmen. Maar ook met grotere groepen docenten heeft deze manier van toetsen mijn voorkeur. Dan moet je echter wel wat meer tijd aan kalibratie besteden.

Zelf aan de slag
Fontys biedt MS Teams aan. Je kunt er via een webversie in werken, maar je kunt ook de app daarvoor
downloaden; https://www.microsoft.com/nl-nl/microsoft-365/microsoft-teams/download-app
In de app heb je meer mogelijkheden tot je beschikking dan in de webversie.

Onderstaande links heeft Tim in zijn presentatie gedeeld t.b.v. de Maatregelen toetskwaliteit;

- Gespecificeerde leerdoelen
- Voorbeeldvragen
- Alignment Rubric

En als ik nog vragen heb?
Dan kun je contact opnemen met Tim Lorenz; t.lorenz@fontys.nl