AI-Assisted Grading: A Leap Forward or a Step Back? van Pascal Vallet is een kritische beschouwing van het gebruik van AI-tools bij het beoordelen van lerenden. De auteur kraakt terecht enkele kritische noten. Toch deel ik zijn mening niet voor 100%.
Aanleiding voor zijn bericht is zijn kennismaking met EssayGrader. Deze AI-toepassing belooft de beoordelingstijd van essays drastisch te verkorten. Vallet waarschuwt echter voor blinde acceptatie van deze technologie en roept op tot een kritische blik op de waarde van beoordeling voor zowel lerenden als docenten. Hij vraagt zich af of we dankzij het gebruik van AI bij beoordelen, ondanks de tijdsbesparing, niet belangrijke aspecten missen.
Wat willen we namelijk met beoordelen bereiken, zo vraagt hij zich af. Wat zijn de doelstellingen van beoordeling?
Does the essence of grading lie solely in the act of assigning a numerical value or letter grade to a piece of work, or is there an intrinsic value to the time spent reviewing, assessing, and contemplating student submissions?
Volgens de auteur is betrokkenheid van de docent bij het werk van de lerende van groot belang omdat dit leidt tot inzicht in begrip, sterke kanten en ruimte voor ontwikkeling. Hij vraagt zich af wat het betekent om het werk van lerenden te beoordelen en hoe technologische ontwikkelingen aansluiten bij of afwijken van educatieve kernwaarden zoals begrip, feedback en groei?
Vallet bespreekt vervolgens de toenemende rol van AI in beoordelingen. Sommige docenten zijn enthousiast over de efficiëntievoordelen, terwijl anderen zich zorgen maken over de eerlijkheid en nauwkeurigheid van AI-systemen. Vallet erkent dat de manieren van beoordelen al vóór de komst van AI gebreken vertoonden. De perceptie die docenten bijvoorbeeld van lerenden kunnen hebben, spelen bijvoorbeeld vaak een rol (en niet de kwaliteit van het werk van de lerende). Problemen van vooroordelen en inconsistentie in de beoordeling zijn volgens hem diepgewortelde uitdagingen binnen het onderwijssysteem. AI kan volgens de auteur echter bestaande vooroordelen en onnauwkeurigheden bij het beoordelen bestendigen of zelfs erger maken. Dit zou dan vooral ten nadele zijn van bepaalde groepen lerenden.
Hij stelt dat beoordelingstools die gebruik maken van AI de potentie hebben van gestandaardiseerde, eerlijke beoordeling door systematisch analyses toe te passen op basis van uniforme criteria. Hiermee kan AI volgens Vallet hopelijk de invloed van menselijke bias verminderen. Deze tool hebben echter de beperking van het genereren van diepgaande, kwalitatieve inzichten, meent hij.
Beoordelen is volgens de auteur meer dan het toekennen van cijfers. Voor veel docenten biedt het beoordelen waardevolle inzichten in de ontwikkeling van elke lerende. Je krijgt zicht op blinde vlekken en misconcepties die een cijfer alleen niet blootlegt. Op basis hiervan kun je als docent het onderwijs afstemmen op individuele leerbehoeften, en gerichte feedback geven. Deze pedagogische dimensie benadrukt volgens Vallet het belang van formatieve evaluatie, waarbij de nadruk ligt op begeleiding van de leerweg in plaats van een momentopname van prestaties. Volgens auteur onderstreept deze multidimensionale kijk op beoordelen de belangrijke rol van de menselijke factor in het leerproces.
Just as learning emphasizes the journey over the destination, grading should be seen as an integral process that enhances the educator’s comprehension of student needs, rather than just a means to an end.
Vallet concludeert dat AI in het beoordelingsproces een aanvullende rol moet spelen, als hulpmiddel dat de inzichten van docenten in de leertrajecten van lerenden versterkt. De samenwerking met AI moet docenten dan in staat stellen om lerenden beter te kennen en te begrijpen.
Mijn opmerkingen
Pascal Vallet benadrukt terecht het belang van formatief handelen voor het leerproces van lerenden. Kijk meer naar de ontwikkeling van lerenden, en niet alleen naar het uiteindelijke resultaat. Tegelijkertijd heeft hij m.i. weinig oog voor de werkdruk van docenten en de beperkte ruimte die docenten hebben om de geschetste ideale praktijk van formatief handelen vorm te geven. Gezien de hoge werkdruk in tal van beroepen, zoals dat van docenten, is er ook niets mis mee om te kijken naar de mogelijkheden van AI om meer efficiënt werken mogelijk te maken.
Daar komt bij dat lerenden in de huidige onderwijspraktijk lang niet altijd bruikbare feedback ontvangen die hen ondersteunt in hun ontwikkeling. En dit heeft niet alleen te maken met een gebrek aan tijd en hoge werkdruk. Ik heb voorbeelden van (geen) ‘feedback’ gezien waarbij je de tranen in de ogen springen.
Verder onderschat Vallet ook de potentie van (generatieve) AI om kwalitatief goede feedback te geven, en om op basis van tests adviezen te geven over het verdere leertraject. Dit werkt allemaal zeker nog niet perfect. Toch kan AI al een belangrijke assisterende rol vervullen, bijvoorbeeld door concept-feedback te genereren die door een docent aangepast kan worden. Want dat ben ik wel weer met Pascal Vallet eens: het gaat erom dat AI het werk van docenten gaat versterken.
Andere bronnen over generatieve AI
- EUN Report on Status of AI in Teacher Training
- John Stewart on AI
- Rethinking Information Literacy in an Age of AI
- Use AI to Create PowerPoint Presentations for Free
- LinkedIn Post by Erdinç Saçan
- Apple Realm Model Beter dan GPT-4
- OpenAI ASU Art Department Reaction
- University California Irvine Generative Artificial Intelligence Tool
- Clark on AI: Extended Mind
- De AI-verordening is Bijna Rond maar de Bescherming van Jouw Rechten Niet
- 9 Trends in Artificial Intelligence by Jarno Duursma
- Report: The Advantages That AI Brings to Higher Ed
- 200 Artists Urge Tech Platforms to Stop Devaluing Music
- Grote Namen Spreken Zich Uit Tegen Roofzuchtig Gebruik van AI
- LinkedIn Post by Tom Franse
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.
This content is published under the Attribution 3.0 Unported license.
Ewn toets die door AI beoordeeld kan worden kan denk ik meestal ook door AI gemaakt worden. Als studenten AI gebruiken om de toets te maken en de docent om m te beoordelen houden we elkaar, en AI, zinloos bezig. AI is nog niet goed in staat om contextrijke toetsen (probleem x bij doelgroep y in organisatie z) te maken en te beoordelen. Daar is dus voor student en docent zinvol werk aan de winkel. Voor alle beoordelingswerk dat door AI gedaan kan worden geldt wat mij betreft: leer de student zelf hoe zij dit kan doen zodat ze met de zo verzamelde feedback tot een beter product kan komen. Belangrijke taak voor docenten is om studenten te voorzien van zinvolle, contextrijke opdrachten die niet met enkel AI tot een goed einde gebracht kunnen worden, én om feedback te geven op die elements waar de context het verschil maakt. Is ook veel leuker & leerzamer voor de docent weet ik uit ervaring.