Generatieve AI-technologie heeft potentie voor het geven van persoonlijke begeleiding van lerenden. Tegelijkertijd kan AI-tutoring sociale ongelijkheid ook versterken.
Ik las deze week twee bijdragen over deze zogenaamde ‘AI-tutoring’. Het eerste artikel is een publicatie van Forbes die aan de hand van de casus van het bedrijf SigIQ.ai het potentieel van AI-tutoring om onderwijsongelijkheid te verminderen, bespreekt. De tweede bijdrage is een analyse van de AI Tutor Pro, een specifieke AI-tool voor lerenden van Contact North, geschreven door Tony Bates, die de tool uitgebreid heeft getest.
Het geven van persoonlijke begeleiding levert aantoonbaar betere resultaten oplevert dan leren in grote groepen. De Forbes-publicatie verwijst daarbij naar Bloom’s publicatie van het 2-Sigma probleem, ook al schijn je kanttekeningen te moeten plaatsen bij Bloom’s analyse. Omdat niet iedereen toegang heeft tot persoonlijke begeleiding, veroorzaakt de toepassing ervan sociale ongelijkheid (denk aan huiswerkbegeleiding).
AI-tutoring wordt gezien als een manier om dit probleem aan te pakken. Bedrijven zoals SigIQ.ai ontwikkelen AI-gestuurde tutors die beweren één-op-één begeleiding te kunnen bieden van vergelijkbare kwaliteit als een menselijke docent, maar dan tegen veel lagere kosten. Het doel is om gepersonaliseerd leren te democratiseren, zodat lerenden overal ter wereld toegang hebben, ongeacht hun locatie of financiële situatie.
De aanpak van SigIQ.ai omvat het inschatten van de kennis van de lerende, het identificeren van sterke punten en lacunes, het plannen van een leerstrategie, het aanbieden van materiaal en het beoordelen van de aanpak. Dit proces bootst de besluitvorming van docenten na in de leercyclus. De eerste resultaten van SigIQ.ai laten een toename zien van 30-40% in effectieve studietijd en een prestatieverbetering van 18% in de eerste maand bij lerenden die zich voorbereiden op examens. Een opvallend resultaat is dat een AI-agent van SigIQ een uitdagend Indiaas examen sneller voltooide en beter scoorde dan alle menselijke lerenden vorig jaar.
Naast potentieel zijn er ook duidelijke uitdagingen, zoals blijkt uit de analyse van AI Tutor Pro door Tony Bates. Deze tool, een AI-chatbot, heeft functies om kennis te testen (‘Check’) en te verbeteren (‘Grow’) op verschillende niveaus en complexiteiten. De interactie verloopt via vragen en antwoorden: de tool geeft feedback en stelt een nieuwe vraag.
Bates constateert dat AI Tutor Pro snel antwoordt, zelfs op complexe vragen, maar dat het volgen van een eigen leerpad lastig kan zijn. Hij had het gevoel in een ‘rabbit hole’ te belanden, waarbij de conversatie afdwaalde van het oorspronkelijke doel. De tool is volgens hem niet goed in staat om de lerende te begeleiden als deze vastloopt; het geeft wel het antwoord, maar de volgende vraag borduurt niet altijd voort op het onbegrepen punt.
Een belangrijk praktisch probleem is volgens Bates het opslaan en terugvinden van interacties. Er is een ‘copy’ knop, maar het is onduidelijk waar de gegevens worden opgeslagen. Alleen schermen printen of achteraf via e-mail een analyse opvragen is mogelijk, maar een online overzicht van de gesprekken ontbreekt. Volgens de auteur is dit een belangrijk minpunt omdat het voor een lerende wenselijk is om informatie later te kunnen raadplegen.
Bates schrijft ook dat het bevorderen van meer begrip of kritisch denken bij AI Tutor Pro ook sterk afhangt van de vragen die de lerende zelf stelt. De bot geeft meestal slechts één of twee antwoorden en het Socratische vraag-antwoord model kan beperkend zijn; soms is er meer sturing nodig over welke vragen relevant zijn. Bates merkte ook dat de motivatie na korte tijd afnam en dat de tool, die alleen tekstuele antwoorden geeft, baat zou hebben bij afbeeldingen, zeker bij vakken als ‘kunst’.
Een fundamenteel punt van kritiek is de transparantie. De herkomst van de informatie is onduidelijk. Op vragen naar bronnen geeft de tool een generiek antwoord over het gebruik van gelicenseerde data, data van menselijke trainers en publieke informatie tot oktober 2023, zonder specifieke citaten. Dit maakt het lastig de betrouwbaarheid van de informatie te beoordelen. Ook de numerieke score op de ‘Check’ tool wordt als vrij zinloos ervaren zonder vergelijkingskader.
Bates stelt dat de uitdaging voor docenten ligt in het effectief integreren van AI-tools zoalsAI Tutor Pro. De tools zijn sterk in het ondersteunen van begrip. Het zorgvuldig formuleren van leerdoelen is belangrijk. De tools kunnen volgens hem waardevoller worden ingezet in groepsdiscussies of groepswerk, waarbij de docent de lerenden kan begeleiden bij het stellen van de juiste vragen.
Mijn opmerkingen
Het Forbes artikel bevat de belofte van meer gepersonaliseerd en toegankelijk onderwijs. Tegelijkertijd tonen praktijkervaringen aan dat er nog duidelijke beperkingen zijn op het gebied van gebruiksvriendelijkheid (navigatie, opslaan), transparantie van informatie en het effectief stimuleren van meer verdiepend leren. Ook richten deze AI-tutoren zich sterk op de cognitieve ontwikkeling van lerenden, terwijl dit maar één aspect is van de ontwikkeling van lerenden.
Daar komt bij dat AI-tutoring ook de sociale ongelijkheid kan vergroten. Ik denk daarbij aan het verschil in kwaliteit tussen betaalde en ‘gratis’ versies. Het is volgens het Forbes-artikel bijvoorbeeld de vraag hoe de AI-tutoren van SigIQ.ai op termijn betaald moeten worden.
Verder is in dit kader ook Audrey Watter’s bijdrage Technologies of Individualization Are Technologies of Inequality relevant. Zij stelt dat technologieën die de nadruk leggen op individualisering (of personalisering) vaak onderwijsongelijkheid herbevestigen. Dankzij algoritmes bepaalt AI volgens haar wie toegang krijgt tot welke leerstof, mogelijkheden en menselijke begeleiding. Door het classificeren van “intelligentie” ontstaat dan een minder waardevolle, minder menselijke leerervaring. Dat betekent dus dat lerenden weliswaar toegang krijgen tot individuele begeleiding en hulp, maar dat de bias in de niet-transparante algoritmen juist weer zorgt voor meer ongelijkheid.
Mijn bronnen over (generatieve) artificiële intelligentie
Deze pagina bevat al mijn bijdragen over (generatieve) artificiële intelligentie, zoals ChatGPT.
This content is published under the Attribution 3.0 Unported license.
Geef een reactie