Technologie gebruiken om het risico op voortijdige uitval te voorspellen

Bij online leren lopen lerenden relatief meer kans voortijdig te stoppen dan bij face-to-face onderwijs. Khaoula Mrhar, Otmane Douimi en Mounia Abik hebben onderzocht (pdf) of je het risico op ‘drop out’ kunt voorspellen door gebruik te maken van een neuraal netwerk algoritme en van sentiment analyse. Als je het risico op drop out kunt voorspellen, kun je gerichter actie ondernemen om voortijdige uitval te voorkomen.

De auteurs hebben data gebruikt van een massive open online course (MOOC) op het gebied van computerwetenschappen waar bijna 12.000 deelnemers mee zijn gestart. Vanwege de grote hoeveelheid data is een MOOC een interessante bron voor onderzoek.

Mrhar cs stellen dat voortijdige uitval te maken heeft met factoren die te maken hebben met de lerende en met factoren die te maken hebben met de MOOC. De eerste groep factoren betreffen de motivatie en verwachtingen van de lerende, de voorkennis en het wel of niet beschikken over vaardigheden zoals het vermogen je leren te reguleren. Factoren die te maken hebben met de MOOC zijn het ontwerp van de cursus en het gebrek aan sociale interactie waardoor een gevoel van isolement ontstaat.

Voor reguliere online cursussen gelden deze factoren op zich ook, ook al zijn deze niet helemaal te vergelijken met een MOOC (de intentie om deel te nemen verschilt sterk, MOOCs hebben een vrijblijvend karakter doordat de drempel om deel te nemen en te stoppen laag is).

Het risico op uitval wordt over het algemeen zichtbaar via het online gedrag van lerenden. Als lerenden minder actief worden, dan stoppen zij eerder voortijdig met de online cursus. Dit geldt voor gewone online cursussen net zo zeer als voor MOOCs. Je moet dus zicht krijgen op de activiteiten van lerenden binnen een online cursus. Dit inzicht moet dan leiden tot interventies.

De onderzoekers hebben in hun onderzoek een neuraal netwerk algoritme en een sentiment analyse gebruikt en gekeken naar:

  • De mate waarin lerenden items in de cursus hebben aangeklikt (clickstream log data).
  • Forum posts, commentaren en antwoorden.
  • Bezochte wiki-pagina’s.
  • Informatie over de status van lerenden (o.a. definitieve antwoorden op een vraagstuk).
  • Informatie over de planning (o.a. behaalde deadlines).

Opvallend: de auteurs hebben veel data via aparte CSV-bestanden moeten downloaden.

Een sterk punt van het gebruik van deze bronnen is dat je niet alleen rekening houdt met lerenden die via hun bijdragen zeer zichtbaar zijn in een online omgeving. Een grote groep lerenden neemt vaak passief deel, door alleen leerinhouden en discussiebijdragen te bekijken. Hun gedrag wordt door deze aanpak ook zichtbaar.

Op basis van deze data kun je zien dat het aantal actieve lerenden na twee weken snel afneemt. De kans op uitval is binnen de eerste twee weken groot.

We weten al langer waardoor het risico op uitvalt bij online wordt beïnvloed, en we weten ook dat de eerste twee weken van de online cursus daarbij een grote rol spelen. De combinatie van het neuraal netwerk algoritme en de sentiment analyse bleek uitval echter zeer nauwkeurig te kunnen voorspellen. Nauwkeuriger dan alternatieve analysemethoden die gebaseerd zijn op AI.

Bij het ontwerp van een cursus kunnen we op voorhand rekening houden met het voorkomen van uitval. Daarnaast zullen we hier via begeleiding gericht op moeten inspelen. Daarvoor is het belangrijk dat docenten beschikken over handige monitortools die het gedrag op basis van bijvoorbeeld een neuraal netwerk algoritme en sentiment analyse zichtbaar kunnen maken. Deze tools zouden data moeten halen uit een zogenaamd ‘data lake‘ waarin data uit verschillende systemen is opgeslagen. Het is voor docenten niet te doen om verschillende CSV-bestanden te downloaden, met elkaar te combineren en vervolgens te analysen. Bij de Open Universiteit voeren we hier pilots mee uit.

De monitortools zouden docenten moeten notificeren als ‘risicovol gedrag’ wordt gesignaleerd. De docent zou dan snel moeten kunnen zien welke lerenden het risico lopen om voortijdig uit te vallen. Vervolgens kan een docent een passende interventie plegen. Ook zou de monitortool zelf ook lerenden kunnen notificeren. We willen echter vaak geen gebruik maken van deze mogelijkheid. Systemen zouden niet zelfstandig actie mogen ondernemen, zonder tussenkomst van een mens. Ook omdat je de achtergrond van bepaald gedrag niet kent. Een lerende kan bijvoorbeeld te maken hebben gehad met een sterfgeval in de naaste familie.

We zijn bovendien niet altijd in staat om de passende interventies te plegen om ‘drop out’ te voorkomen. Docenten kunnen bijvoorbeeld weinig tijd hebben voor individuele begeleiding. Dit speelt vooral bij grote groepen lerenden. Ook beschikken we niet altijd over kwalitatief goede monitortools die gebruik maken van al het online leergedrag. De scope van bestaande monitortools is vaak beperkt (ingeleverde opdrachten, toetsen).

Een beperking bij het analyseren van online leergedrag is dat je geen zicht heb op alle leeractiviteiten van lerenden. Zij kunnen leerinhouden ook downloaden en offline bestuderen. Lerenden kiezen er echter best vaak voor om content passief te bestuderen en alleen -en met succes- een eindtoets of -opdracht te maken. Ook al gaan wij als ontwerpers er vaak van uit dat lerenden actief moeten leren via verwerkingsopdrachten en formatieve tests.

Zoals gezegd zou je ook achtergrondinformatie moeten hebben, die een verklaring kan bieden voor bepaald online leergedrag. Tenslotte heb je als opleider en docent ook geen of maar beperkt invloed op persoonlijke factoren die van invloed zijn op voortijdige uitval.

Via Stephen Downes.

This content is published under the Attribution 3.0 Unported license.

Delen

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

* Checkbox GDPR is verplicht

*

Ik ga akkoord