Studenten die online leren plegen meer fraude bij examens. Als studenten de kans krijgen, plegen ze vaker bedrog bij online examens dan studenten die niet online leren. Dat blijkt uit een studie van de universiteit van Ohio. Volgens mij komt dat vooral ook door een systeemfout.
Internettechnologie heeft al een behoorlijke innovatieve invloed gehad op cursusmaterialen. Denk aan open courseware-initiatieven of aan de Khan Academy. Volgens Joshua Gans staat de volgende ‘digitale revolutie’ voor de deur. Een revolutie, waarbij ik mijn hart vasthoud.
Openness and the Future of Assessment stipt een boeiend issue aan: het beoordelen van deelname aan open education. De in opkomst zijnde Open Badge Infrastructure (OBI) biedt daar geen oplossing voor, blijkt. Het gebruiken en analyseren van ‘big data’ wel?
Voor de bekwaamheden van de 21ste eeuw zijn andere manieren van beoordelen nodig, dan het afnemen van gestandaardiseerde testen. Dat stelt Maggie Hos McGrane. Er moet immers een relatie zijn tussen te behalen leerdoelen en de wijze waarop je deze doelen toetst. Vind je belangrijk dat lerenden kritisch leren denken, problemen kunnen oplossen of digitaal geletterd zijn? Pas dan de wijze van beoordelen aan.
7 reasons why Kafka would have loved assessment is op z'n minst een originele blogpost waarin Donald Clark de bestaande praktijk van beoordelen vergelijkt met Het Proces van Franz Kafka.
Young people are in a perpetual world of exams and are not sure why the world is so determined to accuse them and find them guilty of not knowing huge tranches of weird stuff.
Clark heeft hierbij de standaard, fraudegevoelige, summatieve toetsen voor ogen die niet echt meten wat je wilt meten. Deze toetsen kijken vooral naar wat je niet kunt (of vooral niet kent). Ook ben je snel vergeten wat je tijdens deze toetsen gereproduceerd hebt, en wordt gebruik gemaakt van tools die lerenden in het dagelijks leven volgens Clark nauwelijks nog gebruikt. Tenslotte is volgens hem sprake van een slechte kwaliteitscontrole.
Donald Clark concludeert daarom:
We’re stuck with a Kafkaesque approach that is relentless, bureaucratic, accusatory and often tests the wrong things for the wrong reasons, killing the desire to learn. We’ve turned our children into a generation of Josef Ks.
Zoals zo vaak chargeert Clark. Althans voor zo ver ik kan oordelen over toetsen binnen het Nederlandse onderwijs. Binnen ons onderwijs wordt veel diverser en authentieker beoordeeld. Al kan het natuurlijk altijd beter, en bestaat ook hier soms de neiging om vooral weer summatieve kennistoetsen af te nemen.
De vergelijking is uiteraard mooi gevonden.
Donald Clark heeft een keynote bijgewoond van assessment 'goeroe' professor Paul Black en vat samen waarom het geven van cijfers voor formatieve beoordelingen schadelijk is voor het leerproces:
The mark is seen as a score on fixed ability, fixing in the mind of the learner a view of themselves.
It reinforces the idea of innate ability rather than aspirational learning.
Volgens Black toont onderzoek aan dat het geven van commentaren alleen beter werkt dan het geven van cijfers (al dan niet in combinatie met feedback), behalve bij lerenden die goed presteren. Dat komt omdat cijfers als definitief worden beschouwd, en leerlingen die minder goed presteren demotiveren.
In Never praise a child benadrukt Clark -op basis van Black's keynote- het belang om het werk van een lerende te complimenteren, en niet de lerende zelf. Hij waarschuwt er voor om antwoorden te veroordelen, maar pleit ervoor om vooral positief te blijven en specifiek te zijn in het commentaar. Ook stelt hij dat sociale media zich juist bij uitstek lenen om feedback te geven.
Een herkenbare bijdrage. Ik vond lage cijfers ook altijd demotiverend werken. Op mijn middelbare school hadden wij bijvoorbeeld een docent Nederlands die bij dictees (bestaande uit weinig betekenisvolle, ingewikkelde, teksten) zelfs minpunten gaf. Bij vijftien fouten kreeg je een -5. Dat werd 'humor' genoemd. Ja, vroeger was het onderwijs inderdaad beter dan nu (ik heb deze 'schande voor z'n vak' gelukkig zelf nooit gehad).
Ander voorbeeld: ik had als veertienjarige bij scheikunde in het begin grote moeite om formules voor stoffen uit mijn hoofd te leren. Een kwestie van een niet passende manier van leren. Nadat ik de 'geest' zag, ging het veel beter. Maar de drie 1-en waren inmiddels natuurlijk niet meer te compenseren. Ik was dan ook blij dat ik scheikunde aan het eind van het jaar kon laten vallen.
Aan de andere kant heb ik ook ervaren dat hoge cijfers tot genoegzaamheid kunnen leiden, die op termijn leiden tot mindere leerprestaties. Drie keer een 10 achter elkaar voor een dictee leidde er op de basisschool bijvoorbeeld toe dat ik dit onderdeel maar niet meer bij hield (met vervolgens een 6,5 tot gevolg).
Ik deel dus de kritiek op het geven van cijfers bij formatieve beoordelingen. En ja: mijn eigen onderwijservaringen hebben geleid tot mijn passie voor leren.
Opvallend is wel dat Black's pleidooi gedaan wordt in een tijd waarin juist weer meer aandacht is voor het geven van cijfers. Niet alleen aan het einde van een opleiding, maar ook tussendoor. Lerenden, ouders (van goed presterende leerlingen), docenten en beleidmakers ontlenen er houvast en zekerheid aan. Black's op onderzoek gebaseerde analyse toont echter aan dat deze zekerheid averechts kan werken voor de succesvolle ontwikkeling van alle lerenden.
Cursussen (online of blended) worden in veel gevallen afgesloten met een paper. In Evidence of Learning Online: Assessment Beyond The Paper verkent Judith Boettcher alternatieve beoordelingsstrategieën. Daarbij vindt zij het belangrijk dat gebruik wordt gemaakt van -wat Clay Shirkey omschreef als- "cognitive surplus"
“the shared, online work we do with our spare brain cycles.” For example, cognitive surplus is what is making Wikipedia possible and is the energy behind most of the open source movement. Here’s why this is important. The motivation for doing shared work with those “spare brain cycles” is simple: We, as people, like to create and we like to share.
Boettcher gaat er daarbij vanuit dat studenten meer gemotiveerd zijn, als je bij beoordelen inspeelt op die "cognitive surplus". Zij onderscheidt vervolgens de volgende alternatieve beoordelingswijzen:
Interviews zijn volgens Boettcher vooral geschikt als alternatief voor beknopte opdrachten.The interview medium is a very flexible communication tool and can be used by both faculty and students for demonstrating understanding and eliciting the state of concept development. Here are some possible strategies that can require research, critical thinking, and writing.
Wiki's. Via wiki's kun je studenten o.a. ideeën laten vastleggen om problemen op te lossen. Door studenten hierin te laten samenwerken, maak je gebruik van verschillende perspectieven.Blogs help learners understand the growth cycle of learning new concepts and how and why they think the way they do.
Boettcher gaat helaas niet uitgebreid in op de alternatieven die zij aanstipt. Anders zou zij ongetwijfeld de problematiek rond authenticiteit bij professionele werkproducten hebben beschreven. Hoe weet je dat een memo of verslag daadwerkelijk door de student is geschreven? Bovendien moeten studenten wel in een voor de studie relevante omgeving werken, willen zij in staat zijn om dergelijke werkproducten op te leveren. Verder gaat Boettcher niet in op de vraag of studenten met audio, video en visuele projecten wel werken aan de bekwaamheden die je eigenlijk wilt beoordelen (en waar normaliter een paper voor wordt gebruikt). Ook is het belangrijk dat je bij samenwerkend leren de individuele bijdragen beoordeelt, en niet alleen het gezamenlijke eindproduct. Met de slotopmerking
We are moving toward term paper-less assessment!
gaat zij dan ook wat kort door de bocht.
Ilona Buchem vat een Duitstalig paper samen waarin de auteurs drie risico’s van beoordelingsportfolio’s voor het hoger onderwijs beschrijven:
This may hinder learning from mistakes, recognizing the necessary steps for becoming an expert and leads to camouflage of own competencies.
Ik zou hier nog een risico aan toe willen voegen: studenten worden gestimuleerd ‘bewijsmateriaal’ in hun e-portfolio op te nemen, dan nauwelijks iets zegt over hun bekwaamheden maar bijvoorbeeld alleen iets over de vraag of zij iets weten. En daar heb je juist andere beoordelingsmethoden voor.
Het paper, dat Buchem aanhaalt, maakt in elk geval duidelijk hoe complex het gebruik van een e-portfolio is binnen de huidige curricula, waarin ‘ontwikkeling’ van lerenden in feite een ondergeschoven ‘kindje’ is.
Moderne werkomgevingen verlangen steeds vaker onderlinge samenwerking van medewerkers. Daarom zou het onderwijs volgens Andrew Marcinek ook meer moeten doen met collaborative assessments (beoordelingen waarbij lerenden samen moeten werken). In deze bijdrage schetst hij een globaal beeld van deze manier van beoordelen. Een aantal kenmerken valt daarbij op:
Marcinek schrijft dat lerenden nogal eens moeite hebben met deze manier van beoordelen. Zij hebben vaak liever een 'gewone toets' waarvoor zij een cijfer krijgen. Hij stelt echter:
We cannot fault them into thinking they will be part of an assembly line or a monotonous job. We must promote dynamic, inquiry driven learning that provokes critical thinking and fosters adaptability. We have the ability to connect and challenge our students. We cannot pretend like the future is coming, the future is now, and we must give our students the best opportunity to learn today.
Ik ben op zich voorstander van een groter gebruik van collaborative assessments (niet uitsluitend). Waar Marcinek echter geen aandacht aan besteedt, is dat de individuele bijdrage van lerenden daarbij ook zichtbaar moet worden gemaakt (om zogenaamde 'meeliftgedrag' te voorkomen). Daarnaast lijkt Marcinek erg productgericht te zijn, terwijl bij collaborative assessments het proces juist erg belangrijk is. Je wilt immers dat lerenden beter leren samenwerken.
Marcinek besteedt ook geen aandacht aan wie er beoordeeld (peer assessment, meerdere beoordelaars?). De vrijheid om te werken aan producten zou ik overigens inkaderen. Het is bijvoorbeeld belangrijk dat lerenden een bepaald product binnen een bepaalde tijd afmaken. De nadruk op duidelijke beoordelingscriteria onderstreep ik overigens. Daar ontbreekt het vaak aan.
Technology takes formative assessment to a whole new level gaat summier in op de rol van zogenaamde student respons systemen, waarmee je tijdens hoorcollege's onder andere kunt checken of lerenden collegestof hebben begrepen. Deze tools worden ook gebruikt om de participatie van lerenden tijdens colleges te vergroten.
Een nadeel van deze toepassing is dat lerenden allemaal dezelfde vraag krijgen voorgeschoteld. Om aan dit bezwaar tegemoet te komen heeft het bedrijf Promethean "real-time personalized intervention" (RTPI) ontwikkeld.
The new technology can send a question directly to each student’s ActivExpression unit—Promethean’s version of a “clicker” device. Once the student answers a question, he or she immediately gets a new question to answer. Best of all, the system is adaptive, meaning it can quickly hone in on each student’s abilities and deliver personalized questions that target these abilities.
Elektronische toetsapplicaties (al dan niet deel uitmakend van een elektronische leeromgeving) bevatten deze mogelijkheid vaak ook. Voor veel docenten heeft een dergelijk student respons systeem het voordeel dat lerenden geen mobiel apparaat hoeven te gebruiken waarmee ze ook andere dingen kunnen doen dan vragen beantwoorden.