Pas gestarte Utrechtse studenten rechtsgeleerdheid waarderen peer feedback, vooral specifiek commentaar
Beginnende studenten recht in Utrecht bleken de peer feedback in de cursus Grondslagen van recht in lesblok 1 duidelijk te waarderen. Vooral specifiekere feedback, zoals uitleg en tips, werd gewaardeerd. Als studenten elkaar feedback geven via een applicatie, lijkt het effectief om ze de mogelijkheid te geven om ‘comments’ te schrijven en om tekstfragmenten te markeren. Dit zijn twee van de eerste bevindingen van dit Utrechtse onderzoek naar peer feedback.
Tekstfragmenten markeren, een vorm van specifieke feedback, is een optie in sommige feedback-tools die op het eerste gezicht heel nuttig lijkt. Maar is dat in de praktijk ook echt zo?
Studenten grepen uit zichzelf de mogelijkheid aan om in de tekst te markeren. Maar de mate waarin ze dat deden verschilde sterk per onderwerp.
Als studenten elkaar feedback geven via een applicatie, lijkt het effectief om ze de mogelijkheid te geven om ‘comments’ te schrijven en om tekstfragmenten te markeren.
Studenten in de propedeuse rechten hebben opvallend tevreden gereageerd op de peer feedback die ze ontvingen op hun schrijfopdracht voor het vak Grondslagen van recht. Vooral specifieke feedback werd gewaardeerd. Bijna tachtig procent van de reacties op de ontvangen feedback waren overwegend positief, tegen zo’n acht procent negatief en tien procent gemengd. In een kort daarna afgenomen enquête antwoordden studenten dat ze van de peer feedback hadden geleerd en dat hun schrijfopdracht erdoor verbeterd was. Ze vonden de feedback in het algemeen duidelijk. Die hadden ze ontvangen via het programma Feedback Fruits.
Rond de duizend studenten schreven bij Grondslagen van recht, een cursus in het eerste blok van jaar 1, een betoog over een actuele kwestie, waarbij ze rechtsfilosofische argumenten gebruikten. Het cijfer voor de schrijfopdracht telde voor 30 procent van het totaalcijfer. Studenten gaven elkaar feedback op hun opzet voor het betoog en, twee weken later, op elkaars eerste volledige versie. Studenten laadden deze teksten in Feedback Fruits en werden vervolgens gekoppeld aan de tekst van een anonieme en willekeurige andere student. In het programma vonden ze een uitgebreide instructie om die tekst van feedback te voorzien.
Na de deadline voor de feedback hadden ze een week om hun eigen tekst aan te passen en om een reflectievraag te beantwoorden over de ontvangen feedback. Rond de deadline voor de eindversie van het betoog werd hen gevraagd een enquête in te vullen over het geven en ontvangen van peer feedback en hoe dit was georganiseerd in de cursus.
Welke feedback van hun jaargenoten vonden de studenten vooral bruikbaar? Ze hadden in de tweede feedbackronde vier verschillende vormen van terugkoppeling ontvangen.
Studenten konden een toelichting op hun beoordeling geven. Het waren deze comments die de studenten het bruikbaarste vonden.
Ten eerste bevatte de feedback-instructie rubric-kolommen, met de bekende indeling in onvoldoende, voldoende of goed, voor vijftien aspecten van de tekst. Onder iedere ‘onvoldoende-voldoende-goed’-vraag konden de studenten een toelichting op hun beoordeling geven. Het waren deze comments die de studenten het bruikbaarste vonden. Meer dan de helft van de studenten plaatste de comments bovenaan de ranglijst, en een kwart zette ze op de tweede plaats. De indelingen zelf – in onvoldoende, voldoende of goed – werden als duidelijk minder bruikbaar gewaardeerd.
Specifieke feedback heeft de voorkeur
De andere vormen van feedback in de instructie bestonden uit markeringen in de tekst en het benoemen van de sterke en zwakke punten van het betoog. Feedback Fruits heeft de optie om in de tekst te markeren. De opdracht dat de studenten bepaalde problemen moesten aanwijzen in de tekst, was geïntroduceerd in het kader van het onderwijsvernieuwingsproject ‘Beter inzetten van peer feedback om schrijfvaardigheid te ontwikkelen.’ Dit USO-project draagt bij aan de ontwikkeling van peer feedback in de bachelor rechtsgeleerdheid. Een belangrijke vraag die het project onderzoekt is hoe specifiek de feedback moet zijn om effectief te zijn. De achterliggende gedachte is dat studenten minder hebben aan globale beoordelingen – zoals in rubrics – en meer aan specifieke feedback, die het probleem en de plaats in de tekst specifiek benoemt, en zo nodig uitleg geeft waarom het een probleem is, en een suggestie doet voor verbetering.
Dat uitgangspunt wordt op het eerste gezicht bevestigd door wat veel studenten schreven in het onderdeel ‘reflectie,’ waar gevraagd werd welke feedback ze het bruikbaarste vonden. Een citaat: ‘Ik heb heel erg veel aan deze feedback gehad. De reviewer heeft heel fijn specifiek aangegeven waar de fouten zaten. Dit is handig omdat [we] zo makkelijk de verbeteringen kunnen toepassen. Daarnaast is het ook heel prettig dat de reviewer heeft uitgelegd waarom de fouten fout waren, zo heb ik ervan kunnen leren voor de volgende keer.’ De studenten schreven overigens hun betoog met zijn tweeën, vandaar dat er ‘we’ staat. Allebei plaatsten ze hun tekst in Feedback Fruits, zodat ze per betoog twee keer feedback kregen.
Problemen markeren: vooral als studenten dat zelf willen
Om studenten te stimuleren elkaar zulke specifieke feedback te geven, is hen ook gevraagd tekstfragmenten aan te wijzen waarin zich problemen voordeden – op een paar nauw begrensde aspecten. Deze aspecten hadden allemaal te maken met schrijfvaardigheid. De studenten moesten enkele zinnen markeren die te lang of te complex waren. Daarnaast moesten ze aanwijzen waar verkeerde verbindingswoorden stonden, of ten onrechte ontbraken. Bovendien werd ze gevraagd om uitleg en een suggestie voor een oplossing. Verder moesten ze bronverwijzingen markeren die niet in de juiste vorm waren geschreven. Met al deze onderwerpen hadden de studenten tijdens de cursus geoefend.
Deze markeringen hadden betrekking op enkele nauw afgebakende onderwerpen. Dat was noodzakelijk: ten eerste omdat er geen tijd en ruimte binnen de cursus was om veel te oefenen met schrijven, en ten tweede omdat de feedback-instructie al behoorlijk uitgebreid was door de vijftien rubric-vragen.
Wellicht mede door die nauwe afbakening, hebben studenten niet zoveel markeringen aangebracht waar daar om gevraagd werd. Opvallend is dat ze weer wel uit eigen beweging hebben gemarkeerd waar dat niet gevraagd was. Onder de rubricvraag of de kernvraag volledig en helder was hebben studenten maar liefst 1536 keer in de tekst gemarkeerd, terwijl dat niet hoefde. Daarentegen resulteerde de expliciete markeervraag over zinslengte en -complexiteit in slechts 438 markeringen. Bij de algemene rubricvraag over schrijfstijl stonden 416 spontane markeringen, terwijl de markeervraag over verbindingswoorden er maar iets meer opleverde: 438.
‘Het fijne aan deze feedback was dat er zinnen zijn gemarkeerd die volgens de medestudent nog improvement nodig hadden. Daar heb ik echt iets aan gehad.’
Geschiktheid van de markeervragen
Oorzaken voor de lage respons op de markeervragen kunnen ten eerste zijn dat die vragen over nogal specialistische onderwerpen gingen. Mogelijk stonden er in een deel van de teksten nauwelijks verkeerde verbindingswoorden of te lange of ingewikkelde zinnen. In dat geval zijn dus niet alle studenten geholpen door feedback op die punten. Op de tweede plaats is het meer werk om in een tekst te gaan zoeken en markeren, dan om een algemene comment te schrijven. Tenslotte stonden de vragen onderaan de instructie, als de studenten al een lange lijst hadden beantwoord, en het doorzettingsvermogen van een aantal mogelijk uitgeput was.
Een vierde oorzaak kan zijn dat een of meer markeervragen te technisch en ingewikkeld waren. Vooral bij de vraag over de verkeerd geschreven bronverwijzingen kan dat een rol spelen, want de regels daarvoor staan in de zeer gedetailleerde Leidraad voor juridische auteurs (144 bladzijden), waarmee de studenten pas kort daarvoor hadden kennisgemaakt. Deze vraag leverde een respons op van slechts 44 markeringen. Aangezien studenten in de daarmee samenhangende rubricvraag juist 222 van de teksten als onvoldoende hadden beoordeeld op dit punt, zou je verwachten dat ze een aantal verkeerde verwijzingen gezien hadden, en die dus konden aanwijzen. De precieze oorzaken zijn een thema om de komende tijd verder te onderzoeken.
En de gevolgen? Wat de redenen van de peer reviewers ook waren, het eerste effect dat opviel is dat de markeervragen niet hoog scoorden op de ranglijst van bruikbare feedback. Maar wellicht hebben markeringen in het algemeen wel een positieve rol gespeeld. Gemiddeld heeft iedere peer reviewer 4,5 keer gemarkeerd, en daarvan 3,5 keer uit eigen beweging. Zoals een student schreef in de reflectie: ‘Fijn dat er ook goed is verwezen naar de tekst door te markeren en te verwijzen, dit geeft veel overzicht voor ons om te zien wat er bedoeld wordt met de feedback.’ Een ander schreef hierover: ‘Het fijne aan deze feedback was dat er zinnen zijn gemarkeerd die volgens de medestudent nog improvement nodig hadden. Daar heb ik echt iets aan gehad.’
De effecten van wel of niet markeren op de kwaliteit van de eindtekst is ook een onderwerp dat we gaan onderzoeken. Het onderzoek kent namelijk een tweede spoor, dat zich richt op de tekstkwaliteit. Dit spoor neemt onder de loep wat de studenten daadwerkelijk met de feedback gedaan hebben: welke revisies hebben ze in de teksten aangebracht, en wat zegt dat over de effectiviteit van de feedback?
Positieve resultaten: doelen bereikt?
Afgezien van deze specifieke kwestie van de markeervragen, lijken de algemene doelen van de peer feedback al in hoge mate bereikt bij Grondslagen van recht. Tenminste, als we afgaan op wat de studenten daar zelf over zeggen in de enquête. Ze stellen namelijk dat ze hun teksten op meer punten hebben verbeterd en dat ze van de feedback geleerd hebben. Ook noemen ze twee belangrijke voorwaarden om die resultaten te bereiken: ze namen de peer feedback serieus, en de feedback maakte hen duidelijk wat ze in de tekst konden aanpassen.
Bovendien zeggen de studenten niet alleen van de ontvangen feedback geleerd te hebben, maar ook van het geven van feedback. Ze voelden zich verder voldoende voorbereid om elkaar feedback te geven. Ze wisten wat er van ze verwacht werd en de instructie was duidelijk.
Enigszins paradoxaal lijkt vervolgens hun indicatie dat ze gemiddeld ongeveer de helft van de feedback toegepast hebben. Dat percentage lijkt op het eerste gezicht laag, maar of dat ook echt onwenselijk is zal verder onderzocht worden. De meest genoemde redenen om bepaalde feedback niet te gebruiken was namelijk dat de schrijvers vonden dat de feedback niet klopte (40 procent). De tweede reden om niets te wijzigen was dat de peer reviewer aangaf aan dat ze het al goed gedaan hadden, met andere woorden: de feedback was een compliment (39 procent). Beide redenen kunnen uiteraard legitiem zijn. Ook bevatte de feedback-instructie, zoals gezegd, veel vragen. Dat zou voor studenten een reden kunnen zijn geweest om prioriteiten te stellen bij het verwerken van de feedback. De percentages gebruikte feedback verschillen overigens sterk:
Naast het onderzoek naar de ervaringen van de studenten en de veranderingen in de teksten omvat het project ook instructie over peer feedback en schrijfoefeningen. In lesperiode 4 gaat, met andere aandachtspunten, een tweede fase in bij een ander propedeusevak. Grotendeels dezelfde studenten gaan die cursus volgen, wat een voordeel is bij het vergelijken.
Marc Veldt, februari 2022
Vragenlijst Qualtrix: Miriam de Boer en Marc Veldt