Wat zijn de voordelen als face-to-face evaluaties louter digitaal worden uitgevoerd? En zijn er zeker ook valkuilen te vermijden? Bert Wylin, examendeskundige en onderzoeker aan de Universiteit van Leuven, heeft een schat aan kennis te delen over digitale mondelinge examens. Hij twijfelt er niet aan dat digitale examenplatformen zoals assessmentQ een grote zegen zullen zijn wanneer face-to-face overgaat in screen-to-screen.

‘Zoomen’ naar een nieuwe realiteit

Misschien overwoog je al om je examens online te organiseren. Maar de COVID-pandemie heeft een gevoel van urgentie geïntroduceerd, en afstandsmaatregelen dwingen je ertoe. Ja, er zijn bestaande oplossingen die je zou kunnen gebruiken en waarmee de meeste mensen al vertrouwd zijn, maar zijn dat wel de juiste?

Bert Wylin: “We zitten al in wat ik het ‘Zooms’-tijdperk noem, een mix van Teams en Zoom, waarbij de meeste mensen en kandidaten gewend zijn aan online vergaderingen, lessen, cursussen en conferenties. En veel mensen zijn intussen ook gewend aan ‘proctoring’ terwijl ze een online examen doen.”

Deze bekende, kant-en-klare softwaretools hebben misschien een lage adoptiedrempel als eenvoudige videochatoplossingen, maar als het gaat om een totale evaluatie-omgeving, gaan specifieke online platformen voor digitale mondelinge examens – zoals assessmentQ – veel verder, aldus Bert.

Betrouwbare, georganiseerde online examens

“Bij Televic Education hebben we assessmentQ gebouwd met verschillende tools om georganiseerde mondelinge examens te ondersteunen. Uiteraard integreren we het opnemen van het antwoord van een kandidaat op vragen met behulp van de microfoon en webcam van de kandidaat, en die opname wordt automatisch opgeslagen in het assessmentQ-systeem voor (onmiddellijke of latere) beoordeling door beoordelaars, voor scoring en feedback.”

“Meer recentelijk hebben we gewerkt aan een nieuw concept dat live streaming en live interactie met de evaluator integreert – terwijl de kandidaat het mondelinge examen aflegt, is de evaluator beschikbaar of aanwezig in hetzelfde scherm,” zegt Bert. “Beoordelaars en studenten kunnen met elkaar praten en ze kunnen elkaar zien. Er kunnen vooraf opgenomen streams zijn om op te reageren of mee te werken, maar er kan ook gewoon een discussie of interview zijn tussen de kandidaten en de docent. Deze setting is een perfect alternatief voor live mondelinge examens onder vier ogen.”

Face-to-face- versus online: voors en tegens

Laten we eens kijken naar enkele voor- en nadelen waar gebruikers rekening mee moeten houden – zowel bij face-to-face-examens als bij examens op afstand.

Voordelen van ‘in-persoon’ mondelinge examens

• In-persoon mondelinge examens worden beschouwd als direct, veilig en zeker – met de kandidaat en beoordelaar in dezelfde ruimte, is er weinig kans op bedrog of fraude.
• Ze zijn makkelijk te organiseren – je hoeft alleen een tafel en wat stoelen te voorzien, misschien een stuk papier en wat potloden, maar er is geen noodzaak voor hardware, netwerkopstelling, etc.
• Resultaten zijn onmiddellijk beschikbaar – heel vaak, zodra het examen is voltooid, is het resultaat of de score beschikbaar, opgeschreven op een formulier of blad door de beoordelaar.

Nadelen van ‘in-persoon’ mondelinge examens

• Er is vaak geen spoor of archief van het examen zelf – als het klaar is, is het weg, en het is moeilijk of onmogelijk om het achteraf nog eens na te kijken. In het beste geval zijn er wat vage aantekeningen beschikbaar, gemaakt door de beoordelaar.
• Een ander nadeel is de reistijd – als het persoonlijke examen in een groot land wordt afgenomen, moeten kandidaten veel tijd en geld besteden om naar de examenlocatie te komen.
• In-persoon mondelinge examens zijn minder onderhevig aan psychometrische validatie, vergeleken met gesloten vragen zoals meerkeuzevragen, slepen en neerzetten, of invuloefeningen. Kandidaten zijn gedwongen te vertrouwen op de ervaring van de beoordelaar om gelijkwaardige vragen en scores klaar en beschikbaar te hebben.

Voordelen van examens op afstand

• Geen verlies van tijd of geld om naar een afgelegen examenlocatie te reizen.
• Volledigheid: het is mogelijk om een examen op te nemen en te archiveren voor latere referentie, plus de rubrics voor evaluatie zijn een onderdeel van het beoordelingsinstrument zelf.
• Minder beveiligingsproblemen: de beoordelaars hebben de geëxamineerde persoon live voor zich, in een gesprek – de verbinding is streaming, waardoor valsspelen moeilijker wordt.

Nadelen van examens op afstand

• Sommige interacties gaan verloren, zoals emotionele nuances en lichaamstaal die bij een face-to-face beoordeling wel aanwezig zouden zijn.
• Mogelijks moeten er extra worden gemaakt voor het hosten en streamen van de video om toegang te krijgen tot het examen op afstand.

Interactie is cruciaal

Bert gaat graag in op onderzoek van Prof. dr. Annelies Raes, een van zijn collega’s aan de Universiteit van Leuven. Hoewel haar onderzoek meer over lesgeven en leren ging, ziet Bert een verband met assessmentQ: “Professor Raes ontdekte dat een hybride aanpak OK is in het onderwijs. Het kan net zo effectief zijn voor lesgeven en leren als face-to-face alleen. Het belagrijkste element in dit alles blijkt ‘interactie’ te zijn, wat sowieso een essentieel onderdeel is van mondelinge examens. Zij ontdekte dat hybride onderwijs- en leersystemen de beste resultaten en tevredenheidspercentages opleveren als er in hoge mate gebruik wordt gemaakt van interactie.”

Tijd om de sprong naar online te maken

Als jouw organisatie heeft overwogen om zijn beoordelingen volledig digitaal te maken, overweeg dan deze woorden van Bert: “Concluderend denk ik dat we kunnen zeggen dat de verschuiving al aan de gang is. Online of hybride worden de nieuwe norm, en dat geldt in toenemende mate voor mondelinge beoordelingen. Deze verschuiving vindt sneller en ingrijpender plaats dan we allemaal hadden verwacht. De tijd om te handelen is nu!”

Wilt u meer weten over assessmentQ?
Neem vrijblijvend contact op.