Vergelijkbaar onderwijs herkennen met AI

Wanneer zijn de resultaten betrouwbaar genoeg om te gebruiken in de praktijk? Dit is en blijft het lastige aspect van AI

We kunnen wel stellen dat 2023 de definitieve doorbraak van AI is. Met de komst van ChatGPT en soortgelijke varianten is het onderwijs geconfronteerd met het feit dat het maken of verbeteren van een verslag door studenten eenvoudig is geworden. Dit onderdeel van AI is inmiddels breed bekend, maar wij hebben ons gericht op een andere actuele vraag in het onderwijs: Welk onderwijs lijkt op elkaar?

Bij onze klanten zijn in totaal meer dan 50.000 vakken en een veelvoud aan beschrijvingen bekend. Het is een uitdaging om deze allemaal door te nemen op zoek naar overlap. Daarom vroegen we ons af hoe je kunt detecteren of twee vakken inhoudelijk overeenkomen. Tijdens de hackathon hebben we verschillende benaderingen onderzocht.

Poging 1: Woorden vergelijken

De eerste benadering is het vergelijken van woorden in de beschrijvingen van vakken. Hierbij wordt er gekeken naar gemeenschappelijke woorden in beide teksten om zo een “score” te berekenen. Dit klinkt eenvoudig, maar we kwamen de volgende scenario’s tegen:

Veelvoorkomende woorden, zoals ‘de’, ‘het’ en ’ is', hebben geen inhoudelijke betekenis. Deze filteren wij eruit, wat removing stop words heet.

Synoniemen worden niet aan elkaar gelinkt als we alleen naar vergelijkbare woorden zoeken, denk hierbij aan optelling of sommatie. Dit is een nog groter probleem als een deel van de informatie in het Nederlands en een deel in het Engels is.

Niet alle teksten zijn relevant voor de vergelijking, bijvoorbeeld de opbouw van het vak is niet interessant als je inhoudelijk vergelijkt. Wij nemen dus alleen velden mee die over de inhoud gaan.

Deze benadering, ook wel model genoemd, was voor ons interessant om de stappen en acties te zien die nodig zijn om tot de juiste input voor het model te komen. De resultaten waren echter niet goed genoeg om vergelijkbaar onderwijs te vinden.

Poging 2: Taalmodel

Tegenwoordig zijn er veel andere benaderingen (modellen) beschikbaar voor tekstanalyse. Deze modellen gebruiken niet alleen losse woorden, maar hele stukken tekst. Deze modellen nemen daarin ook de relatie tussen woorden en zinnen mee. Ook vergelijken deze modellen in alleen teksten in dezelfde taal, maar is het ook in staat teksten van verschillende talen met elkaar te vergelijken. Door een bestaand taalmodel te gebruiken kwamen er betere resultaten uit.

Hoe bepaal je de kwaliteit?

Wanneer zijn de resultaten betrouwbaar genoeg om te gebruiken in de praktijk? Dit is en blijft het lastige aspect van AI. In ons geval gaat het dan om de vraag: Wanneer lijken twee vakken op elkaar. Dit is niet eenduidig te beantwoorden zonder verdere context.

In sommige gevallen kunnen labels van de gegevens helpen bij een objectieve beoordeling. Denk bijvoorbeeld aan een vakgebied of een gekoppeld leerdoel. Als twee vakken binnen hetzelfde inhoudelijke vakgebied vallen en/of een vergelijkbaar leerdoel gekoppeld hebben dan is de kans groter dat ze op elkaar lijken.

Deze hackathon heeft aangetoond dat het goed classificeren van onderwijs belangrijk is om de kwaliteit van een AI-model (enigszins objectief) te beoordelen. Bovendien kan de gelabelde data ook gebruikt worden om het model verder te verbeteren.

Vanuit SQill gaan wij verder met de verkenning van AI voor curriculumontwerp en verwachten wij dat dit mogelijk in 2024 zijn intrede gaat vinden in SQill.

Resultaten gebruiken in SQill

Op basis van de resultaten is gekeken hoe dit de gebruikers binnen SQill van nut kan zijn. De eerste poging was om op de pagina van een specifiek vak, in de zijbalk de drie vakken te tonen die het meest lijken of het geselecteerde vak. Dit geeft de gebruiker een “hint” waar ze kunnen kijken om het samen te organiseren, zonder de “AI” zelf keuzes te laten maken.

Een andere mogelijkheid is om de vakken te “clusteren”van vakken op basis van hun connecties.. Zie ook afbeelding hierboven.Hierbij is het juist interessant om te zien welke vakken op zichzelf staan of welke (waarschijnlijk) deel uitmaken van een langere leerlijn.

Hoe nu verder

De resultaten zijn bemoedigend, maar hoe kunnen we dit in de praktijk toepassen? Wat als je vergelijkbare vakken gaat vinden? Ga je deze dan samenvoegen en hoe werkt dit met de onderwijslogistiek, financiering of docentinzet? Kortom AI kan een goed hulpmiddel zijn bij curriculumontwerp, maar voordat het zover is zal eerst over het gesprek nagedacht moeten worden.

Vanuit SQill gaan wij verder met de verkenning van AI voor curriculumontwerp en verwachten wij dat dit mogelijk in 2024 zijn intrede gaat vinden in SQill.

Voor het tweede onderwerp willen wij graag het gesprek aangaan met de onderwijsinstellingen om te bespreken hoe AI kan bijdragen en het daaropvolgende proces ingericht kan worden.