‘We stellen nu een heel ander soort vragen’
Evalueren hoort bij trainingen en opleidingen ontwikkelen. Het geeft je inzicht in wat de afnemers van de opleidingen hebben geleerd, wat ze anders of beter zouden willen. Ook de evaluatie zelf kan je onder de loep nemen, verbeteren en inzetten met meer impact. Malou Besselink is inhoudelijk adviseur bij de FIT Academy van de ggz-instelling GGZ Noord-Holland-Noord (GGZ NHN) en ging aan de slag met een nieuwe manier van evalueren naar aanleiding van het GGZ Ecademy leernetwerk over evalueren en impact.
‘Ik werk bij de FIT Academy, een eigen onderdeel in een lerende, innovatieve organisatie’, vertelt Malou. ‘Wij ontwikkelen de (strategische) visie op leren, vertalen deze visie naar dagelijks (opleidings)beleid en ontwikkelen, organiseren en faciliteren deskundigheidsbevordering voor ruim 2200 collega’s van GGZ NHN. We hebben een heel breed aanbod, een groot leerhuis, dat door de jaren heen organisch was ontstaan, veelal aanbodgericht. Ook ontwikkelingen in de zorg zelf zijn van invloed op het scholingsaanbod, denk aan corona waardoor we nu meer online of hybride aanbieden. Evalueren deden we eigenlijk altijd via de ‘krokettenevaluatie’, zo’n formulier dat iedereen kent waarop vooral feedback op locatie, lunch of parkeren komt, maar niet op de inhoud van de training op opleiding. Laat staan dat je informatie krijgt over de doorwerking van het leren in de werkpraktijk. Dat kon beter.’
Malou nam deel aan het ‘Leernetwerk Impact en evaluatie scholing/trainingen’ van GGZ Ecademy. In dit leernetwerk heeft ze zich met een tiental leden verdiept in de onderwerpen ‘evaluaties’ en ‘impact’. En het heeft haar geïnspireerd om verder te gaan met evalueren dan ze tot nu toe deed. ‘Ik leerde daar veel meer over impactonderzoek, op basis van theorieën van Suzanne Verdonschot en Diede Stevens. Ik ben dat onderzoek ook gaan uitvoeren op die manier. Je krijgt bredere inzichten, je vraagt namelijk in tegenstelling tot de traditionele evaluatie naar de dingen die je zou willen veranderen met het leren in de werkpraktijk, de doorwerking van de training.’ Als voorbeelden noemt ze vragen als: ‘Is de training geland in het dagelijks werk, wat draagt het bij aan het strategisch doel van de organisatie, in dit geval in het vervolgtraject en in iemands werkomgeving. Het gaat niet meer alleen over het trainingsontwerp, maar ook over de invloeden die van buitenaf de doorwerking van het leren beïnvloeden, wat is er nodig voor succes en impact.’
Impact
Het leernetwerk waar Malou aan deelnam, heeft haar in eerste instantie geholpen om bewust te worden van hoe trainingen ontworpen worden binnen de organisatie. Na het leernetwerk is zij zelfstandig verdergegaan met impactonderzoek. ‘De belangrijkste vraag die ik had was hoe bepaalde trainingen bijdragen aan het behalen van operationele en strategische organisatiedoelen. Voorheen was vaak de reactie na een training: “We hebben heel veel mensen geschoold maar niemand doet er iets mee.” In de nieuwe evaluaties gaan we op zoek naar overzicht met een impactmap, doelen, deelnemers, gedrag en kennis. We stellen heel andere vragen en formuleren ook vooraf aan het trainingsontwerp en de evaluatie strategische verwachtingen. Wanneer ben je eigenlijk tevreden?’
Proces
Ook het proces van evalueren namen ze bij GGZ NHN onder de loep. ‘Evalueren is misschien niet altijd nodig. We besloten dit alleen doelgericht te gaan doen, bijvoorbeeld bij nieuwe trainingen of als we willen vernieuwen en als we meer input nodig hebben. We evalueren ook nog steeds met behulp van vragenlijsten. De vragenlijsten zijn nu veel meer op maat gemaakt. Daarvoor is de theorie van Will Tallheimer uit het Leernetwerk inspirerend geweest. Het is veel werk om een evaluatie op maat te maken maar de uitkomst is het waard. Overigens hebben we bij sommige opleidingen ook de accrediterende instellingen die evaluatie als eis stelden ervan weten te overtuigen dat evalueren niet altijd na elke training hoeft.’
AI
Met de hoeveelheid data die verzameld wordt, komt ook de vraag in beeld of Artificial Intelligence geen meerwaarde of hulpmiddel kan zijn bij het op maat maken van vragenlijsten en het analyseren van alle data die nu verzameld wordt. Malou ziet de meerwaarde, maar zegt ook: ‘De inzet van AI kan evalueren in de toekomst ook nog beter maken, toch ga ik nu liever zelf bezig met het verbeteren van de inzet van evaluaties. Het kan efficiënter, sneller, beter op den duur, maar ik wil eerst echt zelf meer begrijpen van de theorie en de data om vervolgens dat wat AI teruggeeft ook goed te kunnen begrijpen.’ Met een AI-team in de organisatie wil ze ook onderzoeken of we in de toekomst ook andere data die we in de organisatie verzamelen kunnen koppelen aan leerinterventies. ‘Dat zou nog een mooie aanvulling zijn.’
Het leernetwerk
Meedoen aan een leernetwerk zorgt ervoor dat je gefocust bent, het lijkt alsof de onderwerpen ‘evalueren’ en ‘impact’ ineens overal opduiken. Al snel blijkt in het leernetwerk dat er een onderscheid is tussen impact meten en impact maken. Een medewerker volgt een training maar kan of mag het geleerde niet altijd in de praktijk toepassen. Een opleider heeft de reflex om nóg meer te gaan trainen wanneer blijkt dat medewerkers het geleerde niet toepassen maar we ontdekken dat het zinvoller is om in gesprek te gaan met de belanghebbenden. En wanneer je niet weet wie de belanghebbenden zijn of wie je opdrachtgever is dan start er een zoektocht binnen je organisatie. Meedoen aan een leernetwerk levert je altijd iets op: of je nu organisator bent, deelnemer of collega. Je onderzoekt wat er nodig is binnen jouw organisatie en welke inzet dat van jou en andere betrokkenen vraagt. Er zijn minder leerdoelen en afspraken zoals je die bij een training kent, een leernetwerk is een uitnodiging om samen te leren en uit te proberen in de praktijk. Lees de vijf take-aways uit dit leernetwerk op onze website.
Over GGZ Noord-Holland-Noord
GGZ Noord-Holland-Noord is specialist in geestelijke gezondheidszorg. De zorgprofessionals hebben veel kennis van een breed scala aan psychiatrische aandoeningen bij mensen van alle leeftijden. Zij richten zich daarbij op herstel en, waar dat niet of nog niet mogelijk is, op het draaglijk maken van de klachten vanuit de visie: ‘Beter worden doe je thuis’.
