Artikel
In aanloop naar het nieuwe pensioenstelsel worden processen en berekeningen versneld geautomatiseerd, vaak onder hoge tijdsdruk, terwijl de uitkomsten van deze modellen een cruciale rol spelen in besluitvorming. Juist daarom is het essentieel om aandacht te besteden aan modelvalidatie om te borgen dat een model “fit for purpose” is en ook op de lange termijn betrouwbaar blijft.
In de voorsortering naar het nieuwe pensioenstelsel zijn er binnen veel organisaties grote veranderingen bezig. Eén van die veranderingen is het automatiseren van processen en berekeningen. Het liefst wordt een nieuwe oplossing hierbij zo snel mogelijk geïmplementeerd, aangezien de doorvoering van de Wet Toekomst Pensioenen niet zal wachten op de modellen. Daarnaast zal er in cruciale besluitvormingsonderdelen worden geleund op de uitkomsten en advisering voortkomend uit deze oplossingen. Dit kan uitdagend zijn, aangezien deze oplossingen binnen een beperkte tijdlijn zijn opgezet. Om deze reden is het erg belangrijk om aandacht te besteden aan de betrouwbaarheid van deze oplossingen, wat onder andere kan worden bereikt met behulp van het valideren van de oplossing.
Het valideren van een model kan op veel verschillende manieren worden uitgevoerd en is sterk afhankelijk van het model, gebruik en bijbehorende (wettelijke) vereisten. Daarnaast kan validatie worden gezien als een continu proces: wanneer je diep genoeg in een model duikt, zullen er vrijwel altijd aandachtspunten naar bovenkomen. Dat gezegd hebbende, om groen licht te bereiken tijdens een validatieproces, is het vinden van alle kleine onzuiverheden minder belangrijk. Het is belangrijker dat een model “fit for purpose” is. “Fit for purpose” betekent dat het model wordt beoordeeld te doen wat het zou moeten doen. Uiteindelijk is valideren een continu proces van het bewaken van de functionaliteit en aannames van de modellen door middel van de wijzigingen en de reacties op deze wijzigingen. Het valideren van een model kan hierdoor in twee fases worden gesplitst: de oplevering en de toekomst.
De oplevering
Om een goed validatieproces te doorlopen bij het opleveren van het model adviseren wij om voorafgaand aan een project goed na te denken over de modelvereisten en hoe de validatie van het project zal worden opgezet.
Bij een digitale transformatie van een bestaand model of proces, kan er bij de verificatie van uitkomsten geleund worden op de bestaande uitkomsten. Bij grote modellen met veel invoermogelijkheden kunnen dit misschien wel duizenden verschillende combinaties van invoermogelijkheden zijn. Dit kan een organisatie doen besluiten om een apart validatiemodel op te zetten met als doel om de resultaten van alle verschillende combinaties bij elkaar aan te sluiten. Een andere aanpak is om het model met praktijkcases te testen of een geselecteerde set van invoermogelijkheden te vergelijken. Daarnaast is het belangrijk om goed na te denken over het “uiterste gebruik” (een onverwachte combinatie van instellingen). Wat gebeurt er bijvoorbeeld wanneer je een negatieve leeftijd invoert en is dit een functionaliteit die u wilt afvangen of kiest u ervoor om te steunen op het gezonde verstand van de gebruikers?
Bij nieuwe modellen wordt er bij het opstellen doorgaans gesteund op de theoretische kennis van de modelontwikkelaars. Afhankelijk van de indeling en doelen van een organisatie kan de validatie worden ingevuld met behulp van tweedelijns reviews, het 4-ogen-principe of een validatie van een externe partij. Indien dit nieuw model in een programmeeromgeving is opgezet kan dit extra onduidelijkheden meebrengen, gezien er beperkte programmeerkennis in huis kan zijn binnen de organisatie. Hierbij kunnen technische documenten, wegschrijven van tussentijdse resultaten of een vertaalslag door een externe partij extra ondersteuning bieden.
De toekomst
Wanneer een model in gebruik is, dient deze periodiek te worden gemonitord. Wij adviseren om nieuwe functionaliteiten en wijzigingen (met bijbehorende consequenties) te documenteren en te verifiëren volgens gelijke processen als bij de oplevering van het model.
Daarnaast biedt het opstellen van een continuïteitsplan aan het begin van het project ondersteuning bij het introduceren van een toekomstbestendig model. Dit kan worden gezien als een dynamisch plan dat kan wijzigen naar aanleiding van nieuwe ontwikkelingen. Hierbij adviseren wij om de het plan te updaten in lijn met de nieuwste ontwikkelingen.
Kortom
Het valideren van nieuwe modellen is een belangrijke factor bij het opzetten van een nieuw project. Bij het toepassen van nieuwe technologieën ontstaan hier nieuwe uitdagingen. Wij nodigen u daarom uit om goed na te denken over de vereisten en het validatieproces voordat u met een project begint. Denk hierbij aan de modelvereisten, de controle van resultaten en de continuïteit van het model.
