De AI Act verplicht organisaties die hoog-risico AI inzetten tot ‘effectief menselijk toezicht’. Wat die eis in de praktijk precies inhoudt, laat de wetgever bewust in het midden. Omdat de dynamiek per sector en toepassing verschilt, schrijft de verordening geen vaste organisatiestructuur voor. Het gevolg? Je moet de governance helemaal zelf vormgeven. Wie dat nalaat, blijft steken in papieren compliance en neemt een fors aansprakelijkheidsrisico.
Menselijk toezicht onder de AI Act (wat artikel 14 vereist)
In Artikel 14 van de AI Act wordt de kernverplichting functioneel ingestoken: hoog-risico AI-systemen moeten zo worden ontworpen en gebruikt dat mensen er gedurende de hele levenscyclus effectief toezicht op kunnen houden. Een vaste toezichtvorm schrijft de wet daarbij, zoals gezegd, niet voor.
In de praktijk worden drie vormen onderscheiden om die eis handen en voeten te geven: human-in-the-loop, human-on-the-loop en human-in-command. Deze termen staan overigens niet in de tekst van Artikel 14 zelf; ze stammen uit de toelichting en het beleidsdebat rond de verordening. Het zijn praktische hulpmiddelen en niet bedoeld als dichtgetimmerde juridische hokjes waaruit men verplicht moet kiezen. In de meest intensieve variant (human-in-the-loop) keurt een mens elke afzonderlijke beslissing goed voordat deze rechtsgevolgen heeft. In een lichtere vorm kijkt een medewerker op de achtergrond mee en grijpt pas in waar nodig. Bij de meest terughoudende variant vindt er bij afzonderlijke beslissingen geen controle plaats, maar behoudt de mens enkel de knop om het systeem stil te leggen of fundamenteel bij te sturen.
De juridische maatstaf blijft overeind: levert de gekozen vorm in de praktijk daadwerkelijk effectief toezicht op? Hoe intensief dat toezicht moet zijn, hangt direct af van de risico’s die het systeem meebrengt. Een algoritme dat bepaalt wie recht heeft op schuldhulpverlening vraagt immers om een heel andere waarborg dan een toepassing voor interne procesautomatisering. De verplichte risicoanalyse binnen de conformiteitsbeoordeling moet deze afweging dan ook feilloos onderbouwen.
De inrichting van menselijk toezicht bij AI
Effectief menselijk toezicht vereist meer dan een papierwerkje in de lade. Het vraagt om een doordachte governance-structuur waarin verantwoordelijkheden helder zijn belegd, escalatielijnen werken en toezichthouders daadwerkelijk kunnen ingrijpen. Dat brengt drie belangrijke vraagstukken met zich mee.
Verantwoordelijkheid en mandaat: een AI-toezichthouder heeft ruggengraat en formeel gezag nodig om besluiten te herroepen of systemen stop te zetten. De AI Act eist niet voor niets dat dit toezicht ligt bij personen met de juiste kennis, training, autoriteit en middelen. Dat mandaat moet verankerd zijn in een intern reglement of governance charter. Informele afspraken houden namelijk geen stand wanneer de operationele druk oploopt om een algoritme tóch te laten draaien.
Inhoudelijke bekwaamheid: toezicht houden kan alleen als men begrijpt waar men naar kijkt. De toezichthouder moet uitkomsten correct kunnen interpreteren, afwijkingen herkennen en de fundamentele beperkingen van de software kennen. Wie slechts een uitkomst op een scherm ziet zonder de context te begrijpen, kijkt met de ogen dicht. De technische documentatie moet daarom exact de uitlegbaarheid bieden die nodig is voor een inhoudelijke beoordeling.
Onafhankelijkheid in de praktijk: Wie hiërarchisch rapporteert aan de manager die verantwoordelijk is voor het algoritme, bevindt zich in een spagaat. De druk om de operatie niet te verstoren is dan groot. Hoewel een strikte functiescheiding niet in elke organisatie haalbaar is, zijn er voldoende compenserende waarborgen denkbaar. Denk aan een directe escalatielijn naar de compliance-officer of het bestuur, periodieke audits en een documentatieplicht die volledige transparantie afdwingt.
Regel de escalatie vooraf
Zodra een toezichthouder ziet dat een systeem ontspoort of verkeerde uitkomsten levert, moet de vervolgprocedure al klaarliggen. Wordt de software meteen voor de hele organisatie stilgelegd, of enkel voor dat specifieke dossier? Wie heeft de knoop door te hakken? En wat moet er op dat moment richting de betrokken burger worden gecommuniceerd? Wie deze vragen pas gaat beantwoorden op het moment dat het misgaat, verliest niet alleen kostbare tijd, maar staat organisatorisch en juridisch met lege handen.
Aansprakelijkheid bij falend toezicht
De wijze waarop de governance wordt ingericht, is niet vrijblijvend; het heeft directe juridische consequenties. Hoewel de AI Act de zwaarste bouwverplichtingen bij de softwareaanbieder legt, draagt ook de organisatie die het systeem inzet (de deployer) een eigen verantwoordelijkheid voor het gebruik. Wanneer een algoritme schade veroorzaakt en blijkt dat het menselijk toezicht faalde door een gebrekkige interne organisatie, verschuift het juridische zwaartepunt direct naar de gebruiker.
Dit risico speelt met name bij ingekochte software van derden. De leverancier moet technisch faciliteren dat toezicht mogelijk is, maar de organisatorische inbedding daarvan ligt volledig bij jouw eigen organisatie. Controleer daarom al tijdens het inkooptraject of een softwarepakket de transparantie en informatie biedt die nodig zijn voor een kritische beoordeling. Wie dat nalaat en de governance verwaarloost, stelt de organisatie bloot aan serieuze civielrechtelijke aansprakelijkheid op het moment dat het misgaat.
Contractuele borging richting AI-leveranciers
Bij de afname van AI-systemen van externe leveranciers moet de overeenkomst al de voorwaarden scheppen voor effectief toezicht. Dat begint bij concrete specificaties over de informatievoorziening: welke variabelen, data en wegingscriteria laat de software zien bij een advies, in welk formaat en binnen welk tijdsbestek?
Daarnaast moet de overeenkomst de uitdrukkelijke bevoegdheid bieden om een systeem stil te leggen of individuele besluiten te blokkeren, zonder dat de leverancier dit kan bestempelen als contractbreuk.
Tot slot is een heldere aansprakelijkheidsverdeling bij incidenten cruciaal. Als een algoritme schade veroorzaakt en het menselijk toezicht blijkt te hebben gefaald, zal de leverancier steevast wijzen naar een gebrekkige organisatorische inbedding door jouw organisatie. Die discussie wil je niet pas voeren wanneer de schade al is ontstaan. Leg de verdeling van de verantwoordelijkheid en de aansprakelijkheid daarom vooraf contractueel vast.
Wil je de governance rond menselijk toezicht binnen jouw organisatie juridisch sluitend en praktisch werkbaar inrichten? Neem gerust contact met ons op.
