De opkomst van kunstmatige intelligentie (AI) brengt nieuwe mogelijkheden voor (publieke) organisaties. Onderwijsinstellingen, zorgorganisaties en andere (overheids)organisaties ontdekken dat AI kan helpen bij het verdelen van schaarse middelen, het verwerken van grote hoeveelheden informatie en het verbeteren van dienstverlening. Tegelijkertijd groeit het besef dat de inkoop van AI-systemen niet te vergelijken is met de aanschaf van traditionele software.
Kenmerkend voor AI is dat de uitkomst niet vooraf volledig vastligt. In plaats van vaste regels te volgen, bepaalt het systeem zelf hoe het van input tot output komt. Dat maakt AI krachtig, maar ook onvoorspelbaar. De inkopende organisatie weet zelden precies hoe de techniek werkt, terwijl de leverancier vaak niet overziet hoe het systeem in de praktijk wordt toegepast. In die dynamiek kan zelfs de rolverdeling verschuiven. Wanneer de organisatie bijvoorbeeld het systeem verder traint of aanpast aan de eigen processen, kan zij onder de AI Act als aanbieder worden gezien, met de verplichtingen die daarbij horen voor hoogrisico-AI.
In deze blog bespreken onze ICT-juristen enkele juridische aandachtspunten die organisaties in gedachten moeten houden bij de inkoop van AI-systemen.
AI Act: verplichtingen voor organisaties die AI inkopen of gebruiken
De EU AI-verordening (lees hier de volledige tekst) hanteert een risicobenadering. AI-systemen worden ingedeeld als verboden, hoog risico AI, beperkt risico (transparantieplichtig) of laag risico. Voor inkopers betekent dit: identificeer voor aanschaf in welke categorie een AI-systeem valt.
Verboden AI – zoals sociale scoring of manipulerende AI – mag niet worden ingekocht of gebruikt. Bij generatieve AI (zoals LLM’s) geldt dat door AI gegenereerde inhoud duidelijk als zodanig herkenbaar moet zijn voor burgers, bijvoorbeeld via een melding als “Deze content is gegenereerd door AI”.
Valt een systeem onder de categorie hoog risico (zoals AI voor werving en selectie, toekenning van overheidsvoorzieningen, rechtshandhaving of onderwijsbeslissingen)? Dan zijn strengere eisen van toepassing. Ga als inkoper in ieder geval na of de leverancier in kwestie wel aan deze eisen voldoet. Zo voorkom je dat een systeem later niet compliant blijkt te zijn.
Hoogrisico-AI inkopen: waar moet je als organisatie op letten?
Niet alleen aanbieders, maar ook organisaties die een AI-systeem gebruiken – de zogenoemde gebruiksverantwoordelijken – hebben verplichtingen onder de AI Act. Dat geldt in het bijzonder voor hoogrisico-toepassingen. Omdat deze organisaties bepalen hoe en waarvoor een systeem wordt ingezet, hebben zij directe invloed op de risico’s die kunnen ontstaan.
De AI Act verplicht gebruiksverantwoordelijken om passende technische en organisatorische maatregelen te treffen. Dat betekent onder meer:
- het AI-systeem gebruiken volgens de gebruiksinstructies van de aanbieder;
- zorgen dat medewerkers die toezicht houden over de juiste kennis en bevoegdheden beschikken;
- toezien op de relevantie en representativiteit van inputdata;
- de werking van het systeem actief monitoren;
- het gebruik stopzetten en de aanbieder informeren als het systeem niet langer voldoet aan de AI Act;
- incidenten en risico’s melden aan de aanbieder en de toezichthouder;
- logbestanden waarover men controle heeft minimaal zes maanden bewaren;
- werknemers informeren wanneer het systeem op de werkvloer wordt gebruikt;
- betrokkenen informeren als het systeem beslissingen over hen neemt of gebruikmaakt van biometrische of emotieherkenning.
Voor overheidsinstanties gelden aanvullende plichten. Zodra een overheidsorganisatie een hoogrisico-AI-systeem inzet, moet zij dit gebruik registreren in de Europese AI-databank. Daarnaast moet altijd een grondrechteneffectbeoordeling (FRIA) worden uitgevoerd: een analyse van de mogelijke gevolgen van het gebruik voor de fundamentele rechten van burgers.
AI Act: ben je als inkoper aanbieder of gebruiker van AI?
De AI Act maakt onderscheid tussen twee hoofdrollen: aanbieders (providers) en gebruikers (deployers) van AI-systemen. Welke rol jouw organisatie heeft, hangt af van de aard van de inkoop en het gebruik van het systeem.
1. Inkoop van AI-ontwikkelingsdiensten (de organisatie als aanbieder)
Een organisatie wordt als aanbieder (provider) beschouwd wanneer zij een AI-systeem zelf ontwikkelt of laat ontwikkelen met de bedoeling het onder eigen naam of verantwoordelijkheid in gebruik te nemen of beschikbaar te stellen. Dat geldt ook wanneer de feitelijke ontwikkeling wordt uitbesteed aan een externe partij.
De AI Act definieert een aanbieder als iedere natuurlijke of rechtspersoon, overheidsinstantie of andere entiteit die een AI-systeem ontwikkelt of laat ontwikkelen, met het oog op het op de markt brengen of operationeel maken ervan, ongeacht of dit commercieel of kosteloos gebeurt. Het “in gebruik nemen” omvat ook het moment waarop het systeem voor het eerst intern wordt ingezet, conform het beoogde doel.
2. Inkoop van bestaande AI-systemen (de organisatie als gebruiker)
Koopt een organisatie een bestaand AI-systeem van een externe leverancier om het binnen de eigen processen en onder haar gezag te gebruiken, dan geldt zij in principe als gebruiker (deployer). Een uitzondering geldt wanneer het systeem uitsluitend voor persoonlijke, niet-professionele doeleinden wordt gebruikt.
Maar let op: in sommige situaties kan de rol van de organisatie verschuiven. De inkopende partij – de gebruiksverantwoordelijke – kan dan alsnog zelf als aanbieder worden aangemerkt, met alle bijbehorende verplichtingen uit de AI Act. Dat is het geval wanneer, kort gezegd, de organisatie het systeem onder eigen naam of merk op de markt brengt, er een substantiële wijziging in aanbrengt of het voor een ander of risicovoller doel inzet dan door de oorspronkelijke aanbieder bedoeld.
Welke wet- en regelgeving geldt bij AI-inkoop (AI Act, AVG, Auteurswet)?
Ben je als organisatie van plan om een AI-systeem aan te schaffen of te implementeren? Dan is het belangrijk te beseffen dat de inkoop en inzet van AI vrijwel altijd meerdere rechtsgebieden tegelijk raakt. Dat maakt het juridisch landschap meestal een stuk complexer dan bij traditionele IT- of SaaS-contracten.
De AI Act vormt daarbij het centrale kader, maar vaak spelen ook andere regelingen een rol. Denk aan de AVG, wanneer een AI-systeem of AI-dienst persoonsgegevens verwerkt. De Autoriteit Persoonsgegevens benadrukt dat een Data Protection Impact Assessment (DPIA) in de meeste gevallen verplicht is bij de inzet van AI of algoritmen.
Wanneer een AI-systeem geen persoonsgegevens verwerkt, verschuift de aandacht naar andere kaders, zoals het auteursrecht of intellectuele eigendomsrecht. Vooral bij generatieve AI is het van belang te controleren of de gebruikte trainingsdata, modellen of output rechten van derden kunnen raken.
Afhankelijk van het type AI-systeem kan bovendien aanvullende wet- en regelgeving van toepassing zijn. Zo vallen AI-systemen die onderdeel uitmaken van een medisch hulpmiddel niet alleen onder de AI Act, maar ook onder de Medical Device Regulation (MDR) of In Vitro Diagnostic Regulation (IVDR).
Kortom: de juridische kaders rond AI zijn gelaagd. Een zorgvuldige beoordeling vooraf voorkomt dat een AI-toepassing technisch goed past, maar juridisch wringt.
Due diligence bij AI-inkoop: hoe beoordeel je de leverancier?
Wie AI wil inkopen, moet goed weten wat hij in huis haalt én van wie. Een zorgvuldige due diligence helpt om risico’s vroeg te herkennen en te voorkomen dat de organisatie afhankelijk wordt van een leverancier of technologie die niet past bij de eigen strategie.
Begin met de vraag of de beoogde toepassing aansluit op de doelen van de organisatie en binnen de bestaande infrastructuur past. Betrek daarbij tijdig (alle!) relevante stakeholders. Onderzoek vervolgens de leverancier: voldoet het systeem aantoonbaar aan de eisen van de AI Act en andere relevante regelgeving, zoals de AVG? Vraag naar (technische) documentatie, audits en transparantie over de gebruikte data, beveiliging en algoritmen.
Voordat een AI-systeem breed wordt ingezet, is het meestal verstandig een beperkte proef of pilot te doen. Zo wordt duidelijk hoe het systeem zich gedraagt in de praktijk en of het uitlegbaar en betrouwbaar functioneert. Denk ook aan de langere termijn: wie blijft eigenaar van de data, wat gebeurt er bij beëindiging van het contract en hoe wordt de continuïteit van de dienstverlening geborgd?
AI-proof inkoopvoorwaarden: welke clausules horen in je contract?
Steeds meer organisaties zetten AI-toepassingen in, maar veel inkoopvoorwaarden zijn daar nog niet op ingericht. Dat is een risico, zeker omdat AI andere juridische vragen oproept dan traditionele IT- of SaaS-contracten. Het is daarom verstandig om bestaande voorwaarden kritisch te herzien en waar nodig aan te vullen met AI-specifieke clausules of een addendum.
Denk daarbij aan bepalingen over:
- Intellectueel eigendom en data
Leg vast wie eigenaar is van de inputdata en van de door AI gegenereerde output. Beperk het gebruik van die data voor hertraining of commerciële doeleinden door de leverancier, en regel dat jouw organisatie recht heeft op overdracht van data bij beëindiging van het contract. - Technische documentatie en gebruiksinstructies
Bepaal dat de leverancier volledige technische documentatie aanlevert, inclusief informatie over architectuur, datasets, parameters, validatie- en testmethoden. Daarnaast moet de leverancier duidelijke gebruiksinstructies verstrekken (doel, grenzen, onderhoud, logging) en zorgen dat beslissingen binnen het systeem traceerbaar zijn via logfunctionaliteit. - Transparantie en uitlegbaarheid
Een AI-systeem moet begrijpelijk en uitlegbaar zijn. Leg vast dat de leverancier moet toelichten hoe beslissingen tot stand komen, welke modellen en datasets worden gebruikt en, bij generatieve AI, eventueel inzicht geven in promptlogs of fallback-opties. Leg ook vast dat je als inkopende organisatie recht hebt op uitleg op individueel niveau, en toegang tot relevante logs, documentatie of broncode wanneer dat nodig is om naleving te controleren. - Aansprakelijkheid en vrijwaring
Leg vast dat de leverancier aansprakelijk blijft voor fouten, onjuiste output of ongewenst gedrag van het AI-systeem. Neem tevens een vrijwaringsbepaling op voor inbreuken op intellectuele eigendomsrechten, privacy of grondrechten die voortvloeien uit het gebruik van de AI-dienst. - Audit- en toezichtrechten
Borg het recht om audits en inspecties uit te voeren op de AI-processen en de bijbehorende documentatie. Leg vast dat de leverancier hieraan meewerkt en alle relevante informatie tijdig beschikbaar stelt.
Een praktische tip: maak gebruik van de Model Contractual Clauses for AI Procurement die de Europese Commissie heeft ontwikkeld voor publieke organisaties. Ze zijn niet verplicht, maar bieden een waardevol referentiekader, ook voor private partijen die verantwoord AI willen inkopen.
Onze AI-juristen helpen graag bij het aanpassen van de inkoopvoorwaarden
Neem gerust contact op, we vertellen je graag wat we voor jouw organisatie kunnen betekenen.
