AI-ontwikkelaars & leveranciers van AI-systemen: wat zijn de verplichtingen?

De AI Act legt de lat hoog voor iedereen die AI-toepassingen ontwikkelt of levert. Weet jij welke verplichtingen straks voor jouw systeem gelden?

SaaS contract advocaat opstellen

De AI Act is sinds augustus 2024 van kracht. Vanaf februari 2025 gelden de eerste verplichtingen al en die raken jou als ontwikkelaar of leverancier direct.

Werk je aan een AI-systeem dat je aanbiedt aan klanten of integreer je AI in een (eigen) product of dienst? Dan is dit het moment om twee vragen helder te krijgen:

– Valt jouw AI-systeem onder de AI Act?
– En zo ja: welke verplichtingen gelden er dan precies voor jou als aanbieder?

Met deze pagina helpen we je de impact van de AI Act te duiden. De wet is complex en grijpt diep in op hoe AI wordt ontwikkeld en geleverd. Het is daarom verstandig om op tijd te beoordelen welke verplichtingen voor jouw organisatie gelden en om een specialist te betrekken bij de voorbereiding op compliance. Uiteraard helpen wij je daar graag bij. 

Op deze pagina

Wat betekent de AI Act voor mij als ontwikkelaar of leverancier?

De AI Act (lees hier de volledige tekst van de AI-verordening) is een Europese wet die bepaalt welke AI-systemen wel of niet zijn toegestaan en welke eisen daaraan worden gesteld, afhankelijk van het risico dat ze met zich meebrengen. Hieronder leggen we onder meer uit wat deze risicogebaseerde benadering inhoudt en wat dit concreet betekent voor jou als leverancier of ontwikkelaar van een AI-systeem.

Alvast een praktische tip: de EU heeft recent een officiële AI-desk gelanceerd met uitleg, guidance en Q&A rond de AI Act. Je kunt daar ook zelf snel een eerste compliance-check doen via de EU AI Act Compliance Checker. Het is best een nuttige nulmeting: verwacht geen volledig juridisch oordeel, maar je ziet wel direct waar de aandachtspunten liggen voor jouw organisatie. 

Valt ons systeem wel onder de AI Act?

De eerste en misschien wel belangrijkste vraag voor iedere AI-ontwikkelaar of leverancier is: valt ons systeem eigenlijk wel onder de AI Act?

De officiële definitie is breed:

“ Een AI-systeem is een op een machine gebaseerd systeem dat is ontworpen om met verschillende niveaus van autonomie te werken en dat na de uitrol aanpassingsvermogen kan vertonen, en dat, voor expliciete of impliciete doelstellingen, uit de ontvangen input afleidt hoe output te genereren zoals voorspellingen, inhoud, aanbevelingen of beslissingen die van invloed kunnen zijn op fysieke of virtuele omgevingen.”

In gewone taal: zodra een systeem zelfstandig leert, redeneert of afleidt hoe het van input naar output komt, spreken we van AI in de zin van de wet. Kenmerkend voor AI, in tegenstelling tot klassieke software, is dat de uitkomst niet vooraf volledig vastligt. In plaats van vaste regels te volgen, bepaalt het systeem zelf hoe het van input tot output komt. Het maakt daarbij in beginsel niet uit of dat gebeurt met machine learning, logica, statistiek of andere methoden. 

De kern van de definitie zit dus eigenlijk in twee begrippen: autonomie en afleiding (inference). Een systeem is autonoom wanneer het niet voor elke stap menselijke tussenkomst nodig heeft. Bijvoorbeeld een model dat zelfstandig een tekst schrijft, risico’s inschat of beelden analyseert. Daarnaast moet het systeem zelf afleiden hoe het tot een resultaat komt, door zijn uitvoer aan te passen op basis van data of ervaringen. 

Niet elk geautomatiseerd systeem is echter AI. Een toegangscontrolesysteem dat werkt op vaste regels (kaart geldig → deur open) valt in beginsel buiten de definitie. Hetzelfde geldt voor klassieke automatisering of scripts die enkel vaste instructies volgen zonder zelfstandig te redeneren of zich aan te passen. De grens ligt niet in de gebruikte techniek, maar in de mate van zelfstandigheid waarmee een systeem conclusies trekt of beslissingen neemt.

Wanneer ben je “aanbieder” onder de AI Act?

De AI Act gebruikt de term “aanbieder” (provider) voor iedere natuurlijke of rechtspersoon, overheidsinstantie, agentschap of ander orgaan die/dat een AI-systeem of een AI-model voor algemene doeleinden ontwikkelt of laat ontwikkelen en dat systeem of model in de handel brengt of het AI-systeem in gebruik stelt onder de eigen naam of merk, al dan niet tegen betaling.

Dat betekent dat je onder de AI Act als aanbieder van een AI-systeem wordt beschouwd wanneer je:

  • een AI-systeem ontwikkelt of laat ontwikkelen, én
  • dat systeem in de handel brengt of in gebruik stelt onder je eigen naam of merk, al dan niet tegen betaling.

Met het “in de handel brengen” wordt bedoeld het moment waarop een AI-systeem voor het eerst op de Europese markt wordt aangeboden. Het gaat dus om de feitelijke introductie van het systeem binnen de EU, ongeacht of dit commercieel of kosteloos gebeurt. Het “in gebruik stellen” ziet daarentegen op de eerste levering van een AI-systeem aan de gebruiksverantwoordelijke, met het oog op het beoogde gebruik. Dat kan ook intern zijn: wanneer een organisatie een eigen ontwikkeld systeem voor het eerst zelf inzet binnen de Unie, wordt dat eveneens als “in gebruik stellen” beschouwd.

Voorbeelden van organisaties die als aanbieder worden beschouwd, zijn bedrijven die een AI-gedreven SaaS-platform ontwikkelen, organisaties die een bestaand model (zoals GPT) integreren in hun eigen software en die onder eigen naam aanbieden, of ondernemingen die maatwerk-AI-oplossingen laten bouwen en zelf op de markt brengen.

In de praktijk betekent dit dus dat ook veel bedrijven die “bouwen op” bestaande foundationmodellen – zoals ChatGPT, Claude of Llama – binnen het bereik van de AI Act zullen vallen. Zodra een organisatie zo’n model integreert in haar eigen product of dienstverlening, en dat onder eigen naam aanbiedt, ontstaat in beginsel een AI-systeem in de zin van de wet. 

De AI Act werkt met risicocategorieën: hoe groter het risico, hoe zwaarder de eisen

De AI Act deelt AI-systemen in vier risiconiveaus in. Simpel gezegd: hoe groter de potentiële impact op mensen of samenleving, hoe strenger de regels.

Onaanvaardbaar risico
Sommige AI-toepassingen zijn zo schadelijk voor fundamentele rechten of veiligheid, dat ze in de EU verboden zijn. Denk aan systemen die mensen manipuleren, sociale scoring toepassen of heimelijk biometrische gegevens verzamelen (zoals gezichtsherkenning in publieke ruimtes). Ook misleidende AI in speelgoed valt hier bijvoorbeeld onder.

Hoog risico
Deze categorie is misschien wel de belangrijkste voor jou als ontwikkelaar of leverancier. Het gaat om AI-toepassingen die ingrijpen op belangrijke levensdomeinen, zoals werving en selectie, kredietverstrekking, rechtshandhaving of onderwijs. Ze zijn toegestaan, maar alleen als je aan een reeks strenge eisen voldoet. De meeste verplichtingen uit de AI Act zijn ook op deze groep gericht.

Beperkt risico
Hieronder vallen AI-systemen met lichte verplichtingen, vooral op het gebied van transparantie. Voorbeelden zijn chatbots of generatieve AI die tekst, beeld of audio produceert. De wet verplicht je dan vooral om gebruikers duidelijk te maken dat ze met AI te maken hebben, bijvoorbeeld door een label of melding. Geen zware compliance-eisen, maar je zal wel je gebruikers moeten informeren.

Minimaal risico
De meeste AI-toepassingen van vandaag vallen in deze categorie. Denk aan spamfilters of AI in games. Voor deze systemen gelden geen specifieke verplichtingen vanuit de AI Act. Uiteraard blijft andere wetgeving, zoals de AVG, gewoon van toepassing.

Wanneer is een AI-systeem “hoog risico” onder de AI Act?

De AI Act maakt een duidelijk onderscheid: systemen die aanzienlijke impact hebben op iemands veiligheid, rechten of kansen vallen in de categorie hoog risico. Voor leveranciers en ontwikkelaars is dit de risicoklasse om extra scherp op te zijn.

De wet benoemt twee hoofdgroepen:

1. AI in producten met een veiligheidscomponent

Ontwikkel je AI die geïntegreerd is in producten waarvoor CE-markering verplicht is onder bestaande EU-wetgeving? Denk aan medische hulpmiddelen, speelgoed, industriële machines of autonome voertuigen? Dan valt jouw AI automatisch onder de hoog-risico-regels van de AI Act. Je moet dan voldoen aan zowel de AI Act als de sectorspecifieke regels (zoals de MDR).

2. AI in “kritieke domeinen”

Daarnaast somt de AI Act in Bijlage III expliciet een aantal toepassingen op die als hoog risico worden aangemerkt. Dit zijn o.a.:

  • Onderwijs & opleiding
    Bijvoorbeeld AI die examens beoordeelt of studieadvies genereert.

  • Werk & HR
    Zoals tools voor cv-screening, sollicitatiebeoordeling of personeelsmonitoring.

  • Financiële & publieke diensten
    Denk aan AI die beslist over een lening, verzekering of sociale uitkering.

  • Rechtshandhaving & justitie
    Bijvoorbeeld software die recidiverisico beoordeelt of bewijsmateriaal analyseert.

  • Migratie & grensbewaking
    AI voor beoordeling van asielaanvragen of screening aan de grens.

  • Rechtsbedeling
    Systemen die een rechter adviseren bij het bepalen van vonnissen of straffen.

Deze toepassingen raken direct aan fundamentele rechten en worden daarom als risicovol gezien en dus zwaar gereguleerd. De AI Act werkt overigens met een gesloten lijst: alleen wat expliciet wordt genoemd of onder CE-productregels valt, wordt gezien als hoog risico. Staat jouw toepassing daar niet tussen? Dan val je in principe buiten deze categorie, tenzij je systeem zo ontworpen is dat het alsnog aanzienlijke impact heeft op rechten of veiligheid.

Soms kun je beargumenteren dat jouw AI binnen een hoog-risicodomein valt, maar toch geen hoog risico vormt. Bijvoorbeeld omdat het systeem slechts ter ondersteuning dient en geen autonome beslissingen neemt. In dat geval moet je dat goed documenteren, voordat je het systeem op de markt brengt. De AI Act eist in ieder geval dat je expliciet onderbouwt waarom je vindt dat jouw toepassing niet onder het hoge-risico-regime valt.

Is jouw AI-systeem hoog risico? Zo bepaal je waar je staat

Als je AI ontwikkelt of aanbiedt, is het belangrijk om vroeg helder te krijgen of jouw systeem onder de hoog-risico categorie van de AI Act valt. De wet schuift die verantwoordelijkheid nadrukkelijk naar de aanbieder. Met andere woorden: jij moet zélf een goed onderbouwde inschatting maken.

Begin bij de kern: wat doet je systeem precies, en in welke context wordt het gebruikt? Gaat het bijvoorbeeld over beslissingen rond werk, onderwijs, toegang tot krediet of overheidsdiensten? Wordt het systeem ingezet in de rechtshandhaving of bij migratie? Als de output van je AI directe invloed heeft op iemands rechten of levensloop, dan moet er een lampje gaan branden. De AI Act somt in bijlage III heel concreet op welke toepassingen als hoog risico worden gezien. Het loont dus om die lijst even langs te lopen.

Maar ook als je toepassing daar niet expliciet in staat, kan het alsnog om een hoog-risico systeem gaan. Stel dat jouw AI ingebouwd is in een product waarvoor een CE-keuring verplicht is, zoals medische hulpmiddelen of industriële machines. Dan val je automatisch onder het strengere regime. De wet maakt hier geen onderscheid: de AI-component moet aan dezelfde veiligheidseisen voldoen als het product waarin het zit.

Toch betekent dit niet dat elke AI die in een ‘gevoelig’ domein opereert ook automatisch als hoog risico wordt gezien. Als je systeem puur een ondersteunende functie heeft en alle beslissingen uiteindelijk door mensen worden genomen, kan dat een reden zijn om buiten de zwaarste verplichtingen te vallen. De wet biedt daar ruimte voor, mits je goed kunt onderbouwen waarom het risico beperkt blijft.

En misschien wel het belangrijkste: twijfel je over de risicoclassificatie van je systeem, kies dan liever voor zekerheid. Want als je AI ten onrechte niet als hoog risico is aangemerkt, kun je later alsnog geconfronteerd worden met aanvullende verplichtingen en zelfs boetes. Wil je zeker weten dat je goed zit? We denken graag met je mee. Zo sta je juridisch stevig en bouw je aan een AI-toepassing die klaar is voor de toekomst. Neem gerust contact met ons op. 

Verplichtingen voor aanbieders van hoog-risico AI-systemen

Valt jouw AI-systeem onder de hoog-risico classificatie van de AI Act? Dan gelden er stevige compliance-verplichtingen voordat je het mag aanbieden op de Europese markt. 

De belangrijkste verplichtingen op een rij:

  1. Risicobeheer
    Je moet een risicomanagementsysteem inrichten dat risico’s (zoals bias, foutieve of discriminerende uitkomsten) identificeert, evalueert en beperkt, vanaf de ontwerpfase tot na marktintroductie.

  2. Datakwaliteit & governance
    De gebruikte trainings-, validatie- en testdata moeten relevant, representatief en zo foutvrij mogelijk zijn. Je borgt dit via data governance: documenteer de herkomst van de data, hoe die verwerkt is en welke controles zijn uitgevoerd op bias of vertekening.

  3. Technische documentatie & logging
    Voordat je een hoog-risico AI-systeem op de markt brengt of in gebruik stelt, moet je technische documentatie opstellen. Die moet actueel blijven en duidelijk laten zien hoe het systeem werkt, welke modellen je gebruikt, welke maatregelen je hebt genomen en hoe je die hebt getoetst. De AI Act stelt hier minimumvereisten aan (zie Annex IV), zodat toezichthouders kunnen controleren of je aan de regels voldoet. Let op: ben je een kleine of middelgrote onderneming (zoals een startup)? Dan mag je de documentatie op een vereenvoudigde manier aanleveren. De Europese Commissie ontwikkelt hiervoor een speciaal formulier, dat ook door de toezichthouder wordt geaccepteerd bij de beoordeling.

  1. Transparantie en gebruikersinformatie
    Lever duidelijke instructies mee voor veilig en correct gebruik, inclusief uitleg over de inputvereisten, mogelijke fouten en onzekerheden. In bepaalde gevallen moet je expliciet aangeven dat gebruikers met een AI-systeem te maken hebben.

  2. Menselijk toezicht (“human oversight”)
    Het systeem moet ontworpen zijn voor menselijke controle. Operators moeten de output kunnen begrijpen en waar nodig ingrijpen of overrulen (zeker bij beslissingen met impact op rechten of veiligheid).

  3. Nauwkeurigheid, robuustheid en beveiliging
    Je systeem moet betrouwbaar functioneren onder normale en uitzonderlijke omstandigheden, bestand zijn tegen manipulatie of sabotage en voldoen aan de vereisten voor cybersecurity.

  4. Kwaliteitsmanagementsysteem (QMS)
    Deze verplichtingen verwerk je in een QMS dat aantoont dat compliance structureel verankerd is in je organisatie – denk aan interne procedures, audits, versiebeheer en klachtenafhandeling.

  5. CE-markering en registratie
    Pas na een succesvolle conformiteitsbeoordeling mag je het systeem op de markt brengen. Je registreert het in de EU-database voor hoog-risico AI en voorziet het van CE-markering.

  6. Post-market monitoring & incidentmeldingen
    Ook na introductie blijf je verantwoordelijk: je monitort de prestaties van het systeem, registreert klachten en meldt ernstige incidenten binnen 15 dagen aan de toezichthouder.

Let op: het niet naleven van deze verplichtingen kan leiden tot forse sancties (tot €30 miljoen of 6% van de wereldwijde omzet).

Twijfel je hoe dit voor jouw AI-toepassing uitpakt? Wij helpen je graag verder. Neem gerust contact met ons op. 

AI Act: Veelgestelde vragen van ontwikkelaars & leveranciers

Als jouw AI-systeem zelfstandig beslissingen neemt of conclusies trekt op basis van input, val je waarschijnlijk onder de AI Act. De wet hanteert een brede definitie van AI, waaronder ook systemen die gebruikmaken van machine learning, logica of expertsystemen. Belangrijker nog: zodra je het systeem aanbiedt of in gebruik stelt onder je eigen naam of merk, word je als ‘aanbieder’ gezien.

De AI Act noemt specifieke toepassingen in bijlage III die als hoog risico worden gezien – zoals AI in werving, onderwijs, rechtshandhaving of kredietbeoordeling. Ook AI die geïntegreerd is in producten met een CE-markering (zoals medische apparatuur of industriële machines) valt automatisch in deze categorie. De impact op fundamentele rechten en veiligheid staat centraal.

 

De wet legt de verantwoordelijkheid bij de aanbieder: jij moet zelf inschatten en onderbouwen of jouw systeem binnen de hoog-risico categorie valt. Bij twijfel: documenteer je redenering. Heb je een ondersteunend systeem zonder autonome beslissingen? Licht toe waarom je denkt dat het risico beperkt is. Twijfel je nog steeds? Dan denken wij graag met je mee.

 

Als je systeem onder de hoog-risico categorie valt, gelden onder meer de volgende verplichtingen:

  • Een kwaliteitsmanagementsysteem (QMS)

  • Een werkend risicobeheersysteem

  • Aantoonbaar goede datakwaliteit en data governance

  • Transparantie naar gebruikers én menselijk toezicht

  • Technische documentatie en logging

  • Registratie in de EU-database en CE-markering

  • Doorlopende monitoring en incidentenmelding

Ja. Als je een bestaand foundation model — zoals GPT, Claude, Llama of een ander groot AI-model — integreert in je eigen toepassing en die onder je eigen naam aanbiedt, dan ben je volgens de AI Act de “aanbieder” van een AI-systeem.

Dat betekent: ook al heb je het model zelf niet getraind, je gebruikt het als technische basis voor een systeem dat jij samenstelt, vormgeeft en op de markt brengt. Dat systeem wordt dan juridisch jouw verantwoordelijkheid.

De AI Act maakt namelijk onderscheid tussen:

  • de aanbieder van het foundation model (bijvoorbeeld OpenAI of Anthropic), en

  • de downstream aanbieder die het model toepast in een concrete dienst of toepassing.

Zodra jij een model gebruikt in een product met eigen gebruikersinterface, doelen en output — bijvoorbeeld een klantenservicebot, HR-tool of leermodule — en je brengt dat onder je eigen naam op de markt, dan valt dat onder de definitie van een AI-systeem en dus onder de AI Act.

 

Niet voldoen aan de AI Act is niet vrijblijvend. De Europese toezichthouders kunnen forse sancties opleggen: tot €30 miljoen of 6% van de wereldwijde omzet bij ernstige overtredingen. Daarnaast loop je reputatierisico’s en kun je aansprakelijk worden gesteld door gebruikers of klanten.

 

Begin met een risico-inventarisatie van je AI-systemen. Bepaal of ze onder de AI Act vallen en welke categorie van toepassing is. Stel vast wat je al geregeld hebt (denk aan documentatie, databeleid, QMS) en waar nog hiaten zitten. Wacht niet tot de wet van kracht is – compliance vraagt tijd, afstemming en zorgvuldigheid.

 

Juridische begeleiding nodig bij de implementatie van de AI Act?


We denken graag met je mee. Onze ICT-juristen en compliance specialisten helpen organisaties bij het praktisch toepassen van de AI-wet. Van risicoclassificatie tot concrete maatregelen in beleid en toezicht.

Neem gerust contact op, we vertellen je graag wat we voor jouw organisatie kunnen betekenen.

Foto van mr. Hester Spaans

mr. Hester Spaans

Co-founder & Senior Legal Counsel

Neem contact met ons op

SenS juristen

We zijn gevestigd op de Vijzelstraat 68 (1017 HL) in het mooie Amsterdam en sinds 2018 ingeschreven in het register van de Kamer van Koophandel onder nummer: 99167883.
Ons BTW-nummer: NL858752530B01. 

020 261 5141

contact@sensjuristen.nl

Scroll naar boven

Laat hier je bericht achter. We reageren meestal binnen één werkdag.

* Bekijk ons privacybeleid om te zien hoe we met jouw persoonsgegevens omgaan.

mr. Hester Spaans

Co-founder & General legal consultant

Hester is een van de oprichters van SenS juristen en werkt als General Legal Consultant. Ze heeft meerdere masters in het recht afgerond aan de Universiteit van Amsterdam en het voorrecht gehad een half jaar aan de University of Hong Kong te mogen studeren. Gefrustreerd over de stoffige juridische wereld, besloot ze destijds het heft in eigen hand te nemen en als ondernemer te starten. 

Inmiddels werkt ze al zo’n 8 jaar bij SenS juristen en heeft ze honderden ondernemers mogen bijstaan met vraagstukken op het snijvlak van IT en recht.

Haar passie voor tech (en met name AI!) is van grote waarde bij het ‘vertalen’ van juridische regelgeving op het gebied van ICT/internet-en privacyrecht naar de dagelijkse technische realiteit. Klanten omschrijven haar als doortastend, vakkundig en pragmatisch. Om haar kennis op peil te houden is ze o.a. lid van de Vereniging voor Auteursrecht. 

mr. Lucia Spaans

Co-founder & Privacy officer

Lucia is mede-oprichter van SenS juristen en werkt gedreven samen met het team aan het leveren van onze juridische diensten op top niveau.

Ze is enorm gemotiveerd en een perfectioniste (soms, oké, dikwijls, op het irritante af) die alles tot in de puntjes geregeld wil zien. Haar passie voor het recht kwam al naar voren tijdens haar studietijd in Amsterdam, waar ze ervoor koos om twee juridische masters te volgen. Het liefst controleert ze alle juridische stukken en correspondentie die dagelijks bij SenS juristen de deur uitgaan meerdere malen, zodat de cliënt er zeker van kan zijn dat alles perfect geregeld is.

Verder is ze een groot fan van koffie, reist ze graag en is ze actief als gitariste (ja, echt).