AI Act: hoog-risico AI-systemen

Hoe bepaalt de AI Act of een systeem hoog risico is?

De AI Act wetgeving hanteert twee formele routes voor classificatie: de productroute en de toepassingsroute (artikel 6).

Productroute (artikel 6, lid 1)

Een AI-systeem wordt als hoog risico aangemerkt wanneer het:

• bedoeld is als veiligheidscomponent van een product, of
• zelf een product is dat onder bestaande EU-productwetgeving valt (zoals de Machinerichtlijn, Medische-hulpmiddelenverordening of Voertuigverordening),
  en dat product een derde-partij-conformiteitsbeoordeling moet ondergaan voordat het op de markt mag worden gebracht of in gebruik mag worden genomen.

In dat geval neemt het AI-systeem automatisch de hoog-risicostatus van het product over.

Toepassingsroute (artikel 6, lid 2)

Valt het systeem niet onder productregelgeving, dan kan het alsnog als hoog risico gelden als het voorkomt op de lijst in Bijlage III van de AI Act.
Daarin staan sectoren en gebruiksdoelen waarbij AI wezenlijke gevolgen kan hebben voor gezondheid, veiligheid of grondrechten. Denk aan:

• biometrische identificatie en categorisatie
• kritieke infrastructuur (zoals verkeer en energie)
• onderwijs en beroepsopleiding
• arbeid en HR-besluitvorming
• toegang tot publieke of private diensten (zoals krediet of sociale voorzieningen)
• rechtshandhaving, migratie, asielbeheer, en rechtspraak.

De uitzondering van artikel 6, lid 3

Niet elk systeem dat onder een Bijlage III-categorie valt, hoeft daadwerkelijk als hoog risico te worden behandeld.
Een aanbieder kan aantonen dat het systeem slechts ondersteunend wordt ingezet, bijvoorbeeld wanneer het:

• een beperkte procedurele taak uitvoert;
• het resultaat van een menselijke beoordeling slechts optimaliseert;
• patronen of afwijkingen in besluitvorming signaleert zonder zelf beslissingen te nemen; of
• voorbereidend werk verricht voor menselijke beoordeling.

Een dergelijke kwalificatie moet schriftelijk worden vastgelegd en onderbouwd in de technische documentatie.

Aanbieders moeten alert zijn op situaties waarin hun systeem later wordt gewijzigd of doorverkocht door derden (zoals distributeurs of importeurs). Zodra een derde partij het systeem aanpast of onder eigen naam aanbiedt, kan die partij zelf aanbieder van een hoog-risico-AI-systeem worden (met bijbehorende verplichtingen).

De oorspronkelijke aanbieder blijft verplicht om met die nieuwe aanbieder samen te werken (artikel 25 AI Act), door noodzakelijke informatie en technische toegang te verschaffen. Alleen als contractueel is vastgelegd dat het systeem niet mag worden aangepast tot een hoog-risico-toepassing, kan de oorspronkelijke aanbieder die verantwoordelijkheid beperken.

Twijfel je of jouw AI-toepassing straks als hoog-risico-systeem wordt aangemerkt onder de AI Act? Dan is dit het moment om duidelijkheid te krijgen en tijdig de juiste stappen te zetten.
Neem gerust contact met ons op. We helpen je graag om de regels praktisch toe te passen op jouw organisatie.

Hoog-risico AI: voorbeelden uit de praktijk

In de praktijk blijkt hoe breed de categorie hoogrisico-AI is. Het gaat niet om sciencefictionachtige toepassingen, maar om systemen die al volop in gebruik zijn in onderwijs, HR, zorg, overheid en financiële dienstverlening. De gemeenschappelijke factor: deze systemen ondersteunen of beïnvloeden beslissingen die directe gevolgen hebben voor mensen.

Voorbeelden:

• AI bij werving en selectie: rangschikken van sollicitaties of selectie van kandidaten.
• AI in het onderwijs: automatische beoordeling of toelatingsbeslissingen.
• AI in de financiële sector: kredietwaardigheid of toewijzing van leningen.
• AI in de publieke sector: risicoprofilering, handhaving, of verdeling van uitkeringen.
• AI met biometrische technologie: gezichtsherkenning of gedragsanalyse.

De rode draad: de kwalificatie “hoog risico” gaat niet over de technologie zelf, maar over het doel en de context van gebruik. Waar AI beslissingen beïnvloedt die de rechten, kansen of veiligheid van mensen raken, zal de AI Act dat gebruik als hoog risico aanmerken.

Verplichtingen voor aanbieders van hoog-risico-AI

Wie een hoog-risico-AI-systeem ontwikkelt of aanbiedt, zal vroeg of laat iets te weten komen over Hoofdstuk III van de AI-verordening. In dat hoofdstuk staan namelijk de eisen waaraan een aanbieder moet voldoen om een dergelijk systeem op de Europese markt te mogen brengen. De verplichtingen zijn bedoeld om te waarborgen dat AI-systemen veilig, transparant en controleerbaar zijn. 

Belangrijkste verplichtingen:

1. Risicobeheer: doorlopend proces voor het identificeren, evalueren en beperken van risico’s. Een praktische tip daarbij: aanbieders doen er goed aan om in hun contracten met gebruikers (deployers) een bepaling op te nemen die verplicht dat de gebruiker informatie verstrekt over de prestaties van het AI-systeem. Zo kan de aanbieder beter beoordelen of het systeem nog steeds voldoet aan de verplichtingen uit artikelen 8 tot en met 15 van de AI-verordening.
2. Datakwaliteit en datagovernance: datasets moeten representatief, relevant en foutarm zijn.
3. Technische documentatie: vastlegging van ontwerp, data, werking en risicobeheersing. Let op: Voor kleinere organisaties geldt enige verlichting: kleine en middelgrote ondernemingen mogen de onderdelen uit bijlage IV in vereenvoudigde vorm aanleveren. De Europese Commissie zal hiervoor aparte, vereenvoudigde sjablonen vaststellen.
4. Logging en monitoring: automatisch loggen van systeemactiviteiten en prestaties.
5. Transparantie en menselijke controle: gebruikers moeten begrijpen hoe het systeem werkt. Belangrijk om te weten: de transparantie-eisen in artikel 13 gaan niet over de personen die door het systeem worden geraakt, dat is een kwestie van de AVG wanneer persoonsgegevens relevant zijn. De transparantieverplichtingen voor aanbieders zijn er juist op gericht dat het AI-systeem voldoende inzichtelijk is voor de gebruikers (deployers), zodat zij het op een verantwoorde manier kunnen inzetten.
6. Nauwkeurigheid en beveiliging: systemen moeten bestand zijn tegen fouten of manipulatie.
7. Kwaliteitsmanagementsysteem: beleid en procedures voor naleving vastleggen.
8. Conformiteitsbeoordeling en CE-markering: verplicht voor markttoelating.

Kort samengevat: aanbieders moeten kunnen aantonen dat hun systeem veilig, uitlegbaar en controleerbaar is en dat gedurende de hele levenscyclus. Wil je meer weten wanneer je onder de AI Act als aanbieder wordt gezien en welke verplichtingen daarbij horen? Lees dan verder over de verplichtingen voor AI-ontwikkelaars en leveranciers.

Verplichtingen voor gebruikers (deployers) van hoog-risico-AI

Niet alleen aanbieders krijgen onder de AI-verordening een uitgebreid takenpakket. Ook gebruikers (deployers) van hoog-risico-AI-systemen hebben eigen verplichtingen. De wetgever wil voorkomen dat AI-systemen, eenmaal op de markt gebracht, zonder toezicht of begrip worden toegepast.

1. Gebruik volgens het beoogde doel. Afwijking kan leiden tot kwalificatie als aanbieder.
2. Menselijk toezicht. Er moet altijd iemand zijn die de werking begrijpt en kan ingrijpen.
3. Logging en bewaring. Logbestanden met persoonsgegevens moeten minimaal zes maanden bewaard blijven.
4. Incidentmeldingen. Ernstige incidenten moeten direct gemeld worden aan aanbieder en toezichthouder.
5. AI-geletterdheid. Medewerkers moeten getraind zijn in het verantwoord gebruik van AI.
6. Samenwerking met aanbieder. Informatie-uitwisseling over prestaties en incidenten is verplicht.
7. Fundamental Rights Impact Assessment (FRIA). Publieke en sommige private gebruikers moeten vooraf beoordelen welke effecten het AI-systeem heeft op grondrechten (zoals privacy, non-discriminatie, waardigheid en toegang tot voorzieningen). De FRIA lijkt op een DPIA (AVG), maar is breder.

Kortom: de AI Act maakt gebruikers mede-verantwoordelijk voor het veilig, eerlijk en uitlegbaar functioneren van AI.

Veelgestelde vragen over de AI Act en hoog-risico AI-systemen