NormeloHoog-risico AI-systemen volgens de EU AI Act
Hoog-risico AI-systemen zijn AI-systemen die significante gevolgen kunnen hebben voor de fundamentele rechten, veiligheid of gezondheid van mensen. De EU AI Act stelt de strengste eisen aan deze categorie. Hieronder een volledig overzicht van welke systemen hieronder vallen en wat de verplichtingen zijn.
Wat maakt een AI-systeem hoog-risico?
De EU AI Act kent twee routes waardoor een AI-systeem als hoog-risico wordt geclassificeerd. De eerste route (Bijlage I) betreft AI-systemen die als veiligheidscomponent worden ingebouwd in producten die al onder bestaande EU-wetgeving vallen, zoals medische hulpmiddelen, machines, speelgoed en liften. Deze producten moeten al een conformiteitsbeoordeling ondergaan; als er een AI-component in zit, gelden de extra eisen van de AI Act.
De tweede route (Bijlage III) betreft AI-systemen die worden ingezet in specifieke maatschappelijke domeinen. Dit is de route die voor de meeste organisaties relevant is. De wet noemt acht categorieën.
De acht categorieën van Bijlage III
1. Biometrische identificatie en categorisatie
AI-systemen voor biometrische identificatie op afstand, zowel real-time als achteraf. Dit omvat gezichtsherkenning in openbare ruimtes, biometrische categorisatie op basis van gevoelige kenmerken zoals etniciteit of politieke overtuiging, en emotieherkenning op de werkplek en in het onderwijs. Real-time biometrische identificatie in openbare ruimtes is in principe verboden, met beperkte uitzonderingen voor rechtshandhaving.
2. Kritieke infrastructuur
AI-systemen die als veiligheidscomponent worden ingezet bij het beheer en de exploitatie van kritieke infrastructuur. Denk aan AI die het verkeer op snelwegen aanstuurt, energienetwerken beheert, of watersystemen monitort. Een storing in zo'n systeem kan directe gevolgen hebben voor de fysieke veiligheid van grote groepen mensen.
3. Onderwijs en beroepsopleiding
AI-systemen die bepalen wie wordt toegelaten tot onderwijsinstellingen, die leerresultaten beoordelen wanneer die beoordeling bepalend is voor de opleiding van de persoon, die het onderwijsniveau van een persoon vaststellen, of die het niveau monitoren van studenten tijdens toetsen. Een AI-gestuurd toelatingssysteem voor een universiteit valt hieronder, net als geautomatiseerde examenbeoordeling.
4. Werkgelegenheid en personeelsbeheer
Dit is de categorie die de meeste organisaties raakt. Hoog-risico zijn AI-systemen die worden ingezet om kandidaten te werven of te selecteren, met name om vacatures gericht te publiceren, sollicitaties te analyseren of filteren, en kandidaten te beoordelen tijdens interviews of assessments. Maar ook AI-systemen die beslissingen nemen over arbeidsvoorwaarden, promotie, beëindiging van arbeidsrelaties, of de toewijzing van taken op basis van persoonlijke kenmerken.
Concreet: een ATS dat cv's automatisch rankt, een matchingtool die kandidaten aan vacatures koppelt, een screeningstool die sollicitanten filtert, een tool die medewerkers beoordeelt voor promotie, en een planningssysteem dat taken toewijst op basis van profielen — het valt allemaal onder deze categorie.
5. Toegang tot essentiële diensten
AI-systemen die de kredietwaardigheid van personen beoordelen, die verzekeringsrisico's en premies vaststellen, die worden ingezet bij de beoordeling van aanvragen voor essentiële publieke diensten (zoals bijstand of ziektekostenverzekering), of die prioriteit geven aan nooddiensten (zoals brandweer en ambulance). Een AI-model dat bepaalt of je in aanmerking komt voor een lening of welke verzekeringspremie je betaalt is hoog-risico.
6. Rechtshandhaving
AI-systemen die door rechtshandhavingsinstanties worden ingezet voor het beoordelen van het risico dat iemand slachtoffer wordt van een misdrijf, als leugendetector, voor het beoordelen van bewijsmateriaal, het voorspellen van criminaliteit (predictive policing op basis van persoonlijke kenmerken is verboden), of het profileren van personen.
7. Migratie, asiel en grenscontrole
AI-systemen voor het beoordelen van risico's met betrekking tot irreguliere migratie, het verwerken van visa- en asielaanvragen, en het detecteren of herkennen van personen aan de grens. Leugendetectors bij grenscontroles vallen hier ook onder.
8. Rechtsbedeling en democratische processen
AI-systemen die rechterlijke instanties assisteren bij het onderzoeken en interpreteren van feiten en wet, en bij het toepassen van het recht op concrete feiten. Ook AI-systemen die worden ingezet om verkiezingsuitslagen of stemgedrag te beïnvloeden vallen hieronder (met uitzondering van organisatorische hulpmiddelen).
Verplichtingen voor providers (aanbieders)
De provider — de partij die het AI-systeem ontwikkelt en op de markt brengt — draagt de zwaarste verplichtingen. Dit zijn de kernvereisten:
Risicobeheersysteem
Een doorlopend proces voor het identificeren, analyseren en mitigeren van risico's gedurende de hele levenscyclus van het AI-systeem. Dit omvat het testen van het systeem op bekende en voorzienbare risico's, het vaststellen van acceptatiecriteria, en het nemen van maatregelen om geïdentificeerde risico's te beheersen.
Data governance
Trainings-, validatie- en testdata moeten relevant, representatief, vrij van fouten en zo volledig mogelijk zijn. De provider moet specifieke aandacht besteden aan mogelijke bias in de data, met name bias die kan leiden tot discriminatie van beschermde groepen.
Technische documentatie
Uitgebreide documentatie over het ontwerp, de ontwikkeling en de werking van het systeem. Deze documentatie moet aantonen dat het systeem aan alle vereisten voldoet en moet beschikbaar zijn voor toezichthouders.
Automatische logging
Het systeem moet automatisch gebeurtenissen registreren (logs) gedurende de operationele levensduur. Deze logs moeten traceerbaarheid mogelijk maken en moeten worden bewaard voor een passende periode.
Conformiteitsbeoordeling en CE-markering
Voordat het systeem op de markt wordt gebracht, moet de provider een conformiteitsbeoordeling uitvoeren die aantoont dat het systeem aan alle vereisten voldoet. Na succesvolle beoordeling krijgt het systeem een CE-markering en wordt het geregistreerd in de openbare EU-database.
Verplichtingen voor deployers (gebruikers)
Als je een hoog-risico AI-systeem inzet in je organisatie, ben je een deployer. Je verplichtingen zijn minder zwaar dan die van de provider, maar ze zijn er wel degelijk:
Gebruik volgens de instructies
Je moet het systeem gebruiken conform de gebruiksaanwijzing van de provider. Gebruik je het voor een ander doel, dan word je mogelijk zelf als provider beschouwd — met alle bijbehorende verplichtingen.
Menselijk toezicht
Je moet ervoor zorgen dat de personen die toezicht houden op het systeem de juiste competenties, opleiding en autoriteit hebben. Zij moeten de output van het systeem kunnen beoordelen en de mogelijkheid hebben om AI-beslissingen te overrulen of het systeem te stoppen.
Transparantie en informatieplicht
Personen die door het AI-systeem worden geraakt moeten worden geïnformeerd. Bij werkgelegenheid en personeelsbeheer betekent dit dat werknemers en kandidaten moeten weten dat er AI wordt ingezet. Bij werknemersvertegenwoordiging moeten ook de vakbonden of ondernemingsraad worden geïnformeerd.
Monitoring en incidentmelding
Je moet de werking van het systeem monitoren en bij ernstige incidenten (zoals discriminerende output of veiligheidsrisico's) de provider en de bevoegde autoriteiten informeren.
Effectbeoordeling voor fundamentele rechten
Deployers die overheidsinstanties zijn of die diensten van openbaar belang verlenen moeten vóór het in gebruik nemen van een hoog-risico AI-systeem een effectbeoordeling voor fundamentele rechten uitvoeren. Voor andere deployers wordt dit sterk aanbevolen.
Wanneer is een AI-systeem géén hoog-risico?
Niet elk AI-systeem dat in een van de acht categorieën wordt ingezet is automatisch hoog-risico. De EU AI Act bevat een belangrijke uitzondering: een AI-systeem dat in Bijlage III wordt genoemd is niet hoog-risico als het geen significant risico vormt voor de gezondheid, veiligheid of fundamentele rechten van personen.
Dit geldt specifiek als het systeem is bedoeld om een beperkte procedurele taak uit te voeren, als het bedoeld is om de uitkomst van een eerder genomen menselijke beslissing te verbeteren, als het een voorbereidende taak uitvoert, of als het patronen detecteert zonder beslissingen te beïnvloeden.
Maar let op: de provider moet zelf beoordelen of deze uitzondering van toepassing is en moet dit documenteren. Als de uitzondering onterecht wordt ingeroepen, gelden alsnog alle hoog-risico verplichtingen — plus mogelijke sancties.