Commission Guidelines on prohibited artificial intelligence practices established by Regulation (EU) 2024/1689 (AI Act)

Frontmatter

NL NL R i c h t s n o e rz eo n a vl s a v n a ds t eg Ce s ot me l EC E m d UO b i RM E s s i j O i e P E be ES r e SS t o EI E I N r e r d G f f e n e ni n A d g N e ( vE e U r E b) BC o2 r( d0 u2 O e2 s0 n4 s2 / e a1 5 l r6 ,) 2 9 . 7 5 0 5 I S S t i f i c i 8 9 ( A .2 ë 2 E lI 0 2 f i n e -

• v 5a i ne l t e r o lr ld i ge en n i tn i eg p) r a k t i j k e n INHOUDSOPGAVE

1. ACHTERGROND EN DOELSTELLINGEN

(1) Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van bepaalde verordeningen (“de AI-verordening”)1 is op 1 augustus 2024 in werking getreden. Bij de AI-verordening worden geharmoniseerde regels vastgesteld voor het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen in de Unie2. Het doel ervan is innovatie in en de toepassing van AI te bevorderen en tegelijkertijd een hoog niveau van bescherming van de gezondheid, de veiligheid en de grondrechten in de Unie te waarborgen, met inbegrip van de democratie en de rechtsstaat. (2) In de AI-verordening wordt een risicogebaseerde benadering gevolgd, waarbij AI- systemen worden ingedeeld in vier verschillende risicocategorieën: (i) Onaanvaardbaar risico: AI-systemen die onaanvaardbare risico’s voor de grondrechten en de waarden van de Unie met zich meebrengen, zijn verboden op grond van artikel 5 van de AI-verordening. (ii) Hoog risico: voor AI-systemen die een hoog risico voor de gezondheid, de veiligheid en de grondrechten met zich meebrengen, geldt een reeks eisen en verplichtingen. Deze systemen worden geclassificeerd als “hoog risico” overeenkomstig artikel 6 van de AI-verordening in samenhang met de bijlagen I en III bij de AI-verordening. (iii) Transparantierisico: AI-systemen die een beperkt transparantierisico met zich meebrengen, zijn onderworpen aan transparantieverplichtingen op grond van artikel 50 van de AI-verordening. (iv) Minimaal of geen risico: AI-systemen die een minimaal of geen risico met zich meebrengen, worden niet gereguleerd, maar aanbieders en gebruiksverantwoordelijken kunnen ervoor kiezen zich aan vrijwillige gedragscodes te houden3. (3) Overeenkomstig artikel 96, lid 1, punt b), van de AI-verordening moet de Commissie richtsnoeren vaststellen voor de praktische uitvoering van de in artikel 5 van de AI- verordening bedoelde verboden praktijken. Die verbodsbepalingen worden zes maanden na de inwerkingtreding van de AI-verordening van toepassing, d.w.z. met ingang van 2 februari 2025. (4) Deze richtsnoeren hebben tot doel de juridische duidelijkheid te vergroten en inzichtelijk te maken hoe de Commissie de verbodsbepalingen in artikel 5 van de AI- verordening interpreteert, teneinde een consistente, doeltreffende en uniforme toepassing ervan te waarborgen. Zij moeten dienen als praktische richtsnoeren die de bevoegde autoriteiten helpen bij hun handhavingsactiviteiten in het kader van de AI- verordening, alsook aanbieders en gebruiksverantwoordelijken van AI-systemen bij de naleving van hun verplichtingen uit hoofde van de AI-verordening. Zij zijn bedoeld om een evenwichtige interpretatie van de verbodsbepalingen te bevorderen, zodat de doelstellingen van de AI-verordening zoals de bescherming van de grondrechten en de veiligheid kunnen worden verwezenlijkt, maar tegelijkertijd innovatie wordt bevorderd en rechtszekerheid wordt geboden. (5) Deze richtsnoeren zijn niet bindend. De bindende uitlegging van de AI-verordening komt uiteindelijk uitsluitend toe aan het Hof van Justitie van de Europese Unie (het “Hof”). (6) Deze richtsnoeren werden opgesteld met input van diverse belanghebbenden, zoals aanbieders en gebruiksverantwoordelijken van AI-systemen, maatschappelijke organisaties, de academische wereld, overheidsinstanties, bedrijfsverenigingen enz. De input werd verzameld tijdens een breed opgezet raadplegingsproces dat door de Commissie werd georganiseerd. Ook de lidstaten werden geraadpleegd via de AI-board, evenals het Europees Parlement. Deze richtsnoeren zullen regelmatig worden herzien op basis van de ervaring die is opgedaan met de praktische uitvoering van artikel 5 van de AI-verordening en de technologische en marktontwikkelingen. (7) De toepassing van artikel 5 van de AI-verordening moet per geval worden beoordeeld, waarbij terdege rekening wordt gehouden met de specifieke omstandigheden waarvan in ieder individueel geval sprake is. De in deze richtsnoeren gegeven voorbeelden zijn derhalve louter indicatief en laten onverlet dat in elk afzonderlijk geval een dergelijke beoordeling moet worden uitgevoerd.

2. OVERZICHT VAN VERBODEN AI-PRAKTIJKEN

(8) Op grond van artikel 5 van de AI-verordening is het verboden bepaalde AI-systemen in de EU in de handel te brengen, in gebruik te stellen of te gebruiken voor op manipulatie, uitbuiting, sociale controle of surveillance gerichte praktijken, die naar hun aard de grondrechten en de waarden van de Unie schenden. In overweging 28 van de AI- verordening wordt duidelijk gemaakt dat dergelijke praktijken bijzonder schadelijk en abusief zijn en moeten worden verboden omdat zij in strijd zijn met waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten die zijn verankerd in het Handvest van de grondrechten van de Europese Unie (“het Handvest”), waaronder het recht op non-discriminatie (artikel 21 van het Handvest) en gelijkheid (artikel 20 van het Handvest), gegevensbescherming (artikel 8 van het Handvest), eerbiediging van het privéleven en het familie- en gezinsleven (artikel 7 van het Handvest) en de rechten van het kind (artikel 24 van het Handvest). De verbodsbepalingen in artikel 5 van de AI- verordening hebben ook tot doel het recht op vrijheid van meningsuiting en van informatie (artikel 11 van het Handvest), de vrijheid van vergadering en vereniging (artikel 12 van het Handvest), de vrijheid van gedachte, geweten en godsdienst (artikel 10 van het Handvest), het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht (artikel 47 van het Handvest), het vermoeden van onschuld en de rechten van de verdediging (artikel 48 van het Handvest) te beschermen.

2.1. In artikel 5 van de AI-verordening opgenomen verbodsbepalingen

(9) Overzicht van de verbodsbepalingen Bepaling Verbod Inhoud Artikel 5, Schadelijke manipulatie AI-systemen die gebruikmaken van subliminale lid 1, en misleiding technieken waarvan personen zich niet bewust zijn punt a) of van doelbewust manipulatieve of misleidende technieken, met als doel of effect gedrag te verstoren, wat ertoe leidt of er redelijkerwijs waarschijnlijk toe zal leiden dat aanzienlijke schade wordt opgelopen Artikel 5, Schadelijke uitbuiting AI-systemen die gebruikmaken van lid 1, van kwetsbaarheden kwetsbaarheden als gevolg van leeftijd, handicap of punt b) een specifieke sociale of economische omstandigheid, met als doel of gevolg gedrag te verstoren, wat ertoe leidt of er redelijkerwijs waarschijnlijk toe zal leiden dat aanzienlijke schade wordt opgelopen Artikel 5, Social scoring AI-systemen die natuurlijke personen of groepen lid 1, personen evalueren of classificeren op basis van punt c) hun sociale gedrag of persoonlijke of persoonlijkheidskenmerken, waarbij de sociale score leidt tot een nadelige of ongunstige behandeling wanneer data afkomstig zijn uit een ongerelateerde sociale context of een dergelijke behandeling ongerechtvaardigd is of onevenredig aan het sociale gedrag Artikel 5, Individuele beoordeling AI-systemen die uitsluitend op basis van de lid 1, en voorspelling van het profilering of persoonlijkheidseigenschappen en - punt d) risico op het plegen van kenmerken het risico op het plegen van een strafbare feiten strafbaar feit beoordelen of voorspellen, behalve wanneer die worden gebruikt ter ondersteuning van een menselijke beoordeling op basis van objectieve en verifieerbare feiten die rechtstreeks verband houden met een criminele activiteit Artikel 5, Ongerichte scraping met AI-systemen die databanken voor lid 1, het oog op de gezichtsherkenning aanleggen of aanvullen door punt e) ontwikkeling van ongerichte scraping van gezichtsafbeeldingen van databanken voor internet of CCTV-beelden (gesloten televisiecircuit) gezichtsherkenning Artikel 5, Emotieherkenning AI-systemen waarmee emoties op de werkplek of in lid 1, het onderwijs worden afgeleid, behalve bij gebruik punt f) om medische of veiligheidsoverwegingen Artikel 5, Biometrische AI-systemen die natuurlijke personen in categorieën lid 1, categorisering indelen op basis van biometrische gegevens om hun punt g) ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen of seksuele gerichtheid af te leiden, behalve voor het labelen of filteren van rechtmatig verkregen biometrische datasets, waaronder op het gebied van rechtshandhaving Artikel 5, Biometrische AI-systemen voor biometrische identificatie op lid 1, identificatie op afstand afstand in real time in openbare ruimten met het punt h) (“RBI”) in real time oog op de rechtshandhaving, behalve indien deze noodzakelijk zijn voor het gericht zoeken naar specifieke slachtoffers, het voorkomen van specifieke dreigingen, waaronder terroristische aanslagen, of het opsporen van verdachten van specifieke strafbare feiten (verdere procedurele vereisten, onder meer voor het verkrijgen van toestemming, uiteengezet in artikel 5, leden 2 tot en met 7, van de AI-verordening).

2.2. Rechtsgrondslag van de verbodsbepalingen

(10) De AI-verordening berust op twee rechtsgrondslagen: artikel 114 van het Verdrag betreffende de werking van de Europese Unie (“VWEU”) (rechtsgrondslag interne markt) en artikel 16 VWEU (rechtsgrondslag gegevensbescherming). Artikel 16 VWEU dient als rechtsgrondslag voor de specifieke regels inzake de verwerking van persoonsgegevens in verband met het verbod op het voor rechtshandhaving bedoelde gebruik van RBI-systemen, systemen voor biometrische categorisering en systemen voor individuele risicobeoordelingen4. Alle andere in artikel 5 van de AI-verordening genoemde verbodsbepalingen vinden hun rechtsgrondslag in artikel 114 VWEU.

2.3. Materieel toepassingsgebied: praktijken die verband houden met het “in

de handel brengen”, “in gebruik stellen” of “gebruiken” van een AI-systeem (11) De bij artikel 5 van de AI-verordening verboden praktijken hebben betrekking op het in de handel brengen, het in gebruik stellen of het gebruiken van specifieke AI- systemen5. Wat RBI-systemen in real time betreft, is het verbod van artikel 5, lid 1, punt h), van de AI-verordening alleen van toepassing op het gebruik ervan. In artikel 3, punt 1, van de AI-verordening wordt gedefinieerd wat een AI-systeem is. In de 4 Overweging 3 van de AI-verordening. Wat de verbodsbepalingen op grond van artikel 16 VWEU betreft, zijn er twee relevante opt- outs vastgesteld voor Ierland en Denemarken. Op basis van de discretionaire bevoegdheid die Ierland is toegekend op grond van Protocol nr. 21 betreffende de positie van het Verenigd Koninkrijk en Ierland ten aanzien van de ruimte van vrijheid, veiligheid en recht (RVVR), gehecht aan het VEU en het VWEU, kan Ierland besluiten de regels betreffende het verbod op het gebruik van RBI- systemen in real time in openbare ruimten met het oog op de rechtshandhaving en de procedurele voorschriften in verband met dat artikel (artikel 5, leden 2 tot en met 6, AI-verordening) niet toe te passen (zie overweging 40). Voor Denemarken gelden opt- outregelingen betreffende de toepassing van Protocol nr. 22 bij het VEU en het VWEU op grond waarvan het kan besluiten de op artikel 16 VWEU gebaseerde verbodsbepalingen niet volledig toe te passen (zie overweging 41). 5 Zie voor de definities van deze termen ook de mededeling van de Commissie — De Blauwe Gids van 2022: richtlijnen voor de uitvoering van de productvoorschriften van de EU, 2022/C 247/01, punt 2. richtsnoeren betreffende de definitie van een AI-systeem wordt uiteengezet hoe de Commissie deze definitie uitlegt. (12) Volgens artikel 3, punt 9, van de AI-verordening is het in de handel brengen van een AI-systeem “het voor het eerst in de Unie op de markt aanbieden van een AI-systeem […]”. “Op de markt aanbieden” wordt gedefinieerd als “het in het kader van een handelsactiviteit, al dan niet tegen betaling, verstrekken van [het systeem] met het oog op distributie of gebruik op de markt van de Unie”6. Deze definitie omvat alle wijzen waarop een AI-systeem op de markt wordt aangeboden, waaronder het verlenen van toegang tot het systeem en de bijbehorende diensten via een applicatieprogramma- interface (“API”), via de cloud of door middel van directe downloads, fysieke kopieën of ingebed in fysieke producten. Zo wordt een RBI-systeem dat buiten de Unie door een aanbieder uit een derde land is ontwikkeld, voor het eerst in de Unie in de handel gebracht wanneer het in een of meer lidstaten tegen betaling of kosteloos wordt aangeboden. Het in de handel brengen kan in dit geval plaatsvinden door online toegang tot het systeem te verlenen via een API of een andere gebruikersinterface. (13) In artikel 3, punt 11, van de AI-verordening wordt in gebruik stellen gedefinieerd als “de directe levering van een AI-systeem aan de gebruiksverantwoordelijke voor het eerste gebruik of voor eigen gebruik in de Unie voor het beoogde doel”. Dit omvat derhalve zowel de levering voor eerste gebruik aan derden als de interne ontwikkeling en toepassing. Het beoogde doel is “het gebruik waarvoor een AI-systeem door de aanbieder is bedoeld, met inbegrip van de specifieke context en voorwaarden van het gebruik, zoals gespecificeerd in de informatie die door de aanbieder in de gebruiksinstructies, reclame- of verkoopmaterialen en verklaringen, alsook in de technische documentatie is verstrekt”7. Een aanbieder bouwt bijvoorbeeld buiten de Unie een RBI-systeem en levert dat systeem aan een rechtshandhavingsautoriteit of een in een lidstaat gevestigde particuliere onderneming om voor het eerst te worden gebruikt, zodat het in gebruik wordt gesteld. Of een overheidsinstantie ontwikkelt bijvoorbeeld zelf een scoresysteem om het risico van fraude bij begunstigden van kostwinnerstoelagen te voorspellen, en stelt het daarmee in gebruik. (14) Hoewel het “gebruik” van een AI-systeem niet uitdrukkelijk in de AI-verordening wordt gedefinieerd, moet het ruim worden opgevat, zodat de definitie het gebruik of de inzet van het systeem op elk moment van de levenscyclus omvat nadat het in de handel is gebracht of in gebruik is gesteld. “Gebruik” kan ook betrekking hebben op de integratie van het AI-systeem in de diensten en processen van de personen die het AI- systeem gebruiken, onder meer als onderdeel van complexere systemen, processen of infrastructuur. Hoewel aanbieders van AI-systemen rekening moeten houden met de redelijkerwijs voorzienbare gebruiksomstandigheden voordat zij hun AI-systemen in de handel brengen (beoogd gebruik en redelijkerwijs te voorzien misbruik8), blijven gebruiksverantwoordelijken ervoor verantwoordelijk dat de wettelijke voorschriften voor het gebruik van het systeem in acht worden genomen9. Voor de toepassing van artikel 5 van de AI-verordening moet onder “gebruik” ook elk misbruik van een AI- systeem (“redelijkerwijs te voorzien” of niet) worden verstaan dat een verboden praktijk kan opleveren10. Zo is een AI-systeem dat door een werkgever wordt gebruikt om emoties op de werkplek af te leiden verboden, behalve wanneer het wordt gebruikt voor medische of veiligheidsdoeleinden (artikel 5, lid 1, punt f), van de AI-verordening). Dit verbod geldt voor gebruiksverantwoordelijken, ongeacht of de aanbieder (de leverancier van het systeem) een dergelijk gebruik heeft uitgesloten in zijn contractuele betrekkingen met de gebruiksverantwoordelijke (de werkgever), d.w.z. in de gebruiksvoorwaarden.

2.4. Persoonlijk toepassingsgebied: verantwoordelijke actoren

(15) In de AI-verordening wordt met betrekking tot AI-systemen een onderscheid gemaakt tussen verschillende categorieën operatoren: aanbieders, gebruiksverantwoordelijken, importeurs, distributeurs en productfabrikanten. In deze richtsnoeren zal alleen aandacht worden besteed aan aanbieders en gebruiksverantwoordelijken, gezien het toepassingsgebied van de bij artikel 5 van de AI-verordening verboden praktijken. (16) Overeenkomstig artikel 3, punt 3, van de AI-verordening zijn aanbieders natuurlijke of rechtspersonen, overheidsinstanties, agentschappen of andere organen die AI- systemen ontwikkelen of laten ontwikkelen en onder hun eigen naam of merk in de Unie in de handel brengen of in gebruik stellen11 (zie punt 2.3). Aanbieders die buiten de Unie zijn gevestigd of zich daar bevinden, zijn onderworpen aan de bepalingen van de AI-verordening indien zij die systemen in de Unie in de handel brengen of in gebruik stellen12, of indien de output van het AI-systeem in de Unie wordt gebruikt13. Aanbieders moeten ervoor zorgen dat hun AI-systemen aan alle relevante eisen voldoen voordat ze in de handel worden gebracht of in gebruik worden gesteld. Een aanbieder van een RBI-systeem is bijvoorbeeld de fabrikant van het systeem dat het in de Unie onder zijn eigen merk in de handel brengt. De aanbieder van een dergelijk 8 Zie artikel 3, punten 12 en 13, van de AI-verordening. 9 Zie voor de definities van deze termen ook de mededeling van de Commissie — De Blauwe Gids van 2022: richtlijnen voor de uitvoering van de productvoorschriften van de EU, 2022/C 247/01, punt 2.8. 10 Overweging 28 van de AI-verordening. 11 Artikel 3, punten 3, 9 en 11, van de AI-verordening. Met betrekking tot AI-systemen met een hoog risico bepaalt artikel 25 van de AI-verordening het volgende: 1. In de volgende omstandigheden wordt een distributeur, importeur, gebruiksverantwoordelijke of derde voor de toepassing van deze verordening beschouwd als een aanbieder van een AI-systeem met een hoog risico en is hij onderworpen aan de verplichtingen van de aanbieder uit hoofde van artikel 16: a) hij zet zijn naam of merk op een AI-systeem met een hoog risico dat reeds in de handel is gebracht of in gebruik is gesteld, onverminderd contractuele regelingen waarin wordt bepaald dat de verplichtingen anders worden toegewezen; b) hij brengt een substantiële wijziging aan in een AI-systeem met een hoog risico dat reeds in de handel is gebracht of reeds in gebruik is gesteld op zodanige wijze dat het systeem een AI-systeem met een hoog risico blijft op grond van artikel 6; c) hij wijzigt het beoogde doel van een AI-systeem, met inbegrip van een AI-systeem voor algemene doeleinden, dat niet als een systeem met een hoog risico is geclassificeerd en reeds in de handel is gebracht of in gebruik is gesteld, op zodanige wijze dat het betrokken AI-systeem een AI-systeem met een hoog risico overeenkomstig artikel 6 wordt. systeem kan ook een overheidsinstantie zijn die het systeem intern ontwikkelt en voor eigen gebruik in gebruik stelt. (17) Gebruiksverantwoordelijken zijn natuurlijke of rechtspersonen, overheidsinstanties, agentschappen of andere organen die een AI-systeem onder eigen verantwoordelijkheid gebruiken, tenzij het AI-systeem wordt gebruikt in het kader van een persoonlijke niet- beroepsactiviteit14. De “verantwoordelijkheid” voor een AI-systeem moet worden opgevat als het aanvaarden van de verantwoordelijkheid voor het besluit om het systeem in te zetten en voor de wijze waarop het daadwerkelijk wordt gebruikt. Gebruiksverantwoordelijken vallen binnen het toepassingsgebied van de AI- verordening als zij in de Unie zijn gevestigd of er zich bevinden15, of zich in een derde land bevinden, maar de output van het AI-systeem in de Unie wordt gebruikt16. (18) Wanneer de gebruiksverantwoordelijke van een AI-systeem een rechtspersoon is onder wiens verantwoordelijkheid het systeem wordt gebruikt, d.w.z. een rechtshandhavingsautoriteit of een particulier beveiligingsbedrijf, mogen individuele werknemers die handelen volgens de procedures en onder het gezag van die rechtspersoon, niet als de gebruiksverantwoordelijke worden beschouwd. Een rechtspersoon blijft ook een gebruiksverantwoordelijke als hij derden (bv. contractanten, extern personeel) inschakelt bij de uitvoering van het systeem, namens hem en onder zijn verantwoordelijkheid en gezag. (19) Operatoren kunnen tegelijkertijd meer dan één rol vervullen met betrekking tot een AI- systeem. Indien een operator bijvoorbeeld zijn eigen AI-systeem ontwikkelt dat hij vervolgens gebruikt, zal hij worden aangemerkt als aanbieder, maar ook als gebruiksverantwoordelijke van dat systeem, zelfs indien dat systeem ook wordt gebruikt door andere gebruiksverantwoordelijken aan wie het systeem tegen betaling of kosteloos is verstrekt. (20) In alle fasen van de levenscyclus van het AI-systeem moet de AI-verordening voortdurend worden nageleefd. Dit vereist dat AI-systemen die in de Unie in de handel worden gebracht of in gebruik worden gesteld voortdurend worden gemonitord en geactualiseerd om te waarborgen dat een AI-systeem gedurende zijn hele levenscyclus aan de AI-verordening voldoet en niet leidt tot praktijken die verboden zijn op grond van artikel 5 van de AI-verordening. Aanbieders en gebruiksverantwoordelijken van AI-systemen hebben verschillende verantwoordelijkheden bij het voorkomen van verboden praktijken, afhankelijk van hun rol bij en controle over het ontwerp, de ontwikkeling en het feitelijke gebruik van het systeem. Voor elk van de verbodsbepalingen moeten deze rollen en verantwoordelijkheden op gepaste wijze worden vastgesteld, rekening houdend met wie in de waardeketen het best gepositioneerd is om specifieke preventieve en risicobeperkende maatregelen te nemen en te waarborgen dat AI-systemen in overeenstemming met de doelstellingen en de aanpak van de AI-verordening worden ontwikkeld en gebruikt.

2.5. Uitsluiting van het toepassingsgebied van de AI-verordening

(21) Artikel 2 van de AI-verordening voorziet in een aantal algemene uitsluitingen van het toepassingsgebied die van belang zijn om de praktische toepassing van de verbodsbepalingen van artikel 5 van de AI-verordening goed te begrijpen. 2.5.1. Nationale veiligheid, defensie- en militaire doeleinden (22) Volgens artikel 2, lid 3, van de AI-verordening is de verordening niet van toepassing op gebieden die buiten het toepassingsgebied van het Unierecht vallen en doet zij in geen geval afbreuk aan de bevoegdheden van de lidstaten op het gebied van nationale veiligheid, ongeacht het soort entiteit dat door de lidstaten is belast met de uitvoering van taken in verband met die bevoegdheden. In de AI-verordening wordt uitdrukkelijk bepaald dat zij niet van toepassing is op AI-systemen “die uitsluitend in de handel worden gebracht, in gebruik worden gesteld of, al dan niet gewijzigd, worden gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, ongeacht het soort entiteit dat deze activiteiten uitvoert”. De vraag of die uitsluiting van toepassing is, hangt derhalve af van de doeleinden of het gebruik van het AI-systeem, en niet van de entiteiten die de activiteiten met dat systeem uitvoeren; dat kunnen ook particuliere operatoren zijn die door de lidstaten zijn belast met de uitvoering van taken die verband houden met die bevoegdheden. (23) Volgens het Hof verwijst de term “nationale veiligheid” naar “het grote belang dat wordt gehecht aan de bescherming van de essentiële staatsfuncties en de fundamentele belangen van de samenleving, en omvat het voorkomen en bestrijden van activiteiten die de fundamentele constitutionele, politieke, economische of sociale structuren van een land ernstig kunnen destabiliseren en, met name, een rechtstreekse bedreiging kunnen vormen voor de samenleving, de bevolking of de staat als zodanig, zoals terroristische activiteiten”17. Nationale veiligheid heeft bijvoorbeeld geen betrekking op activiteiten met betrekking tot de verkeersveiligheid18 of de organisatie of het beheer van de rechtspraak19. Zoals het Hof heeft verklaard, “staat het immers weliswaar aan de lidstaten om hun wezenlijke veiligheidsbelangen te definiëren en om passende maatregelen te nemen teneinde hun binnenlandse en buitenlandse veiligheid te verzekeren, maar […] een nationale maatregel […] genomen met het oog op de bescherming van de nationale veiligheid, [kan] niet ertoe leiden dat het Unierecht niet van toepassing is en dat de lidstaten worden ontheven van de verplichting om dit recht te eerbiedigen”20. (24) Wil de uitsluitingsgrond van artikel 2, lid 3, tweede alinea, van de AI-verordening van toepassing zijn, moet het AI-systeem uitsluitend in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden. In overweging 24 van de AI-verordening wordt verder verduidelijkt hoe het begrip “uitsluitend” moet worden uitgelegd en wanneer een AI- systeem dat voor dergelijke doeleinden wordt gebruikt toch binnen het toepassingsgebied van de AI-verordening kan vallen. Indien een AI-systeem dat in de handel is gebracht, in gebruik is gesteld of wordt gebruikt voor militaire, defensie- of nationale veiligheidsdoeleinden, bijvoorbeeld (tijdelijk of permanent) voor andere doeleinden wordt gebruikt, bijvoorbeeld civiele of humanitaire doeleinden, rechtshandhaving of openbare veiligheid, valt dat systeem wel binnen het toepassingsgebied van de AI-verordening. In dat geval moet de entiteit die het AI-systeem voor die andere doeleinden gebruikt ervoor zorgen dat het AI-systeem aan de AI-verordening voldoet, tenzij dat reeds het geval is, hetgeen vóór het betreffende gebruik moet worden geverifieerd. (25) Voorts wordt in overweging 24 van de AI-verordening verduidelijkt dat AI-systemen die in de handel worden gebracht of in gebruik worden gesteld voor een uitgesloten doeleinde, d.w.z. militaire, defensie- of nationaleveiligheidsdoeleinden, en een of meer niet-uitgesloten doeleinden, zoals civiele doeleinden of rechtshandhaving (systemen voor zogenaamd “tweeërlei gebruik”), binnen het toepassingsgebied van de AI- verordening vallen. Aanbieders van die systemen moeten ervoor zorgen dat zij voldoen aan de eisen van de AI-verordening. Als een onderneming bijvoorbeeld een RBI-systeem aanbiedt voor verschillende doeleinden, waaronder rechtshandhaving en nationale veiligheid, is dat bedrijf aanbieder van een systeem voor tweeërlei gebruik en moet het ervoor zorgen dat het voldoet aan de eisen van de AI-verordening. (26) Het feit dat een AI-systeem onder het toepassingsgebied van de AI-verordening valt, mag geen afbreuk doen aan de mogelijkheid voor entiteiten die nationale veiligheids-, defensie- en militaire activiteiten verrichten, ongeacht het soort entiteit dat die activiteiten uitvoert, om dat systeem te gebruiken voor nationale veiligheids-, militaire en defensiedoeleinden21. Als bijvoorbeeld een nationaal veiligheidsagentschap of een particuliere operator door een nationale inlichtingendienst wordt belast met het gebruik van RBI-systemen in real time voor nationale veiligheidsdoeleinden (zoals het verzamelen van inlichtingen), zou dat gebruik buiten het toepassingsgebied van de AI-verordening vallen. (27) Een duidelijke afbakening van de nationale veiligheid als uitsluitingsgrond is met name belangrijk wanneer AI-systemen in de handel worden gebracht, in gebruik worden gesteld of worden gebruikt met het oog op de rechtshandhaving die binnen het toepassingsgebied van de AI-verordening valt. Dit is van belang voor de verbodsbepalingen die betrekking hebben op de voorspelling en beoordeling van het individuele risico op strafbare feiten en op het gebruik van RBI-systemen in real time met het oog op de rechtshandhaving als bedoeld in respectievelijk artikel 5, lid 1, punten d) en h), van de AI-verordening. De politie en andere rechtshandhavingsinstanties zijn belast met de voorkoming van, het onderzoek naar, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid22. Wanneer AI-systemen voor dergelijke doeleinden worden gebruikt, vallen zij binnen het toepassingsgebied van de AI-verordening. (28) De activiteiten van Europol en andere veiligheidsagentschappen van de Unie, zoals Frontex, vallen binnen het toepassingsgebied van de AI-verordening. 2.5.2. Justitiële samenwerking en samenwerking op het gebied van rechtshandhaving met derde landen (29) Volgens artikel 2, lid 4, van de AI-verordening is de AI-verordening is niet van toepassing op overheidsinstanties in derde landen of internationale organisaties wanneer deze instanties of organisaties AI-systemen gebruiken in het kader van internationale samenwerking of overeenkomsten met de Unie of een of meer lidstaten op het gebied van rechtshandhaving en justitie, op voorwaarde dat een dergelijk derde land of internationale organisatie passende waarborgen biedt met betrekking tot de bescherming van de grondrechten en fundamentele vrijheden van natuurlijke personen. In voorkomend geval kan deze uitsluiting ook betrekking hebben op activiteiten van particuliere entiteiten die door derde landen zijn belast met de uitvoering van specifieke taken ter ondersteuning van deze samenwerking op het gebied van rechtshandhaving en justitie23. Tegelijkertijd moeten deze kaders voor samenwerking of internationale overeenkomsten, wil de uitsluiting van toepassing zijn, passende waarborgen bevatten met betrekking tot de bescherming van de grondrechten en fundamentele vrijheden van personen, die moeten worden beoordeeld door de markttoezichtautoriteiten die bevoegd zijn voor het toezicht op AI-systemen die worden gebruikt op het gebied van rechtshandhaving en justitie24. In overweging 22 van de AI-verordening wordt verduidelijkt dat de ontvangende nationale autoriteiten en de ontvangende instellingen, organen en instanties van de Unie die gebruikmaken van dergelijke output in de Unie, ervoor verantwoordelijk blijven dat het gebruik ervan in overeenstemming is met het recht van de Unie. Wanneer die internationale overeenkomsten worden herzien of er in de toekomst nieuwe worden gesloten, moeten de overeenkomstsluitende partijen alles in het werk stellen om die overeenkomsten in overeenstemming te brengen met de eisen van de AI-verordening. 2.5.3. Onderzoek & ontwikkeling (30) Volgens artikel 2, lid 8, van de AI-verordening is de AI-verordening niet van toepassing op onderzoeks-, test- of ontwikkelingsactiviteiten met betrekking tot AI-systemen of AI-modellen voor zij in de handel worden gebracht of in gebruik worden gesteld. Deze uitsluiting is in overeenstemming met de marktgebaseerde logica van de AI- verordening, die van toepassing is op AI-systemen zodra zij in de handel worden gebracht of in gebruik worden gesteld. Zo hebben AI-ontwikkelaars tijdens de onderzoeks- en ontwikkelingsfase de vrijheid om nieuwe functionaliteiten te ontwikkelen en te testen, waarbij gebruik wordt gemaakt van technieken die als manipulatief zouden kunnen worden beschouwd en onder artikel 5, lid 1, punt a), van de AI-verordening zouden vallen, indien zij zouden worden gebruikt voor consumentgerichte toepassingen. De AI-verordening maakt dergelijke experimenten mogelijk door te erkennen dat O&O in een vroeg stadium essentieel is om AI-technologieën te verfijnen en ervoor te zorgen dat deze voldoen aan veiligheids- en ethische normen voordat zij in de handel worden gebracht. (31) Zoals verduidelijkt in overweging 25 van de AI-verordening, heeft de AI-verordening tot doel innovatie te ondersteunen en wordt het belang erkend van wetenschappelijk onderzoek om AI-technologieën te bevorderen en bij te dragen tot wetenschappelijke vooruitgang en innovatie. In artikel 2, lid 6, van de AI-verordening is daarom bepaald dat de verordening niet van toepassing is op “AI-systemen of AI-modellen, met inbegrip van hun output, die specifiek zijn ontwikkeld en in gebruik gesteld met wetenschappelijk onderzoek en wetenschappelijke ontwikkeling als enig doel”. Onderzoek naar cognitieve en gedragsmatige reacties op door AI gestuurde subliminale of misleidende stimuli kan bijvoorbeeld waardevolle inzichten verschaffen in de interactie tussen mens en AI, waardoor in de toekomst veiligere en doeltreffendere AI- toepassingen kunnen worden ondersteund. Dergelijk onderzoek is toegestaan, aangezien het is uitgesloten van het toepassingsgebied van de AI-verordening, ondanks het verbod van artikel 5, lid 1, punt a), van de AI-verordening. (32) De uitsluiting in artikel 2, lid 8, van de AI-verordening doet echter geen afbreuk aan de verplichting om de AI-verordening na te leven wanneer een AI-systeem als gevolg van dergelijke onderzoeks- en ontwikkelingsactiviteiten in de handel wordt gebracht of in gebruik wordt gesteld25. Het testen onder reële omstandigheden in de zin van de AI- verordening26 valt ook niet onder die uitsluiting. Bijvoorbeeld, een gemeente die tijdens het carnaval op straat gezichtsherkenningssoftware wil testen met behulp van een RBI-systeem, werft vrijwilligers die onder reële omstandigheden door het systeem moeten worden geïdentificeerd. Aangezien tests onder reële omstandigheden niet vallen onder de uitsluiting van artikel 2, lid 8, van de AI-verordening, moeten de geplande tests volledig in overeenstemming zijn met de in de AI-verordening gestelde eisen voor RBI- systemen, tenzij het systeem wordt getest in een AI-testomgeving voor regelgeving of 25 Overweging 25 van de AI-verordening. 26 Volgens artikel 3, punt 57, van de AI-verordening wordt onder “testen onder reële omstandigheden” verstaan “het tijdelijk testen van een AI-systeem voor het beoogde doel onder reële omstandigheden buiten een laboratorium of anderszins gesimuleerde omgeving teneinde betrouwbare en robuuste gegevens te verkrijgen, en te beoordelen en te verifiëren of het AI-systeem overeenstemt met de voorschriften van deze verordening”. De AI-verordening voorziet in een bijzondere regeling wanneer het testen onder reële omstandigheden niet kan worden aangemerkt als het in de handel brengen of in gebruik stellen van het AI-systeem in de zin van deze verordening, mits aan alle voorwaarden van artikel 57 of 60 is voldaan, waaronder het verkrijgen van vrije en geïnformeerde toestemming van de personen die deelnemen aan het testen enz.; zie artikel 60 van de AI-verordening. onder de bijzondere regeling voor het testen onder reële omstandigheden buiten de testomgeving valt, zoals bepaald in de artikelen 60 en 61 van de AI-verordening27. (33) Alle onderzoeks- en ontwikkelingsactiviteiten (ook wanneer deze uitgesloten zijn van het toepassingsgebied van de AI-verordening) moeten in elk geval worden uitgevoerd met inachtneming van de erkende ethische en beroepsnormen voor wetenschappelijk onderzoek, en in overeenstemming met het toepasselijke Unierecht28 (bv. de wetgeving inzake gegevensbescherming die hierop nog steeds van toepassing is). 2.5.4. Persoonlijke niet-professionele activiteit (34) Artikel 2, lid 10, van de AI-verordening bepaalt dat de AI-verordening “niet van toepassing [is] op verplichtingen van gebruiksverantwoordelijken die natuurlijke personen zijn die AI-systemen gebruiken in het kader van een louter persoonlijke niet- professionele activiteit”. De definitie van gebruiksverantwoordelijke sluit ook gebruikers uit die dit soort activiteiten verrichten (zie punt 2.4). Activiteiten waarmee een natuurlijke persoon regelmatig economische voordelen behaalt of beroepsmatige, bedrijfsmatige, handels- of freelanceactiviteiten waarbij hij anderszins betrokken is, moeten als een “professionele activiteit” worden beschouwd. De toevoeging “persoonlijk” vormt een verdere specificatie van niet-professioneel, waarmee wordt aangegeven dat de persoon zowel in een persoonlijke als in een niet-professionele hoedanigheid moet handelen. Derhalve is de uitsluiting bijvoorbeeld niet van toepassing op criminele activiteiten, aangezien deze niet als louter persoonlijk mogen worden aangemerkt. Zo valt iemand die thuis gebruikmaakt van een gezichtsherkenningssysteem (bv. om de toegang tot zijn woning te controleren en de veiligheid ervan te bewaken) onder de uitsluitingsgrond van artikel 2, lid 10, van de AI-verordening. Hij is dus niet gehouden aan de verplichtingen die volgens de AI-verordening gelden voor gebruiksverantwoordelijken, zelfs niet in gevallen waarin het verplicht is om (delen van) de beelden door te geven aan rechtshandhavingsinstanties. Daarentegen moeten natuurlijke personen die AI-systemen gebruiken voor professionele activiteiten, zoals freelancers, journalisten, artsen enz., voldoen aan de verplichtingen voor gebruiksverantwoordelijken van gezichtsherkenningssystemen uit hoofde van de AI-verordening. Wanneer natuurlijke personen een AI-systeem gebruiken namens of onder het gezag van een gebruiksverantwoordelijke die beroepshalve optreedt, valt dit ook binnen het toepassingsgebied van de AI- verordening. Criminele activiteiten kunnen bovendien niet als louter persoonlijke activiteiten worden beschouwd, ook al wordt hiermee geen economisch voordeel nagestreefd of behaald. Voor andere onwettige activiteiten, zoals niet-naleving van de wetgeving inzake consumentenbescherming of gegevensbescherming en de nationale administratieve regelgeving, geldt de uitsluitingsgrond van de AI-verordening wel; de overige relevante rechtskaders blijven echter van toepassing. (35) De uitsluitingsgrond van artikel 2, lid 10, van de AI-verordening is alleen van toepassing op de verplichtingen van gebruiksverantwoordelijken wanneer zij het systeem gebruiken voor louter persoonlijke niet-professionele activiteiten. Het systeem als zodanig valt nog steeds binnen het toepassingsgebied van de AI-verordening voor wat betreft de verplichtingen van aanbieders die het systeem in de handel brengen of in gebruik stellen, andere professionele gebruiksverantwoordelijken en andere verantwoordelijke actoren, zoals importeurs en distributeurs. Bijvoorbeeld, een systeem voor emotieherkenning dat bedoeld is om door natuurlijke personen te worden gebruikt voor louter persoonlijke niet-professionele activiteiten, blijft een AI-systeem met een hoog risico zoals geclassificeerd in artikel 6 van de AI- verordening en moet volledig aan de AI-verordening voldoen. Daarentegen gelden de specifieke verplichtingen voor gebruiksverantwoordelijken uit de AI-verordening niet voor een gebruiksverantwoordelijke die het voor louter persoonlijke niet-professionele doeleinden gebruikt (bv. een autistische persoon); dit gebruik valt buiten het toepassingsgebied. 2.5.5. AI-systemen die worden vrijgegeven onder vrije en opensource licenties (36) Volgens artikel 2, lid 12, van de AI-verordening is de AI-verordening niet van toepassing op AI-systemen die worden vrijgegeven onder vrije en opensource licenties29, tenzij zij in de handel worden gebracht of in gebruik worden gesteld als AI- systemen met een hoog risico of als een AI-systeem dat onder artikel 5 (verboden AI- praktijken) of artikel 50 (transparantieverplichtingen voor aanbieders en gebruiksverantwoordelijken van bepaalde AI-systemen) valt. Dit betekent dat aanbieders van AI-systemen geen beroep kunnen doen op deze uitsluitingsgrond indien het AI-systeem dat zij in de handel brengen of in gebruik stellen op grond van artikel 5 van de AI-verordening een verboden praktijk vormt.

2.6. Samenhang tussen de verbodsbepalingen en de eisen betreffende AI-

systemen met een hoog risico (37) Met de bij artikel 5 van de AI-verordening verboden AI-praktijken moet rekening worden gehouden bij de beoordeling van AI-systemen die overeenkomstig artikel 6 van de AI-verordening als systemen met een hoog risico zijn geclassificeerd, met name die welke zijn opgenomen in bijlage III30. De reden hiervoor is dat het gebruik van AI- systemen die als systemen met een hoog risico zijn geclassificeerd in specifieke gevallen kan worden aangemerkt als een verboden praktijk indien aan alle voorwaarden van een of meer van de verbodsbepalingen van artikel 5 van de AI-verordening is voldaan. Omgekeerd zullen de meeste AI-systemen die onder een uitzondering op een 29 In overweging 102 van de AI-verordening wordt aangegeven dat het vrijgeven van software en gegevens onder een vrije en opensource licentie het mogelijk maakt om deze “vrijelijk [te delen] en gebruikers ze in al dan niet gewijzigde vorm vrijelijk kunnen raadplegen, gebruiken, wijzigen en herdistribueren”. 30 Deze lijst omvat AI-systemen op basis van biometrische gegevens, alsook AI-systemen die voor specifieke doeleinden worden gebruikt op bepaalde gebieden, zoals werkgelegenheid, onderwijs, toegang tot publieke en particuliere diensten, rechtshandhaving enz. van de verbodsbepalingen van artikel 5 van de AI-verordening vallen, als systemen met een hoog risico worden aangemerkt. Wanneer emotieherkenningssystemen bijvoorbeeld niet voldoen aan de voorwaarden voor het verbod van artikel 5, lid 1, punt f), van de AI-verordening, worden zij geclassificeerd als AI-systemen met een hoog risico overeenkomstig artikel 6, lid 2, en bijlage III, punt 1, c), van de AI-verordening. Ook bepaalde op AI gebaseerde scoringssystemen, zoals die welke worden gebruikt voor het toekennen van kredietscores of voor risicobeoordeling bij gezondheids- en levensverzekeringen, zullen worden beschouwd als AI-systemen met een hoog risico wanneer zij niet voldoen aan de voorwaarden voor het verbod van artikel 5, lid 1, punt c), van de AI- verordening31. Een ander voorbeeld zijn AI-systemen die personen beoordelen en bepalen of zij recht hebben op essentiële overheidsuitkeringen en -diensten, zoals gezondheidszorg en socialezekerheidsuitkeringen, en die als systemen met een hoog risico worden geclassificeerd32. Indien bij het gebruik van dergelijke systemen sprake is van onaanvaardbare social scoring en zij voldoen aan de voorwaarden van artikel 5, lid 1, punt c), van de AI-verordening, is het in de Unie verboden ze in de handel te brengen, in gebruik te stellen en te gebruiken. In die gevallen moeten de beoordeling en het beheer van de risico’s door de aanbieder en de naleving van de andere eisen voor AI-systemen met een hoog risico (bv. datagovernance, transparantie en menselijk toezicht), alsook de verplichtingen van de gebruiksverantwoordelijke inzake passend gebruik overeenkomstig de gebruiksaanwijzing en het menselijk toezicht (artikel 26) en in sommige gevallen een beoordeling van de gevolgen voor de grondrechten (artikel 27), helpen waarborgen dat het in de handel gebrachte of ingezette AI-systeem met een hoog risico rechtmatig wordt gebruikt en geen verboden praktijken oplevert. (38) Ten slotte kunnen AI-systemen die op grond van artikel 6, lid 3, van de AI-verordening bij wijze van uitzondering niet als systemen met een hoog risico worden beschouwd, ondanks dat zij onder de in bijlage III vermelde gebruiksgevallen met een hoog risico vallen, nog steeds onder het toepassingsgebied van de verbodsbepalingen van artikel 5 van de AI-verordening vallen. Artikel 6, lid 3, van de AI-verordening heeft alleen tot gevolg dat een AI-systeem niet als een systeem met een hoog risico wordt beschouwd; het sluit de betreffende AI-systemen niet uit van het toepassingsgebied van de AI- verordening en de verbodsbepalingen.

2.7. Toepassing van de verbodsbepalingen op AI-systemen voor algemene

doeleinden en systemen met een beoogd doeleinde (39) De verboden zijn van toepassing op alle AI-systemen, ongeacht of zij een “beoogd doeleinde”33 of “algemene doeleinden” dienen (d.w.z. voor diverse doeleinden kunnen worden gebruikt), die bestemd zijn voor direct gebruik of voor integratie in andere AI- 31 Dit staat uitdrukkelijk vermeld in overweging 58 en in bijlage III bij de AI-verordening. 32 Overweging 58 van de AI-verordening. 33 Dit wordt in artikel 3, punt 12, van de AI-verordening gedefinieerd als het gebruik waarvoor een AI-systeem door de aanbieder is bedoeld, met inbegrip van de specifieke context en voorwaarden van het gebruik, zoals gespecificeerd in de informatie die door de aanbieder in de gebruiksinstructies, reclame- of verkoopmaterialen en verklaringen, alsook in de technische documentatie is verstrekt. systemen34. Derhalve moet elke operator de maatregelen nemen waarvoor hij gezien zijn rol en controle over het systeem in de waardeketen het best geschikt is om een verantwoorde en veilige levering en een verantwoord en veilig gebruik van AI- systemen te waarborgen. De risico’s en voordelen daarvan moeten tegen elkaar worden afgewogen met het oog op de verwezenlijking van de dubbele doelstelling van de AI- verordening. (40) Van gebruiksverantwoordelijken wordt dus verwacht dat zij AI-systemen niet gebruiken op een manier die verboden is op grond van artikel 5 van de AI-verordening, onder meer door de veiligheidswaarborgen die door de aanbieders van het systeem zijn ingebouwd, niet te omzeilen. Hoewel de schade vaak ontstaat door de manier waarop AI-systemen in de praktijk worden gebruikt, hebben aanbieders ook de verantwoordelijkheid om geen AI-systemen in de handel te brengen of in gebruik te stellen — waaronder AI-systemen voor algemene doeleinden — waarvan redelijkerwijs kan worden verwacht dat zij zich zullen gedragen of rechtstreeks zullen worden gebruikt op een manier die verboden is op grond van artikel 5 van de AI-verordening35. In dit verband wordt van aanbieders ook verwacht dat zij doeltreffende en verifieerbare maatregelen nemen om waarborgen in te bouwen en dergelijk schadelijk gedrag en misbruik te voorkomen en te beperken voor zover dat redelijkerwijs te voorzien is en de maatregelen haalbaar en evenredig zijn, afhankelijk van het specifieke AI-systeem en de omstandigheden van het geval. Van aanbieders wordt ook verwacht dat zij in hun contractuele betrekkingen met gebruiksverantwoordelijken (d.w.z. in de gebruiksvoorwaarden van het AI-systeem) het gebruik van hun AI-systeem voor verboden praktijken uitsluiten en in de gebruiksaanwijzing passende informatie voor gebruiksverantwoordelijken verstrekken, mede over het noodzakelijke menselijke toezicht. Een AI-systeem voor algemene doeleinden dat als chatbot wordt gebruikt, kan bijvoorbeeld manipulatieve en misleidende technieken toepassen die aanzienlijke schade kunnen veroorzaken. Om verboden gedrag van het AI-systeem en vormen van gebruik te voorkomen waarvan redelijkerwijs kan worden verwacht dat zij zullen leiden tot manipulatie, misleiding en aanzienlijke schade als voorzien in artikel 5, lid 1, punt a), van de AI-verordening, wordt van de aanbieder verwacht dat hij passende en evenredige maatregelen neemt (bv. passend veilig en ethisch ontwerp, integratie van technische en andere waarborgen, gebruiksbeperkingen, transparantie en gebruikerscontrole, passende informatie in de gebruiksaanwijzing) voordat het AI- systeem in de handel wordt gebracht (artikel 5, lid 1, punt a), van de AI-verordening) om ervoor te zorgen dat de chatbot geen aanzienlijke schade toebrengt aan gebruikers of andere personen of groepen personen (zie ook punt 3.2.3, c)). 34 Artikel 3, punt 66, van de AI-verordening. 35 Dit volgt met name uit het feit dat in alle verbodsbepalingen van artikel 5 van de AI-verordening gesproken wordt over “in de handel brengen” of “in gebruik stellen”, met uitzondering van het verbod op RBI-systemen in real time in artikel 5, lid 1, punt h), dat alleen van toepassing is op het gebruik. (41) In bepaalde gevallen, met name wanneer de verbodsbepalingen verband houden met een zeer specifiek doel van het systeem36, beschikken aanbieders mogelijk slechts over beperkte mogelijkheden om andere preventieve en risicobeperkende maatregelen te integreren en zullen zij in de eerste plaats moeten vertrouwen op het verstrekken van passende instructies en informatie aan de gebruiksverantwoordelijken, het vereiste menselijke toezicht en het beperken van de verboden gebruiksmogelijkheden van het systeem. In voorkomend geval kunnen deze maatregelen ook gepaard gaan met monitoring van de naleving van die beperkingen, afhankelijk van de wijze waarop het AI-systeem wordt aangeboden en de informatie die de aanbieder heeft over mogelijk misbruik. Eventuele monitoringmaatregelen om misbruik op te sporen, mogen niet ontaarden in een brede monitoring van de activiteiten van gebruiksverantwoordelijken en moeten in overeenstemming zijn met het Unierecht. Een AI-systeem voor algemene doeleinden dat emoties kan herkennen of afleiden, mag bijvoorbeeld niet door gebruiksverantwoordelijken worden gebruikt op de werkplek of in onderwijsinstellingen, behalve wanneer dit nodig is om medische of veiligheidsredenen. Het is echter mogelijk dat de aanbieder niet weet in welke concrete context de emotieherkenningsfunctie van het systeem zal worden gebruikt en of er een uitzondering op het verbod van artikel 5, lid 1, punt f), van de AI-verordening van toepassing is. Aanbieders kunnen dergelijke verboden gebruiksmogelijkheden echter uitdrukkelijk uitsluiten in hun gebruiksvoorwaarden en passende informatie opnemen in de gebruiksaanwijzing als leidraad voor gebruiksverantwoordelijken. Van hen wordt ook verwacht dat zij passende maatregelen nemen als zij zich ervan bewust worden dat het systeem door bepaalde gebruiksverantwoordelijken wordt misbruikt voor dit specifieke verboden doel, bijvoorbeeld wanneer dat misbruik wordt gemeld of de aanbieder hiervan op andere wijze kennis krijgt, bijvoorbeeld wanneer het systeem rechtstreeks wordt geopereerd via een platform dat onder toezicht van de aanbieder staat en de aanbieder controles uitvoert.

2.8. Samenhang tussen de verbodsbepalingen en ander Unierecht

(42) De AI-verordening is een verordening die horizontaal van toepassing is in alle sectoren zonder afbreuk te doen aan andere Uniewetgeving, met name die inzake de bescherming van grondrechten, consumentenbescherming, werkgelegenheid, de bescherming van werknemers en productveiligheid37. De AI-verordening vult die wetgeving aan met haar preventieve en veiligheidsbenadering (AI-systemen mogen niet op een bepaalde manier in de handel worden gebracht of worden gebruikt) en biedt aanvullende bescherming door specifieke schadelijke AI-praktijken aan te pakken die mogelijk niet door andere wetgeving worden verboden. Doordat zij gericht zijn op de vroege fasen van de levenscyclus van AI-systemen (d.w.z. het in de handel brengen en in gebruik stellen) en de inzet ervan (d.w.z. het gebruik), maken de verbodsbepalingen van de AI- verordening het bovendien mogelijk om op verschillende punten in de AI-waardeketen actie te ondernemen tegen schadelijke praktijken waarbij gebruik wordt gemaakt van AI. (43) Tegelijkertijd doet de AI-verordening geen afbreuk aan verbodsbepalingen die van toepassing zijn op AI-praktijken op grond van ander Unierecht38. Zelfs wanneer een AI-systeem niet verboden is op grond van de AI-verordening, kan het gebruik ervan dus nog steeds verboden of onrechtmatig zijn op grond van ander primair of afgeleid Unierecht (bv. vanwege het niet eerbiedigen van de grondrechten in een bepaald geval, het ontbreken van een rechtsgrondslag voor de verwerking van persoonsgegevens die vereist is op grond van de wetgeving inzake gegevensbescherming, bij Unierecht verboden discriminatie enz.). De inachtneming van de verbodsbepalingen van de AI- verordening biedt dus niet voldoende garantie dat andere Uniewetgeving die ook van toepassing is op aanbieders en gebruiksverantwoordelijken van AI-systemen wordt nageleefd. Zo blijven op AI gebaseerde systemen voor emotieherkenning die op de werkplek worden gebruikt en die zijn vrijgesteld van het verbod van artikel 5, lid 1, punt f), van de AI-verordening omdat zij om medische of veiligheidsredenen worden gebruikt, onderworpen aan de wetgeving inzake gegevensbescherming en het Unierecht en het nationale recht wat betreft werkgelegenheid en arbeidsomstandigheden, met inbegrip van gezondheid en veiligheid op het werk, waarin andere beperkingen en waarborgen met betrekking tot het gebruik van dergelijke systemen kunnen zijn opgenomen39. (44) Wanneer specifieke activiteiten die verband houden met het in de handel brengen of het gebruik van AI-systemen ook onder andere Uniewetgeving vallen, beoogt de AI- verordening een consistente uitvoering van de verschillende bepalingen te waarborgen. Bovendien maakt zij een doeltreffende samenwerking mogelijk tussen de bevoegde autoriteiten die verantwoordelijk zijn voor de handhaving van de AI-verordening en de autoriteiten die de grondrechten beschermen uit hoofde van artikel 77 en andere bepalingen van de AI-verordening. In meer algemene zin zijn de verschillende betrokken autoriteiten overeenkomstig artikel 4, lid 3, VEU verplicht loyaal met elkaar samen te werken bij de uitvoering van hun respectieve taken uit hoofde van het Unierecht. (45) In het geval van de verbodsbepalingen is de samenhang tussen de AI-verordening en de wetgeving inzake gegevensbescherming van de Unie bijzonder relevant, aangezien met AI-systemen vaak informatie over geïdentificeerde of identificeerbare natuurlijke personen (“persoonsgegevens”) wordt verwerkt40. Afhankelijk van het verbod en de context zijn de meest relevante rechtshandelingen met betrekking tot dergelijke systemen Verordening (EU) 2016/679 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens en betreffende het vrije verkeer van die gegevens (algemene verordening gegevensbescherming, “AVG”), Richtlijn (EU) 2016/680 betreffende de bescherming van natuurlijke personen in verband met de verwerking van persoonsgegevens door bevoegde autoriteiten met het oog op de voorkoming, het onderzoek, de opsporing en de vervolging van strafbare feiten of de tenuitvoerlegging van straffen, en betreffende het vrije verkeer van die gegevens (“richtlijn gegevensbescherming bij rechtshandhaving”), en Verordening (EU) 2018/1725, waarin gegevensbeschermingsregels voor de instellingen, organen en instanties van de EU zijn vastgesteld (“EUVG”). Overeenkomstig artikel 2, lid 7, van de AI-verordening laat de verordening deze andere handelingen onverlet en blijven zij van toepassing naast de AI-verordening, die consistent is met en een aanvulling vormt op het EU-acquis inzake gegevensbescherming. Verschillende aspecten van deze EU- regels voor gegevensbescherming zijn door het Hof verduidelijkt en het Europees Comité voor gegevensbescherming heeft een reeks richtsnoeren vastgesteld (bv. over het begrip “profilering”41, wat met name relevant is voor het verbod van artikel 5, lid 1, punt d), van de AI-verordening, aangezien het comité hetzelfde begrip hanteert). (46) Wat betreft de verbodsbepalingen en beperkingen betreffende het gebruik van systemen voor biometrische categorisering en RBI-systemen in real time met het oog op de rechtshandhaving, fungeert de AI-verordening als lex specialis voor artikel 10 van de richtlijn gegevensbescherming bij rechtshandhaving, waardoor het gebruik en de verwerking van biometrische gegevens uitputtend worden geregeld42. In dat verband is de AI-verordening niet bedoeld om als rechtsgrondslag te dienen voor de verwerking van persoonsgegevens op grond van artikel 8 van Richtlijn (EU) 2016/680. Alle andere bepalingen van die richtlijn vormen een aanvulling op de voorwaarden van de AI- verordening, met name wanneer het gaat om het gebruik van RBI-systemen in real time met het oog op de rechtshandhaving, voor zover toegestaan op grond van de beperkte uitzonderingen voorzien in artikel 5, lid 1, punt h), van de AI-verordening. Meer in het algemeen moet de richtlijn gegevensbescherming bij rechtshandhaving ook worden nageleefd bij de verwerking van persoonsgegevens door bevoegde rechtshandhavingsinstanties (d.w.z. bevoegde autoriteiten als bedoeld in artikel 3, lid 7, van die richtlijn) wanneer zij de gegevens verwerken met het oog op de rechtshandhaving. (47) Overeenkomstig artikel 2, lid 9, van de AI-verordening blijft de EU-wetgeving betreffende consumentenbescherming en productveiligheid ook volledig van toepassing op AI-systemen die binnen het toepassingsgebied van die handelingen vallen. Voorbeelden:

• Social scoring door handelaren (met inbegrip van natuurlijke personen die beroepsmatig betrokken zijn bij betrekkingen tussen ondernemingen en consumenten) kan ook als “oneerlijk” worden beschouwd en derhalve in strijd zijn met het consumentenrecht (d.w.z. Richtlijn 2005/29/EG), iets wat per geval moet worden beoordeeld. 41 Zie ook de richtsnoeren van de Groep gegevensbescherming artikel 29 inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, WP251 rev. 01, van 6 februari 2018, goedgekeurd door het EDPB.

• Het gebruik van een AI-systeem om emoties af te leiden moet mogelijk ook voldoen aan Verordening (EU) 2017/745 (verordening medische hulpmiddelen) indien het AI- systeem wordt gebruikt voor medische diagnoses of medische behandelingen. (48) Voorts is de AI-verordening van toepassing in combinatie met relevante verplichtingen voor aanbieders van tussenhandelsdiensten die AI-systemen of -modellen integreren in diensten die onder Verordening (EU) 2022/2065 (“de digitaledienstenverordening”) vallen. Meer bepaald wordt in artikel 2, lid 5, van de AI-verordening aangegeven dat de AI-verordening de toepassing van de bepalingen inzake de aansprakelijkheid van dergelijke aanbieders als vastgelegd in hoofdstuk II van de digitaledienstenverordening onverlet laat. (49) Bovendien laten de verbodsbepalingen van de AI-verordening de eventuele aansprakelijkheid van een aanbieder of gebruiksverantwoordelijke voor veroorzaakte schade op grond van de toepasselijke aansprakelijkheidswetgeving van de Unie of de lidstaten onverlet43. (50) Tot slot mogen de verbodsbepalingen van artikel 5 van de AI-verordening en de uitdrukkelijke uitzonderingen op die verbodsbepalingen niet worden gebruikt om verplichtingen uit hoofde van andere Uniewetgeving te omzeilen of te rechtvaardigen. (51) Als afgeleide wetgeving van de Unie moet de AI-verordening worden uitgelegd in het licht van de grondrechten en fundamentele vrijheden die worden gewaarborgd door de EU-Verdragen en het Handvest, alsook die welke worden beschermd door internationale verdragen waarbij de Unie partij is44. (52) Hieronder wordt in de desbetreffende punten de samenhang tussen specifieke verbodsbepalingen en het overige Unierecht verder verduidelijkt.

2.9. Handhaving van artikel 5 van de AI-verordening

2.9.1. Markttoezichtautoriteiten (53) De door de lidstaten aangewezen markttoezichtautoriteiten en de Europese Toezichthouder voor gegevensbescherming (als markttoezichtautoriteit voor de instellingen, agentschappen en organen van de EU) zijn verantwoordelijk voor de handhaving van de in de AI-verordening vastgestelde regels inzake AI-systemen, met inbegrip van de verbodsbepalingen. Deze handhaving vindt plaats in het kader van het bij Verordening (EU) 2019/102045 ingestelde systeem voor markttoezicht en conformiteit van producten, in overeenstemming met de overige wetgeving van de Unie inzake productveiligheid. De handhavingsbevoegdheden van markttoezichtautoriteiten 43 De voorwaarden voor aansprakelijkheid (met betrekking tot de schade, aansprakelijke persoon, schuld of bewijslast enz.) worden bepaald door het toepasselijke recht, zoals Richtlijn (EU) 2024/2853 van het Europees Parlement en de Raad van 23 oktober 2024 inzake aansprakelijkheid voor gebrekkige producten (PB L, 2024/2853, 18.11.2024), of de toepasselijke nationale aansprakelijkheidswetgeving (zie ook het voorstel voor een richtlijn van het Europees Parlement en de Raad betreffende de aanpassing van de regels inzake niet-contractuele civielrechtelijke aansprakelijkheid aan artificiële intelligentie (richtlijn AI- aansprakelijkheid) (COM(2022) 496 final)). 44 De Unie is weliswaar nog geen partij bij het Europees Verdrag tot bescherming van de rechten van de mens en de fundamentele vrijheden, maar artikel 52, lid 3, van het Handvest bepaalt dat voor zover dit Handvest rechten bevat die corresponderen met rechten die zijn gegarandeerd door het Europees Verdrag tot bescherming van de rechten van de mens en de fundamentele vrijheden, de inhoud en reikwijdte ervan dezelfde zijn als die welke er door genoemd verdrag aan worden toegekend. Deze bepaling verhindert niet dat het recht van de Unie een ruimere bescherming biedt. met betrekking tot AI-systemen zijn vastgelegd in de AI-verordening en Verordening (EU) 2019/1020. Die autoriteiten kunnen op eigen initiatief of naar aanleiding van een klacht maatregelen nemen voor de handhaving van de verbodsbepalingen. Elke getroffen persoon en elke andere natuurlijke of rechtspersoon die redenen heeft om aan te nemen dat deze bepalingen geschonden zijn, heeft het recht om een klacht in te dienen46. De lidstaten moeten uiterlijk op 2 augustus 2025 de bevoegde markttoezichtautoriteiten aanwijzen. (54) De procedure in de AI-verordening voor de omgang met AI-systemen die op nationaal niveau een risico vormen, is bijzonder relevant in het kader van de handhaving van de verbodsbepalingen47. Indien de gevolgen zich niet beperken tot het grondgebied van de markttoezichtautoriteit, moet de autoriteit van de betrokken lidstaat de Commissie en de markttoezichtautoriteiten van andere lidstaten daarvan in kennis stellen. Alle markttoezichtautoriteiten moeten een vrijwaringsprocedure van de Unie volgen, waarbij de Commissie48 bij een besluit bepaalt of het AI-systeem een verboden praktijk oplevert. Die procedure heeft tot doel ervoor te zorgen dat de verbodsbepalingen in alle lidstaten op uniforme wijze worden toegepast, teneinde zowel aanbieders als gebruiksverantwoordelijken van AI-systemen rechtszekerheid te bieden. Om een uniforme toepassing van de AI-verordening te waarborgen, moeten de nationale markttoezichtautoriteiten ook streven naar een geharmoniseerde toepassing van de verbodsbepalingen in vergelijkbare gevallen die het grondgebied van de lidstaat niet overschrijden door inspiratie te putten uit deze richtsnoeren en met elkaar samen te werken in de AI-board49. 2.9.2. Sancties (55) De AI-verordening volgt een getrapte aanpak bij het bepalen van de sancties voor niet- naleving van de verschillende bepalingen, afhankelijk van de ernst van de inbreuk. Niet- naleving van de verbodsbepalingen van artikel 5 van de AI-verordening wordt beschouwd als de ernstigste inbreuk en daarom geldt hiervoor de hoogste boete. Aanbieders en gebruiksverantwoordelijken die zich bezighouden met verboden AI- praktijken kunnen een geldboete krijgen tot 35 000 000 EUR of, indien de overtreder een onderneming is, tot 7 % van haar totale wereldwijde jaarlijkse omzet voor het voorgaande boekjaar, indien dat hoger is50. Elke lidstaat moet regels vaststellen betreffende de vraag of en in hoeverre administratieve geldboeten kunnen worden opgelegd aan in die lidstaat gevestigde overheidsinstanties of -organen die als aanbieders of gebruiksverantwoordelijken van AI-systemen optreden. Aan instellingen, organen en instanties van de EU die de verbodsbepalingen schenden, kunnen administratieve boeten worden opgelegd van maximaal 1 500 000 EUR51. (56) Het is mogelijk dat hetzelfde verboden gedrag een schending vormt van twee of meer bepalingen van de AI-verordening (zo kan het niet labelen van deepfakes ook een misleidende techniek vormen in de zin van artikel 5, lid 1, punt a), van de AI- verordening). In dergelijke gevallen moet het beginsel “ne bis in idem” in acht worden genomen. In elk geval moet rekening worden gehouden met de criteria voor het bepalen van de sanctie als bedoeld in artikel 99, lid 7, van de AI-verordening. (57) Aangezien schendingen van de verbodsbepalingen van artikel 5 van de AI-verordening de grootste inbreuk maken op de vrijheden van anderen en aanleiding geven tot de hoogste boetes, moet het toepassingsgebied ervan restrictief worden uitgelegd.

3. ARTIKEL 5, LID 1, PUNTEN A) EN B), VAN DE AI-VERORDENING — SCHADELIJKE MANIPULATIE, MISLEIDING EN UITBUITING

(58) De eerste twee verbodsbepalingen in artikel 5, lid 1, punten a) en b), van de AI- verordening hebben tot doel (kwetsbare) personen te beschermen tegen aanzienlijk schadelijke gevolgen van op AI gebaseerde manipulatie en uitbuiting. Die verbodsbepalingen hebben betrekking op AI-systemen die gebruikmaken van subliminale, doelbewust manipulatieve of misleidende technieken die aanzienlijke schade veroorzaken en het gedrag van natuurlijke personen of groepen personen wezenlijk beïnvloeden (artikel 5, lid 1, punt a), van de AI-verordening) of kwetsbaarheden als gevolg van leeftijd, handicap of een specifieke sociale of economische situatie uitbuiten (artikel 5, lid 1, punt b), van de AI-verordening).

3.1. Motivering en doelstellingen

(59) De gedachte achter deze verbodsbepalingen is dat de individuele autonomie en het individuele welzijn moeten worden beschermd tegen manipulatieve, misleidende en op uitbuiting gerichte AI-praktijken die iemands autonomie, besluitvorming en keuze kunnen ondermijnen en beperken52. Met de verbodsbepalingen wordt gestreefd naar bescherming van het recht op menselijke waardigheid (artikel 1 van het Handvest), dat tevens de basis vormt van alle andere grondrechten en waarvan individuele autonomie een essentieel aspect is. Meer bepaald beogen de verbodsbepalingen om manipulatie en uitbuiting te voorkomen door middel van AI-systemen die personen reduceren tot simpele instrumenten om bepaalde doelen te bereiken, en om diegenen te beschermen die het kwetsbaarst zijn en het meest vatbaar voor schadelijke manipulatie en uitbuiting. De verbodsbepalingen betreffende manipulatieve, misleidende en op uitbuiting gerichte AI-praktijken die aanzienlijke schade veroorzaken, sluiten volledig aan bij de bredere doelstelling van de AI-verordening om betrouwbare en mensgerichte AI-systemen te bevorderen die veilig, transparant en eerlijk zijn, de mensheid dienen en de menselijke factor en de waarden van de EU eerbiedigen.

3.2. Belangrijkste onderdelen van het verbod van artikel 5, lid 1, punt a), van

de AI-verordening — schadelijke manipulatie Artikel 5, lid 1, punt a), van de AI-verordening luidt als volgt:

1. De volgende AI-praktijken zijn verboden: a) het in de handel brengen, het in gebruik stellen of het gebruiken van een AI-systeem dat subliminale technieken waarvan personen zich niet bewust zijn of doelbewust manipulatieve of misleidende technieken gebruikt, met als doel of effect het gedrag van personen of een groep personen wezenlijk te verstoren door hun vermogen om een geïnformeerd besluit te nemen merkbaar te belemmeren, waardoor zij een besluit nemen dat zij anders niet hadden genomen, op een wijze die ertoe leidt of er redelijkerwijs waarschijnlijk toe zal leiden dat deze of andere personen, of een groep personen, aanzienlijke schade oplopen; (60) Voor de toepassing van het verbod van artikel 5, lid 1, punt a), van de AI-verordening moet aan verschillende cumulatieve voorwaarden worden voldaan: (i) De praktijk moet bestaan uit het “in de handel brengen”, het “in gebruik stellen” of het “gebruiken” van een AI-systeem. (ii) Het AI-systeem moet gebruikmaken van subliminale (niet bewust waarneembare), doelbewust manipulatieve of misleidende technieken. (iii)De door het AI-systeem gebruikte technieken moeten als doel of effect hebben dat het gedrag van personen of een groep personen wezenlijk wordt verstoord. De verstoring moet hun vermogen om een geïnformeerd besluit te nemen merkbaar belemmeren, waardoor de betrokken personen of groep personen een besluit nemen dat zij anders niet hadden genomen (iv) Het verstoorde gedrag moet de betrokken personen, andere personen of een groep personen aanzienlijke schade toebrengen of redelijkerwijs kunnen toebrengen. (61) Voor de toepassing van het verbod moet tegelijkertijd aan alle vier de voorwaarden worden voldaan en moet er een plausibel oorzakelijk verband bestaan tussen de gebruikte technieken, de wezenlijke verstoring van het gedrag van de betrokken personen en de aanzienlijke schade die dat gedrag tot gevolg heeft gehad of redelijkerwijs kan hebben. (62) De eerste voorwaarde, namelijk het in de handel brengen, in gebruik stellen en gebruiken van AI-systemen in de Unie, is al geanalyseerd. Het verbod geldt derhalve voor zowel aanbieders als gebruiksverantwoordelijken van AI-systemen, die elk hun eigen verantwoordelijkheid hebben om dergelijke systemen niet in de handel te brengen, in gebruik te stellen of te gebruiken. In de volgende punten wordt ingegaan op de drie andere voorwaarden. 3.2.1. Subliminale, doelbewust manipulatieve of misleidende technieken (63) Artikel 5, lid 1, punt a), van de AI-verordening verbiedt drie verschillende soorten manipulatieve technieken: a) subliminale technieken waarvan personen zich niet bewust zijn; b) doelbewust manipulatieve technieken; en c) misleidende technieken. Om binnen het toepassingsgebied van artikel 5, lid 1, punt a), van de AI-verordening te vallen, moet een AI-systeem van een of meer van deze technieken gebruikmaken. a) Subliminale technieken (64) Hoewel in de AI-verordening geen definitie wordt gegeven van “subliminale technieken”, wordt in artikel 5, lid 1, punt a), gespecificeerd dat subliminale technieken buiten (onder of boven) de drempel van het bewustzijn werken. Omdat subliminale technieken en de manier waarop zij werken naar hun aard niet waarneembaar zijn, worden de verdedigingsmechanismen tegen manipulatie waarover personen beschikken, met dergelijke technieken omzeild en kunnen hun besluiten worden beïnvloed zonder dat de betrokkenen zich ervan bewust zijn, wat belangrijke ethische vragen opwerpt en de individuele autonomie en de handelings- en keuzevrijheid aantast53. (65) Subliminale technieken moeten gedrag op zodanige wijze kunnen beïnvloeden dat de betrokkene zich niet bewust is van die beïnvloeding, hoe deze in zijn werk gaat of de effecten ervan op zijn besluiten of de vorming van zijn waarden en meningen. Subliminale technieken maken met name gebruik van stimuli via audiovisuele of tactiele media die te kort of subtiel zijn om te worden opgemerkt en die al langer bekend en verboden zijn in andere sectoren, bijvoorbeeld in audiovisuele reclame54. Hoewel deze stimuli niet bewust worden waargenomen, kunnen zij nog steeds door de hersenen worden verwerkt en het gedrag beïnvloeden. Voorbeelden van subliminale technieken (niet noodzakelijkerwijs verboden tenzij aan alle andere voorwaarden van artikel 5, lid 1, punt a), van de AI-verordening is voldaan) zijn:

• Visuele subliminale boodschappen: een AI-systeem kan beelden of tekst tonen of inbedden die tijdens het afspelen van een video kort voorbij flitsen en technisch gezien zichtbaar zijn, maar te snel voorbijkomen om bewust te worden geregistreerd, hoewel attitudes of gedragingen hierdoor nog steeds kunnen worden beïnvloed.

• Auditieve subliminale boodschappen: een AI-systeem kan gebruikmaken van geluiden of verbale boodschappen die zeer zacht klinken of door andere geluiden worden afgedekt, waardoor de luisteraar onbewust wordt beïnvloed. Deze geluiden vallen technisch nog steeds binnen het bereik van het gehoor, maar worden door de luisteraar niet bewust opgemerkt omdat ze subtiel zijn of door andere geluiden worden afgedekt.

• Tactiele subliminale stimuli: een AI-systeem kan subtiele lichamelijke sensaties stimuleren die onbewust worden waargenomen en de emotionele staat of gedragingen kunnen beïnvloeden.

• Onzichtbare en onhoorbare signalen: een AI-systeem kan gebruikmaken van stimuli die niet alleen subtiel of afgedekt zijn, maar zodanig worden weergegeven dat ze door de menselijke zintuigen onder normale omstandigheden geheel niet kunnen worden waargenomen, bijvoorbeeld door visuele stimuli zo snel te laten flitsen (bv. met 53 Overweging 29 van de AI-verordening. 54 Zie met name Richtlijn 2010/13/EU van het Europees Parlement en de Raad van 10 maart 2010 betreffende de coördinatie van bepaalde wettelijke en bestuursrechtelijke bepalingen in de lidstaten inzake het aanbieden van audiovisuele mediadiensten (PB L 95 van 15.4.2010, blz. 1), die subliminale technieken in audiovisuele commerciële communicatie strikt verbiedt. knipperende beelden) dat het menselijk oog deze niet bewust kan waarnemen of geluiden af te spelen op geluidsniveaus die niet waarneembaar zijn voor het menselijk oor.

• Ingebedde beelden: een AI-systeem kan beelden verbergen in andere visuele inhoud waardoor deze niet bewust worden waargenomen, maar wel door de hersenen worden verwerkt en het gedrag beïnvloeden.

• Afleiding: een AI-systeem kan de aandacht vestigen op specifieke stimuli of inhoud om te voorkomen dat andere inhoud wordt opgemerkt, vaak door gebruik te maken van cognitieve vooroordelen en zwakke plekken in het aandachtsvermogen.

• Temporele manipulatie: een AI-systeem kan de perceptie van tijd bij de interactie met gebruikers veranderen, waardoor hun gedrag wordt beïnvloed en ongeduld en afhankelijkheid worden gecreëerd. (66) De snelle ontwikkeling van AI en aanverwante technologieën, zoals de analyse van big data, neurotechnologieën, hersen-computerinterfaces en virtual reality, verhoogt het risico op geavanceerde subliminale manipulatie en het vermogen ervan om menselijk gedrag doeltreffend op een onbewuste manier te beïnvloeden55. AI kan ook ingezet worden bij de toepassing van nieuwe machine-herseninterfaces en geavanceerde technieken zoals “dream hacking” en hersenspyware. Een spel kan bijvoorbeeld gebruikmaken van op AI gebaseerde neurotechnologieën en machine-herseninterfaces die gebruikers in staat stellen (delen van) een spel te bedienen met een hoofddeksel dat de hersenactiviteit detecteert. AI kan worden gebruikt om de hersenen van de gebruiker stiekem te trainen, zonder dat hij zich daarvan bewust is, om uit de neurale gegevens informatie af te leiden die zeer intrusief en gevoelig kan zijn (bv. persoonlijke bankgegevens, intieme informatie enz.), op een wijze die hem aanzienlijke schade kan berokkenen. Het verbod van artikel 5, lid 1, punt a), van de AI- verordening is alleen bedoeld voor gevallen van dit soort subliminale manipulatie waarmee aanzienlijke schade wordt veroorzaakt en niet op toepassingen van machine- herseninterfaces in het algemeen wanneer deze op een veilige en beveiligde manier zijn ontworpen en de privacy en individuele autonomie eerbiedigen. b) Doelbewust manipulatieve technieken (67) In de AI-verordening wordt geen definitie gegeven van “doelbewust manipulatieve technieken”, maar hieronder moeten technieken worden verstaan die ontworpen of objectief bestemd zijn om het gedrag van personen te beïnvloeden, wijzigen of controleren op een wijze die hun individuele autonomie en keuze ondermijnt. Manipulatieve technieken zijn doorgaans ontworpen om gebruik te maken van cognitieve vooroordelen, psychologische kwetsbaarheden of situationele factoren die personen vatbaarder maken voor beïnvloeding. Vanwege hun aanpassingsvermogen kunnen AI-systemen ook goed inspelen op iemands individuele omstandigheden of kwetsbaarheden en zo de doeltreffendheid en het effect van de manipulatie sterk vergroten. Hoewel het manipulatieve vermogen een belangrijk element is om de aard van een techniek te bepalen, is het niet zo dat de aanbieder of gebruiksverantwoordelijke, of het systeem dat de manipulatieve technieken gebruikt, ook de intentie moet hebben om schade te berokkenen56. (68) Hoewel niet alle manipulatieve technieken buiten het bewustzijn werken, doen veel technieken dat wel en kan er sprake zijn van overlapping met subliminale technieken, aangezien die technieken uiteindelijk ook manipulatieve effecten hebben. In overweging 29 van de AI-verordening wordt verduidelijkt dat het verbod van artikel 5, lid 1, punt a), ook betrekking heeft op technieken waarbij personen, zelfs als zij zich bewust zijn van de poging tot beïnvloeding, mogelijk niet in staat zijn het manipulatieve effect ervan te beheersen of te weerstaan57. Als gevolg daarvan worden personen beïnvloed of gedwongen tot gedrag en beslissingen die zij normaal gesproken niet zouden hebben genomen indien zij niet zodanig aan de manipulatieve technieken zouden zijn onderworpen dat hun individuele autonomie of keuzevrijheid wordt aangetast. Een voorbeeld van een doelbewust manipulatieve techniek is sensorische manipulatie, waarbij een AI-systeem achtergrondgeluiden of beelden gebruikt die veranderingen in de stemming van de gebruiker tot gevolg hebben, bijvoorbeeld toenemende angst en geestelijke spanningen die het gedrag van de gebruiker zodanig beïnvloeden dat zij aanzienlijke schade veroorzaken. Een ander voorbeeld is gepersonaliseerde manipulatie, waarbij een AI-systeem dat op basis van individuele persoonsgegevens zeer overtuigende, op de gebruiker toegesneden boodschappen creëert of andere individuele kwetsbaarheden uitbuit, zijn gedrag of keuzes zodanig beïnvloedt dat er aanzienlijke schade wordt toegebracht. (69) Het verbod op doelbewust manipulatieve technieken heeft ook betrekking op AI- systemen die personen manipuleren zonder dat zij de intentie hebben dit te doen. Artikel 5, lid 1, punt a), van de AI-verordening verbiedt AI-systemen die bepaalde technieken toepassen of specifiek manipulatief gedrag vertonen. Daarom kan het ook het AI-systeem zijn dat dit soort manipulatieve technieken gebruikt, in plaats van de aanbieder of gebruiksverantwoordelijke die het systeem op deze manier heeft ontworpen of gebruikt. Zo kan een AI-systeem, ongeacht of de aanbieder dit beoogde, manipulatieve technieken leren omdat de gegevens waarmee het is getraind veel gevallen van manipulatieve technieken bevatten58, of omdat reinforcement learning op basis van menselijke feedback kan worden gestuurd door middel van manipulatieve technieken59. 56 Zie in dit verband overweging 28 en de punten 3.2.2 en 3.2.3 van de richtsnoeren. 57 Overweging 28 van de AI-verordening. 58 M. Carroll et al., “Characterising Manipulation from AI Systems”, in: Equity and Access in Algorithms, Mechanisms, and Optimization (EAAMO ‘23), 30 oktober-1 november 2023, Boston, Verenigde Staten. ACM, New York, Verenigde Staten, 13 bladzijden. https://doi.org/10. 1145/3617694.3623226 |:2303.09387. 59 D. Amodei, et al., “Concrete Problems in AI Safety”, 36th Conference on Neural Information Processing Systems (NeurIPS 2022), arXiv:1606.06565; J. Skalse et al. “Defining and Characterizing Reward Gaming”, Advances in Neural Information Processing Systems 35 (NeurIPS 2022); C. Denison et al., “Sycophancy to Subterfuge: Investigating Reward-Tampering in Large Language”, 36th Conference on Neural Information Processing Systems (NeurIPS 2022), Models, arXiv:2406.10162. Indien het manipulatieve gedrag van het systeem daarentegen slechts incidenteel is, mag het systeem niet worden geacht doelbewust manipulatieve technieken toe te passen zolang de aanbieder passende preventieve en risicobeperkende maatregelen heeft genomen wanneer redelijkerwijs kan worden verwacht dat zich aanzienlijke schade zal voordoen (zie punt 3.2.3, c)). c) Misleidende technieken (70) In de AI-verordening worden “misleidende technieken” niet gedefinieerd. In overweging 29 van de AI-verordening wordt verduidelijkt dat dit technieken zijn die de autonomie, de besluitvorming of de keuze van personen ondermijnen of beperken op een manier waarvan de betrokkene zich niet bewust is of waarbij, zelfs als hij zich ervan bewust is, hij nog steeds misleid kan worden of deze niet kan beheersen of weerstaan. Onder “misleidende technieken” die door AI-systemen worden gebruikt, moet worden verstaan het verstrekken van onjuiste of misleidende informatie met als doel of gevolg dat personen worden misleid en hun gedrag wordt beïnvloed op een wijze die hun autonomie, besluitvorming en keuze ondermijnt. (71) In dit verband moet de samenhang worden verduidelijkt tussen het verbod van artikel 5, lid 1, punt a), van de AI-verordening en de verplichting van gebruiksverantwoordelijken krachtens artikel 50, lid 4, van de AI-verordening om deepfakes en bepaalde door AI gegenereerde teksten over aangelegenheden van algemeen belang te labelen60, alsook de verplichting van aanbieders om ervoor te zorgen dat AI-systemen die met mensen interageren zodanig worden ontworpen dat mensen worden geïnformeerd dat zij interageren met een AI-systeem en niet met een mens61. Een dergelijke goed zichtbare mededeling vormt een risicobeperkende maatregel die ook mogelijk moet worden gemaakt door middel van ontwerpkenmerken die zijn ingebed in het AI-systeem dat door de aanbieder ter beschikking wordt gesteld, waaronder technische maatregelen die het mogelijk maken door AI gegenereerde en gemanipuleerde inhoud te herkennen62. De zichtbare labeling van deepfakes en chatbots vermindert het risico op misleiding dat zich waarschijnlijk zal voordoen zodra de door AI gegenereerde inhoud publiekelijk wordt verspreid, en vermindert het risico op schadelijke verstorende effecten op de meningen en overtuigingen en het gedrag van personen. (72) Het verbod van artikel 5, lid 1, punt a), van de AI-verordening heeft daarentegen een veel beperkter toepassingsgebied. Het kan bijvoorbeeld betrekking hebben op gevallen waarin een chatbot of bedrieglijke door AI gegenereerde inhoud onjuiste of misleidende informatie biedt op een manier die tot doel of gevolg heeft dat personen worden misleid en hun gedrag wordt verstoord, wat niet zou zijn gebeurd indien zij niet waren blootgesteld aan de interactie met het AI-systeem of de bedrieglijke door AI gegenereerde inhoud, met name wanneer zij hier niet duidelijk op worden gewezen63. (73) Net als bij doelbewust manipulatieve technieken kan het verbod op misleidende technieken ook betrekking hebben op AI-systemen die personen misleiden zonder dat zij de intentie hebben om dit te doen (zie punt 3.2.1, b)). Zo kunnen AI-systemen, ongeacht of hun aanbieders dit beogen, misleidende technieken leren louter omdat zij hierdoor de taak waarvoor zij zijn ontwikkeld, beter kunnen uitvoeren, bijvoorbeeld door reinforced learning64. Een voorbeeld van misleidende technieken die met AI kunnen worden ingezet, is een AI-chatbot die met een synthetische stem doet alsof hij iemands vriend of familielid is en beweert de persoon in kwestie te zijn, en zich zo schuldig maakt aan oplichting en aanzienlijke schade veroorzaakt. Een ander voorbeeld is een AI-systeem dat leert vast te stellen wanneer het wordt geëvalueerd en ongewenst gedrag dan tijdelijk staakt, om na afloop van de evaluatieperiode weer door te gaan met dat gedrag65. Dergelijk misleidend gedrag is bijzonder gevaarlijk, aangezien het extern menselijk toezicht op het systeem onmogelijk maakt; het systeem kan daarom worden verboden indien redelijkerwijs kan worden verwacht dat het aanzienlijke schade zal toebrengen. Een generatief AI-systeem dat incidenteel onjuiste of misleidende informatie verstrekt en hallucineert66, kan daarentegen niet worden geacht gebruik te maken van misleidende technieken in de zin van artikel 5, lid 1, punt a), van de AI-verordening, gelet op de beperkingen en de stand van de techniek op het gebied van generatieve AI. Hiervan is met name sprake wanneer de aanbieder van het systeem gebruikers naar behoren heeft geïnformeerd over de beperkingen van het systeem en passende waarborgen in het systeem heeft ingebouwd om dergelijke resultaten tot een minimum te beperken, mede op voorwaarde dat het systeem niet bedoeld is voor of wordt ingezet in gevoelige contexten (bv. gezondheidszorg, onderwijs, verkiezingen), waar dit kan leiden tot ernstige schadelijke gevolgen (zie ook de overwegingen in punt 3.2.3, c)). d) Combinatie van technieken (74) Artikel 5, lid 1, punt a), van de AI-verordening is van toepassing op subliminale, doelbewust manipulatieve en misleidende technieken, en op combinaties daarvan die 63 Hoewel de transparantieverplichtingen in artikel 50 van de AI-verordening er in beginsel op gericht zijn de manipulatieve effecten van deepfakes en chatbots tot een minimum te beperken, kunnen er gevallen en situaties zijn waarin deze bedrieglijke technieken ondanks de waarschuwingen nog steeds aanzienlijke gevolgen kunnen hebben voor personen en hun gedrag zodanig kunnen verstoren dat hun individuele autonomie en geïnformeerde besluitvorming worden ondermijnd. Zij mogen dus niet worden misbruikt voor desinformatie en manipulatie en kunnen in sommige gevallen nog steeds onder het verbod van artikel 5, lid 1, punt a), vallen indien aan alle andere voorwaarden van het verbod is voldaan (met inbegrip van aanzienlijke schade). 64 F. Ward, F. Toni, F. Belardinelli, T. Everitt, “Honesty Is the Best Policy: Defining and Mitigating AI Deception” (neurips.cc); Advances in Neural Information Processing Systems 36 (NeurIPS 2023); P. Park. et al., “AI deception: A survey of examples, risks, and potential solutions [2406.10162] Patterns, Volume 5, Issue 5, 100988. 65 J. Lehman, J. Clune, D. Misevic, C. Adami, L. Altenberg, J. Beaulieu et al., “The surprising creativity of digital evolution: A collection of anecdotes from the evolutionary computation and artificial life research communities”, Artificial life, 26(2): 274-306, 2020. 66 “Hallucinatie” is een term die wordt gebruikt om een technisch gebrek in generatieve AI-systemen te beschrijven dat ertoe leidt dat zij ongewenste informatie genereren die verzonnen of feitelijk onjuist is, zonder dat dit door de ontwikkelaars ervan bedoeld is. Voor meer informatie, zie Ji Ziwei et al., “Survey of Hallucination in Natural Language Generation | ACM Computing Surveys”, 55, Nummer 12, Artikel nr.: 248, blz. 1-38. een onderling versterkend effect kunnen hebben. Zoals hierboven vermeld, kunnen doelbewust manipulatieve technieken ook subliminaal van aard zijn als gebruikers zich niet van de toepassing ervan bewust zijn. (75) Wanneer doelbewust manipulatieve en misleidende technieken gecombineerd worden toegepast, kan dit bovendien een aanzienlijke invloed hebben op het gedrag van personen, waardoor zij beslissingen nemen op basis van onbewuste manipulaties en verkeerde overtuigingen. Deze combinatie kan een feedbackloop creëren waardoor personen minder geneigd zijn de informatie die zij krijgen, in twijfel te trekken of kritisch te beoordelen, aangezien de manipulatieve elementen hun cognitieve vooroordelen en emotionele reacties al hebben aangewakkerd. 3.2.2. Met als doel of effect het gedrag van personen of een groep personen wezenlijk te verstoren (76) Een derde voorwaarde voor de toepassing van het verbod van artikel 5, lid 1, punt a), van de AI-verordening is dat de subliminale, doelbewust manipulatieve of misleidende techniek moet worden gebruikt “met als doel of effect het gedrag van personen of een groep personen wezenlijk te verstoren”. Dit betekent dat er sprake moet zijn van een aanzienlijke invloed op het gedrag, waardoor de autonomie en keuze van een persoon worden ondermijnd, en niet van een beperkte invloed. Opzet is echter geen noodzakelijke eis, aangezien artikel 5, lid 1, punt a), van de AI-verordening ook betrekking heeft op praktijken die alleen als “effect” hebben dat het gedrag wezenlijk wordt verstoord. Er moet een plausibel of redelijkerwijs te verwachten oorzakelijk verband zijn tussen de mogelijke wezenlijke verstoring van het gedrag en de subliminale, doelbewust manipulatieve of misleidende techniek waarvan het AI- systeem gebruikmaakt. a) Het begrip “wezenlijke verstoring van het gedrag” (77) Het begrip “wezenlijke verstoring van het gedrag” van een persoon of een groep personen staat centraal in artikel 5, lid 1, punt a), van de AI-verordening. Het gaat hierbij om de toepassing van subliminale, doelbewust manipulatieve of misleidende technieken die het gedrag van mensen op zodanige wijze beïnvloeden dat hun vermogen om een geïnformeerd besluit te nemen merkbaar wordt belemmerd, waardoor zij zich anders gedragen of een besluit nemen dat zij anders niet zouden hebben genomen. (78) Met “merkbaar belemmerd” wordt gedoeld op een aanzienlijk verminderd vermogen om geïnformeerde en autonome beslissingen te nemen, waardoor personen zich anders gedragen of een besluit nemen dat zij anders niet zouden hebben genomen. Het gaat dus niet om kleine of verwaarloosbare effecten, maar om een aanzienlijke verstoring of belemmering van de besluitvorming en de keuzevrijheid, ook bij de vorming van meningen en overtuigingen. Dit betekent dat een “wezenlijke verstoring” een mate van dwang, manipulatie of misleiding inhoudt die verder gaat dan rechtmatige overreding, die buiten het toepassingsgebied van het verbod valt (zie punt 3.5.1). (79) Een “geïnformeerd besluit” vereist inzicht in en kennis van de relevante informatie, met inbegrip van de beschikbare opties, de risico’s en voordelen van elke keuze, de mogelijke effecten van het AI-systeem op het gedrag van de betrokkene en, in voorkomend geval, andere contextuele informatie die belangrijk is voor de besluitvorming of het gedrag van de betrokkene. (80) Voor de interpretatie van het begrip “wezenlijke verstoring van gedrag” kan het Unierecht inzake consumentenbescherming, met name Richtlijn 2005/29/EG (richtlijn oneerlijke handelspraktijken), een waardevolle inspiratiebron vormen. De richtlijn oneerlijke handelspraktijken verbiedt verschillende oneerlijke, misleidende en agressieve handelspraktijken (artikelen 5 tot en met 9 van de richtlijn) waardoor consumenten tot transacties besluiten waartoe zij anders niet hadden besloten. Volgens het Hof en de richtsnoeren van de Commissie inzake de richtlijn oneerlijke handelspraktijken67 is het niet nodig te bewijzen dat het economische gedrag van een consument is verstoord, maar volstaat het vast te stellen dat een handelspraktijk het besluit van een gemiddelde consument over een transactie “kan” (d.w.z. mogelijk zal) beïnvloeden68. Het Hof heeft ook benadrukt dat zelfs nauwkeurige informatie misleidend kan zijn indien deze wordt gepresenteerd op een wijze die het besluitvormingsproces van de consument verstoort69. De nationale handhavingsautoriteiten hebben tot taak de specifieke feiten en omstandigheden van elke zaak te onderzoeken (in concreto) en het potentiële effect van de praktijk op het besluitvormingsproces van de gemiddelde consument te beoordelen (in abstracto)70. Daarbij moet worden uitgegaan van de “gemiddelde” consument, de maatstaf die door het Hof is ontwikkeld en nu in de richtlijn oneerlijke handelspraktijken is opgenomen71. (81) In het kader van het verbod in artikel 5, lid 1, punt a), van de AI-verordening moeten markttoezichtautoriteiten ook de specifieke feiten en omstandigheden van elk geval onderzoeken om te beoordelen of de subliminale, doelbewust manipulatieve of misleidende techniek die door het AI-systeem wordt toegepast de besluitvorming, de individuele autonomie en de keuze van een “gemiddelde” persoon binnen een doelgroep waarschijnlijk merkbaar zal aantasten wanneer het systeem een groep personen beïnvloedt op een wijze die redelijkerwijs kan leiden tot aanzienlijke schade. Een dergelijke uitlegging lijkt gerechtvaardigd aangezien de AI-verordening bedoeld is 67 Mededeling van de Commissie — Richtsnoeren met betrekking tot de uitlegging en toepassing van Richtlijn 2005/29/EG van het Europees Parlement en de Raad betreffende oneerlijke handelspraktijken van ondernemingen jegens consumenten op de interne markt (PB C 526 van 29.12.2021, blz. 1). 68 Arrest van het Hof van Justitie (Vijfde kamer) van 26 oktober 2016, Canal Digital Danmark A/S, ECLI:EU:C:2016:800, zaak C- 611/14, punt 73. 69 Arrest van het Hof van Justitie van 19 december 2013, Trento Sviluppo en Centrale Adriatica, C-281/12, ECLI:EU:C:2013:859. 70 Mededeling van de Commissie — Richtsnoeren met betrekking tot de uitlegging en toepassing van Richtlijn 2005/29/EG van het Europees Parlement en de Raad betreffende oneerlijke handelspraktijken van ondernemingen jegens consumenten op de interne markt (PB C 526 van 29.12.2021, blz. 1). 71 Zie de overwegingen 18 en 19 van de richtlijn oneerlijke handelspraktijken. Een “gemiddelde consument” is iemand die redelijk geïnformeerd, omzichtig en oplettend is, mede rekening houdend met maatschappelijke, culturele en taalkundige factoren. Het criterium van de gemiddelde consument is geen statistisch criterium (d.w.z. er hoeft niet te worden aangetoond dat het gedrag van een bepaald percentage consumenten door een handelspraktijk wezenlijk zou zijn verstoord/aanzienlijk zou zijn belemmerd). De maatstaf is gebaseerd op het evenredigheidsbeginsel. In de richtlijn oneerlijke handelspraktijken is dit begrip overgenomen om te zorgen voor het juiste evenwicht tussen de noodzaak om de consument te beschermen en de bevordering van de vrije handel in een openlijk concurrerende markt. Rechtbanken en autoriteiten zullen hun eigen oordeel moeten volgen om de typische reactie van de gemiddelde consument in een bepaald geval vast te stellen. In de richtsnoeren betreffende de richtlijn oneerlijke handelspraktijken adviseerde de Commissie hen om gebruik te maken van inzichten uit de gedragseconomie en andere gegevens. In zaak C-646/22, Compass Banca, wordt verduidelijkt dat de definitie van de gemiddelde consument niet uitsluit dat de besluitvaardigheid van een individu kan worden verstoord door vormen van dwang, zoals cognitieve vooroordelen. Arrest van het Hof (Vijfde kamer) van 14 november 2024, Compass Banca SpA/Autorità Garante della Concorrenza e del Mercato (AGCM), zaak C-646/22, ECLI:EU:C:2024:957. om de richtlijn oneerlijke handelspraktijken aan te vullen72 en op consistente wijze moet worden toegepast. Daarnaast kunnen specifieke gevallen ook worden onderzocht vanuit het oogpunt van specifieke personen door te beoordelen in hoeverre een AI-systeem dat subliminale, doelbewust manipulatieve of misleidende technieken gebruikt, in concrete gevallen hun individuele autonomie kan ondermijnen en of zich aanzienlijke schade heeft voorgedaan of kan voordoen, aangezien artikel 5, lid 1, punt a), van de AI- verordening ook verwijst naar de mogelijkheid om het “gedrag van personen” te verstoren en het perspectief van de “gemiddelde” persoon in bepaalde gevallen moeilijk of ondoeltreffend te beoordelen is (bijvoorbeeld als gevolg van sterk toegesneden of “gepersonaliseerde” manipulatie of schadelijke gevolgen voor specifieke kwetsbare groepen). b) Scenario 1: verboden AI-systemen “met als doel” gedrag wezenlijk te verstoren (82) Artikel 5, lid 1, punt a), van de AI-verordening is van toepassing op AI-systemen die de bovengenoemde technieken toepassen “met als doel […] het gedrag van personen of een groep personen wezenlijk te verstoren” (eerste scenario). Deze doelstelling kan worden nagestreefd door de aanbieder of de gebruiksverantwoordelijke van het AI- systeem, of door het systeem zelf op grond van zijn impliciete doelstellingen73. Deze doelstelling moet worden onderscheiden van het “beoogde doel” van het AI-systeem (artikel 3, punt 12, van de AI-verordening). Zelfs als dit door de aanbieder wordt beoogd, is de manipulatieve doelstelling in de meeste gevallen niet het beoogde doel waarvoor het systeem wordt aangeboden en is deze doelstelling vaak niet transparant, noch wordt deze met zoveel woorden gespecificeerd in de door de aanbieder verstrekte informatie (bv. in de gebruiksaanwijzing, promotie- of verkoopmateriaal, in andere verklaringen over het systeem of in de technische documentatie). Een chatbot die in verschillende contexten kan worden gebruikt, wordt bijvoorbeeld ontworpen om subliminale communicatietechnieken te gebruiken, zoals het weergeven van korte visuele signalen en onhoorbare auditieve signalen, of om bij advertenties gebruik te maken van de emotionele afhankelijkheid of specifieke kwetsbaarheden van gebruikers. Deze technieken worden ingezet “met als doel” het gedrag van gebruikers wezenlijk te verstoren, aangezien zij objectief gezien een ontwerpkenmerk zijn dat tot doel heeft de aankoopbeslissingen van consumenten te beïnvloeden zonder dat zij zich daarvan bewust zijn, en om mensen ertoe aan te zetten aanzienlijk schadelijke financiële beslissingen te nemen. Het gebruik van AI-systemen om zich voor te doen als iemand anders kan ook worden beschouwd als het inzetten van een AI-systeem “met als doel” personen te misleiden en hun gedrag wezenlijk te verstoren als zij hierdoor inderdaad worden misleid en hun vermogen om geïnformeerde beslissingen te nemen over de identiteit van de betreffende persoon zodoende aanzienlijk wordt aangetast. 72 Overweging 29 van de AI-verordening. 73 Zie artikel 3, punt 1, van de AI-verordening, waarin wordt gesteld dat het AI-systeem bij de uitvoering van zijn functies impliciete of expliciete doelstellingen kan nastreven, waaronder ook impliciete manipulatieve of misleidende doelstellingen, ook al is het systeem niet uitdrukkelijk hiervoor geprogrammeerd. Indien in beide voorbeelden aan de andere voorwaarden van artikel 5, lid 1, punt a), van de AI-verordening is voldaan, met name het oplopen van aanzienlijke schade, vallen die systemen waarschijnlijk binnen het toepassingsgebied van het verbod. Dit zal echter per geval moeten worden beoordeeld. c) Scenario 2: verboden AI-systemen “met als effect” gedrag wezenlijk te verstoren (83) De intentie van de aanbieder of gebruiksverantwoordelijke om het gedrag van personen of een groep personen wezenlijk te verstoren, is een voldoende, maar niet noodzakelijke voorwaarde voor de toepassing van het verbod van artikel 5, lid 1, punt a), van de AI- verordening. Dat verbod geldt ook wanneer een dergelijke intentie niet aanwezig is, maar het effect van de door een AI-systeem gebruikte techniek(en) is dat het gedrag van een persoon of een groep personen dusdanig wezenlijk wordt verstoord dat hun individuele autonomie en keuze worden ondermijnd. (84) Een plausibel of redelijk waarschijnlijk oorzakelijk verband tussen de subliminale, doelbewust manipulatieve of misleidende techniek die door het AI-systeem wordt toegepast en de effecten ervan op het gedrag is echter altijd noodzakelijk voor de toepassing van het verbod. In overeenstemming met de wetgeving inzake consumentenbescherming hoeven deze effecten niet volledig te zijn verwezenlijkt, maar moeten er voldoende aanwijzingen zijn dat zij zich waarschijnlijk zullen voordoen of kunnen voordoen en de individuele autonomie zullen ondermijnen, uitgaande van een objectieve beoordeling van alle omstandigheden van het geval en de bestaande wetenschappelijke kennis en methoden, alsook van de beschikbare informatie over het effect van het systeem op het daadwerkelijke gedrag van personen. In dit verband wordt aan die voorwaarde al voldaan als een systeem kan aanzetten tot gedragingen die het vermogen van personen om geïnformeerde beslissingen te nemen, merkbaar aantasten en hun keuzevrijheid ondermijnen. Het is niet nodig te onderzoeken wanneer de schade zich precies voordoet (bv. in het geval van verslavingsgedrag); voldoende is dat het redelijkerwijs waarschijnlijk is dat de schade zich zal voordoen. Een door AI aangedreven chatbot voor het welzijn kan bijvoorbeeld door de aanbieder bedoeld zijn om gebruikers te ondersteunen en te oriënteren bij het aanhouden van een gezonde levensstijl en advies op maat te verstrekken voor psychologische en lichamelijke oefeningen. Indien de chatbot echter gebruikmaakt van individuele kwetsbaarheden om gebruikers over te halen om ongezonde gewoonten te ontwikkelen of gevaarlijke activiteiten te ondernemen (bv. te veel sporten zonder uit te rusten of te drinken), waarbij redelijkerwijs kan worden verwacht dat bepaalde gebruikers dat advies zullen volgen, hetgeen zij anders niet zouden hebben gedaan, en zij hierdoor aanzienlijk letsel oplopen (bv. een hartaanval of een ander ernstig gezondheidsprobleem), valt dat AI-systeem onder het verbod van artikel 5, lid 1, punt a), van de AI-verordening, zelfs als de aanbieder dit gedrag en de schadelijke gevolgen voor die personen mogelijk niet heeft beoogd. Het enkele feit dat de chatbot de individuele autonomie merkbaar kan aantasten en het gedrag van bepaalde gebruikers wezenlijk en op een aanzienlijk schadelijke manier kan verstoren, terwijl de aanbieder geen passende preventieve en beperkende maatregelen heeft genomen om die aanzienlijk schadelijke effecten te voorkomen, volstaat om het verbod te kunnen toepassen (voor verdere relevante overwegingen betreffende redelijkerwijs waarschijnlijke schade, zie punt 3.2.3; voor systemen die buiten het toepassingsgebied vallen, zie punt 3.5). 3.2.3. (Redelijkerwijs kunnen) veroorzaken van aanzienlijke schade (85) Ten slotte is het verbod van artikel 5, lid 1, punt a), van de AI-verordening slechts van toepassing indien de verstoring van het gedrag van een persoon of een groep personen die persoon, een andere persoon of een groep personen aanzienlijke schade berokkent of redelijkerwijs kan berokkenen. De volgende belangrijke begrippen moeten in dit verband verduidelijkt worden: de soorten schade die onder het verbod vallen, de drempel voor de ernst van de schade, de redelijke waarschijnlijkheid van de schade en het oorzakelijk verband tussen de manipulatieve of misleidende techniek waarmee het gedrag van de betrokkene wordt beïnvloed en de resulterende schade. a) Soorten schade (86) De AI-verordening heeft betrekking op verschillende soorten schadelijke effecten van manipulatieve en bedrieglijke AI-systemen, die elk verschillende gevolgen kunnen hebben voor individuele personen en groepen personen74. De belangrijkste soorten schade die relevant zijn voor artikel 5, lid 1, punt a), van de AI-verordening zijn onder meer fysieke, psychologische, financiële en economische schade75, die in bepaalde gevallen gepaard kan gaan met bredere maatschappelijke schade76. (87) Fysieke schade omvat iedere vorm van letsel of schade aan het leven en de gezondheid van een natuurlijk persoon en materiële schade aan diens eigendommen. Fysieke schade aan iemands leven en gezondheid heeft in veel gevallen onmiddellijke, ernstige en onomkeerbare gevolgen. Vanuit het streven naar productveiligheid beoogt de AI- verordening op AI gebaseerde manipulatie en misleiding te verbieden die tot aanzienlijke fysieke schade leiden. Een AI-chatbot kan bijvoorbeeld gebruikers aanzetten tot zelfbeschadiging, hen stimuleren om zelfmoord te plegen of andere personen of groepen personen schade toe te brengen door terroristische inhoud te promoten of tot geweld aan te zetten tegen bepaalde personen of groepen personen (bv. minderheden). (88) Psychologische schade is met name relevant in het geval van AI-systemen die gebruikmaken van manipulatieve technieken waarmee misbruik wordt gemaakt van cognitieve en emotionele kwetsbaarheden en het gedrag van personen wordt beïnvloed op een manier die aanzienlijke schade kan veroorzaken. Psychologische schade bestaat uit alle nadelige gevolgen voor de geestelijke gezondheid en het psychologisch en 74 Zie artikel 5, lid 1, punt a), van de AI-verordening. 75 Overweging 29 van de AI-verordening. 76 Zie overweging 28 van de AI-verordening, waarin wordt uitgelegd dat de verboden AI-praktijken ook bredere maatschappelijke schade teweeg kunnen brengen en in strijd zijn met de waarden van de Unie, namelijk eerbied voor de menselijke waardigheid, vrijheid, gelijkheid, democratie en de rechtsstaat, en met de grondrechten die zijn vastgelegd in het Handvest. Zie ook artikel 1 van de AI-verordening, dat bepaalt dat de verordening tot doel heeft EU-waarden als de democratie en de rechtsstaat te beschermen. emotioneel welzijn van personen. Deze vorm van schade is bijzonder belangrijk, omdat die zich in de loop der tijd kan ophopen en weliswaar niet altijd onmiddellijk zichtbaar is, maar langdurige en ernstige gevolgen kan hebben. Het is echter moeilijker om deze schade te meten. Ze moet per geval worden beoordeeld, met name om de ernst ervan te bepalen, rekening houdend met alle relevante omstandigheden. Een AI-buddy die is ontworpen om menselijke spraakpatronen, gedragingen en emoties na te bootsen, maakt bijvoorbeeld gebruik van antropomorfe kenmerken en emotionele signalen om de gevoelens, gemoedstoestand en meningen van gebruikers te beïnvloeden, waardoor die gebruikers emotioneel afhankelijk worden van een dienst die verslavingsgedrag stimuleert en mogelijk aanzienlijke schade veroorzaakt, zoals suïcidaal gedrag en het risico dat schade wordt toegebracht aan andere personen77. (89) Financiële en economische schade kan uiteenlopende nadelige gevolgen omvatten, waaronder financiële verliezen, financiële uitsluiting en economische instabiliteit. Een voorbeeld hiervan is een chatbot die frauduleuze producten aanbiedt, wat aanzienlijke financiële schade veroorzaakt. (90) Bij de beoordeling van de schade die door AI-systemen wordt veroorzaakt in het kader van artikel 5, lid 1, punt a), van de AI-verordening, is het belangrijk te beseffen dat de schade vaak niet op zichzelf staat, maar een combinatie is van verschillende soorten schade, met complexe en veelzijdige negatieve effecten tot gevolg. Inzicht in deze combinatie is van cruciaal belang om de ernst ervan goed te kunnen beoordelen (zie ook punt 3.2.3, b)). Er kan immers sprake zijn van een combinatie van fysieke, psychologische, financiële en economische schade, waardoor de algehele impact op personen en gemeenschappen kan worden verergerd en de negatieve effecten nog breder kunnen worden. Voorbeelden:

• Een AI-systeem dat fysieke schade veroorzaakt, kan ook leiden tot psychologische trauma’s, stress en angst, en omgekeerd. Het verslavende ontwerp van AI-systemen die in producten en andere op AI gebaseerde toepassingen worden gebruikt, kan bijvoorbeeld leiden tot psychologische schade door verslavingsgedrag, angst en depressie te bevorderen. Dit psychologische leed kan vervolgens leiden tot fysieke schade, zoals slapeloosheid en andere stressgerelateerde gezondheidsklachten en fysieke problemen.

• Intimidatie met behulp van AI kan leiden tot zowel psychologische stress als fysieke uitingen van stress, zoals slapeloosheid, een slechtere lichamelijke gezondheid of een verzwakt immuunsysteem.

• Psychische schade als gevolg van het gebruik van AI kan ook leiden tot lichamelijk letsel en overlijden. Zo kunnen online gebruikte AI-systemen gendergerelateerd 77 Renwen Zhang, Han Li, Han Meng, Jinyuan Zhan, Hongyuan Gan en Yi-Chieh Lee (2024), “The Dark Side of AI Companionship: A Taxonomy of Harmful Algorithmic Behaviors in Human-AI Relationships”, 1, 1 (november 2024), 28 bladzijden. geweld in de vorm van intimidatie, stalking, cyberpesten en seksuele afpersing makkelijker maken.

• Individuele psychische schade, bijvoorbeeld door het gebruik van met AI gegenereerde deepfakes van bestaande personen om bepaalde mensen te misleiden en hun besluitvorming, individuele autonomie en keuzevrijheid te ondermijnen, kan ook gepaard gaan met aanzienlijke schade voor groepen personen (bv. omdat zij van dezelfde etnische of raciale afkomst zijn of hetzelfde geslacht hebben als de slachtoffers die in de deepfakes worden getoond). b) Criteria voor de ernst van de schade (91) Het verbod van artikel 5, lid 1, punt a), van de AI-verordening is alleen van toepassing indien de schade die wordt veroorzaakt door de subliminale, manipulatieve en misleidende technieken “aanzienlijk” is. De AI-verordening bevat geen definitie van het begrip “aanzienlijke schade”, maar hieronder moeten aanzienlijke negatieve effecten op de fysieke of psychologische gezondheid of de financiële en economische belangen van personen en groepen personen worden verstaan78. De vaststelling van “aanzienlijke schade” moet op feiten gebaseerd zijn en vereist een zorgvuldige beoordeling van de omstandigheden van elk afzonderlijk geval, maar de individuele effecten moeten in elk geval significant zijn. (92) In andere wetgeving van de Unie wordt het begrip “aanzienlijke schade” ook gebruikt als een genuanceerd en contextafhankelijk begrip dat moet bijdragen aan een hoog niveau van bescherming en preventie79. Naar analogie kunnen daaruit de volgende belangrijke criteria worden afgeleid, die in aanmerking moeten worden genomen bij de beoordeling van wat aanzienlijke schade is in de zin van artikel 5, lid 1, punt a), van de AI-verordening:

• De ernst van de schade heeft betrekking op de mate van schade die is veroorzaakt of redelijkerwijs kan worden veroorzaakt door het gebruik van een AI-systeem dat objectief en aantoonbaar bijdraagt aan de aanzienlijke schade. Het is met name belangrijk om in dit verband rekening te houden met de onderlinge afhankelijkheden in het AI-systeem, de combinatie van verschillende soorten schade en de negatieve gevolgen voor personen of groepen personen.

• Context en cumulatieve effecten80: de specifieke context, met inbegrip van de bestaande situatie, en de cumulatieve effecten van verschillende acties spelen een belangrijke rol bij de beoordeling van de ernst van de schade.

• Omvang en intensiteit: de omvang van de schade en de intensiteit van de negatieve effecten zijn cruciaal om te beoordelen of de schade aanzienlijk is. Of de schade gevolgen heeft voor een groot aantal mensen, is ook relevant voor de beoordeling van de ernst ervan.

• Kwetsbaarheid van de getroffen personen: bepaalde groepen, zoals kinderen, ouderen of personen met een handicap, kunnen gevoeliger zijn voor schade door specifieke AI-systemen. Wat voor personen in het algemeen als minder ernstige schade kan worden beschouwd, kan voor dergelijke kwetsbare groepen, met name kinderen, als aanzienlijk en onaanvaardbaar worden beschouwd.

• Duur en omkeerbaarheid: langdurige of onomkeerbare schade voldoet doorgaans aan de drempel voor aanzienlijke schade. Effecten die van korte duur en omkeerbaar zijn, kunnen als minder significant worden beschouwd, tenzij ze zich vaak voordoen. (93) De doelstelling van de AI-verordening om een “hoog niveau van bescherming” te waarborgen, in samenhang met artikel 191, lid 2, VWEU, duidt erop dat bij de beoordeling van de ernst van de schade een integrale beschermende benadering wordt gevolgd. Dit betekent dat zowel rekening moet worden gehouden met onmiddellijke en rechtstreekse schade als met de systemische, indirecte negatieve effecten van AI- systemen die gebruikmaken van subliminale, doelbewust manipulatieve of misleidende technieken die bedoeld zijn om de individuele autonomie, besluitvorming en keuze van personen en groepen personen te beperken of dat kunnen doen. Aanzienlijke fysieke schade die redelijkerwijs door een AI-systeem kan worden veroorzaakt, omvat bijvoorbeeld letsel, overlijden, voldoende ernstige gevolgen voor de gezondheid van personen of de vernieling van eigendommen. AI-systemen die personen aanmoedigen om strafbare feiten te begaan, zoals seksueel misbruik, seksuele uitbuiting of de publicatie van extreem gewelddadige of terroristische inhoud, of personen ertoe aanzetten misdrijven te plegen of zichzelf of andere personen schade toe te brengen, moeten worden geacht deze drempel te bereiken. Beperkte fysieke schade kan daarentegen bestaan uit minder ernstig letsel, zoals blauwe plekken of tijdelijk ongemak, die geen significante of blijvende gevolgen hebben en daarom niet aan de drempel voor “aanzienlijke schade” in de zin van artikel 5, lid 1, punt a), van de AI-verordening voldoen. Daarnaast moet worden beoordeeld of de fysieke schade specifiek wordt toegebracht aan kwetsbare groepen, zoals kinderen, alsook wat de omvang van de schade is en of de schade wordt verergerd door de combinatie met andere soorten schade, zoals psychische en financiële schade. Dit vereist een beoordeling per geval, rekening houdend met de omstandigheden, waarbij de hierboven uiteengezette criteria als leidraad kunnen dienen. Er zijn talloze gevallen waarin de drempel voor aanzienlijke schade waarschijnlijk niet zal worden gehaald, zelfs als de systemen gebruikmaken van subliminale, doelbewust manipulatieve of misleidende technieken (zie punt 3.5 voor voorbeelden). c) Oorzakelijk verband en redelijke waarschijnlijkheid van de schade (94) Het begrip “redelijkerwijs waarschijnlijk” wordt in artikel 5, lid 1, punt a), van de AI- verordening gebruikt om te bepalen of er een plausibel of redelijk waarschijnlijk oorzakelijk verband bestaat tussen de manipulatieve of misleidende techniek die het gedrag van de betrokkene zodanig kan verstoren dat zijn keuze wordt ondermijnd, en de potentiële aanzienlijke schade. Dit begrip maakt de toepassing van het verbod niet alleen mogelijk in gevallen waarin zich schade heeft voorgedaan, maar ook wanneer redelijkerwijs waarschijnlijk is dat zich schade zal voordoen, uitgaande van de veiligheidsbenadering van de AI-verordening. In dit verband is het met name van belang te beoordelen of de aanbieder of gebruiksverantwoordelijke van het AI-systeem redelijkerwijs had kunnen voorzien welke aanzienlijke schade redelijkerwijs te verwachten viel als gevolg van de subliminale, doelbewust manipulatieve of misleidende technieken en of hij passende preventieve en risicobeperkende maatregelen heeft genomen om het risico op die aanzienlijke schade te voorkomen of te beperken. Dit impliceert dat de redelijkheid moet worden beoordeeld op basis van objectieve en universeel aanvaarde criteria (bv. technische en wetenschappelijke criteria), waaronder een rationaliteitscriterium, om een plausibel oorzakelijk verband te kunnen vaststellen tussen de AI-praktijk en de aanzienlijke schade die zich kan voordoen. De ondoorzichtigheid of transparantie van het AI-systeem en de werking ervan kunnen van invloed zijn op de conclusie over dit oorzakelijk verband en bijgevolg op de toepassing van het verbod. (95) Om te voorkomen dat er AI-systemen worden aangeboden of gebruikt die waarschijnlijk verboden zijn, worden aanbieders en gebruiksverantwoordelijken van AI-systemen die gebruikmaken van dergelijke manipulatieve of misleidende technieken aangemoedigd om passende maatregelen te nemen, zoals:

1. Transparantie en individuele autonomie: zorgen voor transparantie over de werking van het AI-systeem, duidelijke mededelingen over de capaciteiten en beperkingen ervan, en relevante informatie om te waarborgen dat gebruikers geïnformeerde besluiten kunnen nemen; de individuele autonomie eerbiedigen en op uitbuiting gerichte of misleidende praktijken vermijden die de autonomie, besluitvorming en keuze van gebruikers merkbaar kunnen aantasten, met potentiële schade als gevolg; passende maatregelen voor de controle en bescherming van gebruikers nemen om ervoor te zorgen dat het systeem niet misleidend werkt en zich beperkt tot rechtmatige overreding, die buiten het toepassingsgebied van het verbod valt (zie punt 3.5.1).

2. Naleving van de toepasselijke wetgeving: in veel gevallen zal naleving van de toepasselijke wetgeving de risico’s op schade beperken en een aanwijzing vormen dat een praktijk niet doelbewust manipulatief of misleidend is en dat er risicobeperkende maatregelen zijn genomen om mogelijke aanzienlijke schade te voorkomen (zie de punten 3.4 en 3.5.1).

3. Geavanceerde praktijken en sectorale normen: het betrachten van passende professionele zorgvuldigheid en de toepassing van sectorale normen voor de verantwoorde ontwikkeling en het verantwoorde gebruik van veilige en ethische AI-systemen, alsook de toepassing van schadebeperkende maatregelen, kunnen helpen om onbedoelde aanzienlijke schade te voorkomen en te beperken. (96) Schade en verstoring van het gedrag van personen die het gevolg zijn van factoren buiten het AI-systeem en waarover de aanbieder of de gebruiksverantwoordelijke geen controle heeft en die zij redelijkerwijs niet kunnen voorzien met het oog op het voorkomen en beperken van risico’s, zijn daarentegen niet relevant bij de beoordeling van de vraag of er een plausibel of redelijkerwijs waarschijnlijk oorzakelijk verband is tussen het verstoorde gedrag van de personen die met het systeem interageren en de aanzienlijke schade81. De aanbieder van een AI-systeem kan bijvoorbeeld de potentieel schadelijke manipulatieve effecten van het ontwerp van het systeem op de interactie met mensen beoordelen en proberen deze te beperken door middel van het ontwerp, na voorafgaande tests en andere evenredige risicobeperkende maatregelen, maar kan niet voorzien of een persoon gedeprimeerd zal raken of zijn gedrag zal veranderen als gevolg van andere externe factoren in zijn persoonlijke leven die niet bekend zijn en losstaan van zijn interactie met het systeem. (97) In punt 3.5 worden andere voorbeelden gegeven van gevallen die buiten het toepassingsgebied van het verbod vallen omdat zij niet aan alle voorwaarden voldoen (bv. in geval van rechtmatige overreding).

3.3. Belangrijkste onderdelen van het verbod van artikel 5, lid 1, punt b), van

de AI-verordening — schadelijk gebruikmaken van kwetsbaarheden Artikel 5, lid 1, punt b), van de AI-verordening luidt als volgt:

1. De volgende AI-praktijken zijn verboden: b) het in de handel brengen, het in gebruik stellen of het gebruiken van een AI-systeem dat gebruikmaakt van de kwetsbaarheden van een natuurlijke persoon of specifieke groep personen als gevolg van hun leeftijd, handicap of een specifieke sociale of economische omstandigheid, met als doel of met als gevolg het gedrag van die persoon of personen die tot deze groep behoren, wezenlijk te verstoren op een wijze die ertoe leidt of waarvan redelijkerwijze te verwachten is dat deze ertoe zal leiden dat deze of andere personen aanzienlijke schade oplopen; (98) Voor de toepassing van het verbod van artikel 5, lid 1, punt b), van de AI-verordening moet aan verschillende cumulatieve voorwaarden worden voldaan: (i) De praktijk moet bestaan uit het “in de handel brengen”, het “in gebruik stellen” of het “gebruiken” van een AI-systeem. (ii) Het AI-systeem moet gebruikmaken van kwetsbaarheden als gevolg van leeftijd, handicap of sociale of economische omstandigheden. (iii)Het door het AI-systeem mogelijk gemaakte gebruik moet als doel of als gevolg hebben dat het gedrag van een persoon of een groep personen wezenlijk wordt verstoord. (iv) Het verstoorde gedrag moet de betrokken personen, andere personen of een groep personen aanzienlijke schade toebrengen of redelijkerwijs kunnen toebrengen. (99) Voor de toepassing van het verbod moet tegelijkertijd aan alle vier de voorwaarden worden voldaan en moet er een plausibel oorzakelijk verband bestaan tussen het gebruik van het systeem, de wezenlijke verstoring van het gedrag van de betrokken personen en de aanzienlijke schade die dat gedrag tot gevolg heeft gehad of redelijkerwijs kan hebben. (100) De eerste voorwaarde, namelijk het “in de handel brengen”, het “in gebruik stellen” of het “gebruiken” van een AI-systeem, is reeds geanalyseerd in punt 2.3. De derde en vierde voorwaarde zijn onderzocht in de punten 3.2.2 en 3.2.3 in verband met het verbod van artikel 5, lid 1, punt a), van de AI-verordening. In de volgende punten zal worden ingegaan op de hierboven vermelde extra specifieke voorwaarden, d.w.z. die met betrekking tot het gebruikmaken van kwetsbaarheden en de specifieke schade. 3.3.1. Gebruikmaken van kwetsbaarheden als gevolg van leeftijd, handicap of een specifieke sociale of economische omstandigheid (101) Om binnen het toepassingsgebied van het verbod van artikel 5, lid 1, punt b), van de AI-verordening te vallen, moet het AI-systeem gebruikmaken van kwetsbaarheden die inherent zijn aan bepaalde personen of groepen personen als gevolg van hun leeftijd, handicap of specifieke sociale of economische omstandigheid, waardoor zij bijzonder gevoelig zijn voor manipulatie en uitbuiting. (102) In de AI-verordening wordt het begrip “kwetsbaarheden” niet gedefinieerd. Dit begrip kan een groot aantal categorieën omvatten, waaronder cognitieve, emotionele, fysieke en andere vormen van gevoeligheid die het vermogen van een persoon of groep personen om geïnformeerde beslissingen te nemen, aantasten of hun gedrag anderszins beïnvloeden. Hoewel in artikel 5, lid 1, punt b), van de AI-verordening wordt gesproken over kwetsbaarheden in het algemeen, wordt het verbod beperkt tot personen met een bepaalde leeftijd, handicap of sociale of economische omstandigheid, die in beginsel slechter in staat zijn om manipulatie of uitbuiting door middel van AI te herkennen of te weerstaan en die betere bescherming nodig hebben82. Uit de bewoordingen van artikel 5, lid 1, punt b), van de AI-verordening volgt dat deze gevoeligheid het gevolg moet zijn van het feit dat de betrokken persoon tot een van die groepen behoort (“als gevolg van”). (103) Onder “gebruik” of “gebruikmaken” moet worden verstaan het objectief gebruikmaken van dergelijke kwetsbaarheden op een wijze die schadelijk is voor de betrokken (groepen) personen of andere personen. Dit moet duidelijk worden onderscheiden van legale praktijken waarop het verbod niet van toepassing is (zie punt 3.5.2 over praktijken die buiten het toepassingsgebied vallen). Het gebruik van de kwetsbaarheden van personen die tot die duidelijk omschreven groepen behoren, kan cumulatief zijn (gesproken wordt over “kwetsbaarheden” in het algemeen); gebruik van verschillende vormen van kwetsbaarheid kan een verzwarende factor vormen waardoor de schade 82 Zie met name de artikelen 24, 25 en 26 van het Handvest. Zie ook de aanbeveling van de Organisatie van de Verenigde Naties voor Onderwijs, Wetenschap en Cultuur (Unesco) over de ethiek van artificiële intelligentie (2021), waarin de nadruk wordt gelegd op inclusiviteit en rechtvaardigheid bij de ontwikkeling en toepassing van AI. Hierin wordt aangedrongen op bijzondere aandacht voor kwetsbare groepen, waaronder kinderen, ouderen en mensen met een handicap. mogelijk wordt vergroot. Gebruik van de kwetsbaarheden van personen en groepen personen die behoren tot groepen die kwetsbaar zijn om andere redenen dan leeftijd, handicap of specifieke sociale of economische omstandigheden, vallen buiten het toepassingsgebied van artikel 5, lid 1, punt b), van de AI-verordening. a) Leeftijd (104) Een eerste kwetsbare categorie die onder het verbod van artikel 5, lid 1, punt b), van de AI-verordening valt, zijn personen die kwetsbaar zijn als gevolg van hun leeftijd. Hieronder vallen zowel jongeren als ouderen. Dit verbod heeft tot doel te voorkomen dat AI-systemen misbruik maken van eventuele cognitieve of andere beperkingen van kinderen en ouderen, en hen te beschermen tegen schadelijke ongepaste beïnvloeding, manipulatie en uitbuiting. Dit sluit aan bij de doelstellingen van de AI-verordening83 en andere rechtskaders en beleidsmaatregelen van de Unie en de lidstaten die gericht zijn op het waarborgen van de veiligheid van kinderen84. (105) Kinderen85, d.w.z. personen jonger dan 18 jaar, zijn bijzonder gevoelig voor manipulatie vanwege de fase van ontwikkeling waarin zij zich bevinden, waardoor hun vermogen om te beoordelen en te begrijpen wat echt is en wat de bedoelingen achter AI-gestuurde interacties zijn, ernstig wordt beperkt. Kinderen zijn vanwege hun cognitieve en sociaal-emotionele onvolwassenheid ook bijzonder geneigd om gehecht te raken aan AI-agenten en -toepassingen, en zijn daarom gevoeliger voor manipulatie, uitbuiting en het ontwikkelen van verslavingsgedrag. Voorbeelden:

• Een AI-gestuurd stuk speelgoed voor kinderen houdt hun belangstelling vast door hen aan te moedigen om steeds riskantere uitdagingen aan te gaan, zoals meubels beklimmen, op hoge planken kruipen of scherpe voorwerpen gebruiken, in ruil voor digitale beloningen en virtuele complimenten, wat hen aanzet tot gevaarlijk gedrag waardoor zij mogelijk aanzienlijk fysiek letsel zullen oplopen. Een dergelijk systeem maakt misbruik van de kwetsbaarheden van kinderen door gebruik te maken van hun natuurlijke nieuwsgierigheid en hun verlangen naar beloningen.

• Een spel gebruikt AI om het individuele gedrag en de voorkeuren van kinderen te analyseren. Op basis hiervan creëert het gepersonaliseerde en onvoorspelbare beloningen door middel van verslavingsbevorderende mechanismen en dopamineachtige loops waarmee mateloos spelgedrag en dwangmatig gebruik worden aangemoedigd. Het spel is ontworpen om zeer verslavend te zijn, waarbij gebruik wordt gemaakt van de kwetsbaarheden die kinderen eigen zijn, zoals hun beperkte vermogen om de gevolgen op lange termijn te begrijpen, hun gevoeligheid voor druk, hun gebrek aan zelfbeheersing en hun neiging tot onmiddellijke voldoening. Dit op 83 In overweging 48 van de AI-verordening wordt benadrukt dat kinderen specifieke rechten hebben, die zijn vastgelegd in artikel 24 van het Handvest en in het Verdrag van de Verenigde Naties inzake de rechten van het kind, nader uitgewerkt in algemene opmerking nr. 25 van het VN-Comité voor de rechten van het kind met betrekking tot de digitale omgeving, waarbij telkens wordt geëist dat rekening wordt gehouden met de kwetsbaarheid van kinderen en dat zij de bescherming en zorg krijgen die nodig zijn voor hun welbevinden. 84 Zie de nieuwe Europese strategie voor een beter internet voor kinderen (BIK+) (COM(2022) 212 final). 85 In het Unierecht wordt een kind over het algemeen gedefinieerd als een persoon jonger dan 18 jaar, in overeenstemming met het Verdrag van de Verenigde Naties inzake de rechten van het kind (VRK). AI gebaseerd gebruik kan ernstige en langdurige gevolgen voor kinderen hebben, waaronder mogelijk verslavingsgedrag, fysieke gezondheidsproblemen als gevolg van een gebrek aan lichaamsbeweging en slaap, een verslechterd gezichtsvermogen, concentratieproblemen, verminderde cognitieve vermogens, slechte schoolprestaties en sociale problemen. Het kan ook aanzienlijke gevolgen hebben voor de ontwikkeling en het welzijn van een kind, met mogelijke gevolgen op langere termijn waar zij zelfs als volwassene nog last van kunnen hebben. In beide voorbeelden is het verbod van artikel 5, lid 1, punt b), van de AI-verordening alleen bedoeld voor gebruik en verslavingsbevorderende praktijken waardoor kinderen ernstig worden geschaad en niet voor op AI gebaseerd speelgoed of op AI gebaseerde spelletjes, leertoepassingen of andere digitale toepassingen in het algemeen, waar zij baat bij kunnen hebben. Ook vallen praktijken niet binnen het toepassingsgebied als zij niet aan alle voorwaarden voor dat verbod voldoen. Zie ook punt 3.5 over praktijken die buiten het toepassingsgebied vallen. (106) Ook ouderen86 kunnen last hebben van verminderde cognitieve vermogens (ook als ze niet aan dementie lijden) en kunnen worstelen met de complexiteit van moderne AI- technologieën, waardoor zij kwetsbaar worden voor oplichting of dwangtactieken. Voorbeelden:

• AI-systemen die worden gebruikt om ouderen misleidende gepersonaliseerde aanbiedingen te doen of op te lichten, en daarbij gebruikmaken van hun verminderde cognitieve vermogens om hen ertoe te brengen beslissingen te nemen die zij anders niet zouden hebben genomen en die hen mogelijk aanzienlijke financiële schade zullen berokkenen.

• Een robot die bedoeld is om ouderen te helpen, kan misbruik maken van hun kwetsbare situatie en hen dwingen om tegen hun wil bepaalde activiteiten uit te voeren, waardoor hun geestelijke gezondheid aanzienlijk kan verslechteren en hun ernstige psychologische schade kan worden toegebracht. In beide voorbeelden is het verbod van artikel 5, lid 1, punt b), van de AI-verordening alleen bedoeld voor uitbuitingspraktijken die ouderen ernstige schade kunnen berokkenen en niet voor op AI gebaseerde persoonlijke assistenten, gezondheidstoepassingen en ondersteunende robots in het algemeen, waar zij baat bij kunnen hebben. Ook praktijken die niet aan alle voorwaarden voor dat verbod voldoen, vallen niet binnen het toepassingsgebied. Zie ook punt 3.5 over praktijken die buiten het toepassingsgebied vallen. b) Handicap (107) De tweede kwetsbare categorie die het verbod van artikel 5, lid 1, punt b), van de AI- verordening beoogt te beschermen, zijn personen met kwetsbaarheden als gevolg van een handicap. Het doel is te voorkomen dat AI-systemen gebruikmaken van cognitieve en andere beperkingen en de zwakke punten van personen met een handicap en hen te beschermen tegen schadelijke ongepaste beïnvloeding, manipulatie en uitbuiting. (108) Handicaps87 omvatten een groot aantal langdurige fysieke, mentale, intellectuele en zintuiglijke beperkingen waardoor de betrokken personen in hun interactie te kampen hebben met diverse drempels die hen kunnen beletten volledig, effectief en op voet van gelijkheid met anderen in de samenleving te participeren. AI-systemen die gebruikmaken van dergelijke kwetsbaarheden, kunnen bijzonder schadelijk zijn voor personen met een handicap, die vanwege hun beperking gemakkelijker kunnen worden beïnvloed of uitgebuit dan andere personen. Voorbeelden:

• Een therapeutische chatbot die ondersteuning biedt op het gebied van geestelijke gezondheid - waaronder strategieën voor personen met een geestelijke handicap om beter met hun beperking om te gaan - kan gebruikmaken van hun beperkte intellectuele vermogens om hen ertoe te brengen dure medische producten te kopen of zich te gedragen op een manier die schadelijk is voor henzelf of voor andere personen.

• AI-systemen kunnen vrouwen en jonge meisjes met een handicap online identificeren en hen benaderen met doeltreffendere groomingtechnieken en inhoud die gericht is op seksueel misbruik, gebruikmakend van hun beperkingen en kwetsbaarheden, die hen vatbaarder maken voor manipulatie en misbruik en waardoor zij slechter in staat zijn zichzelf te beschermen. AI-toepassingen die niet toegankelijk zijn ontworpen, worden daarentegen niet geacht kwetsbaarheden van personen met een handicap uit te buiten, aangezien zij niet specifiek ontworpen zijn om gebruik te maken van die kwetsbaarheden, maar eenvoudigweg ontoegankelijk zijn voor personen met een handicap. c) Specifieke sociale of economische omstandigheid (109) De derde kwetsbare categorie die het verbod van artikel 5, lid 1, punt b), van de AI- verordening beoogt te beschermen, zijn personen met kwetsbaarheden als gevolg van een specifieke sociale of economische omstandigheid, waardoor zij kwetsbaarder zijn voor uitbuiting. “Specifieke” moet in dit verband niet worden opgevat als een uniek individueel kenmerk, maar eerder als een juridische status of het gegeven dat de betrokkene tot een specifieke kwetsbare sociale of economische groep behoort. Overweging 29 van de AI-verordening bevat een niet-uitputtende lijst met voorbeelden van dergelijke omstandigheden, zoals personen die in extreme armoede leven of tot een etnische of religieuze minderheid behoren. Deze categorie heeft in principe betrekking op relatief stabiele, langdurige kenmerken, maar ook omstandigheden van korte duur, zoals tijdelijke werkloosheid, schuldenproblemen of de status van migrant, kunnen als een specifieke sociale of economische omstandigheid worden aangemerkt. Omstandigheden zoals eenzaamheid of andere problemen waar iedereen mee kan 87 In overweging 29 van de AI-verordening wordt toegelicht dat “handicap” moet worden begrepen in de zin van artikel 3, punt 1, van Richtlijn (EU) 2019/882 van het Europees Parlement en de Raad van 17 april 2019 betreffende de toegankelijkheidsvoorschriften voor producten en diensten, PE/81/2018/REV/1 (PB L 151 van 7.6.2019, blz. 70). kampen, vallen echter niet onder de verordening, aangezien zij vanuit sociaal- economisch oogpunt niet specifiek zijn (misbruik ervan kan evenwel onder artikel 5, lid 1, punt a), van de AI-verordening vallen). (110) Personen die zich in een sociaal of economisch achtergestelde omstandigheid bevinden, zijn doorgaans kwetsbaarder en beschikken over minder middelen en zijn minder digitaal geletterd dan de gemiddelde burger, waardoor het voor hen moeilijker is om op uitbuiting gerichte AI-praktijken te herkennen of te weerstaan. Artikel 5, lid 1, punt b), van de AI-verordening heeft tot doel ervoor te zorgen dat AI-technologieën bestaande financiële ongelijkheid en andere vormen van sociale ongelijkheid en onrechtvaardigheid niet in stand houden of verergeren door gebruik te maken van de kwetsbaarheden van deze personen. Voorspellende AI-algoritmen kunnen bijvoorbeeld worden gebruikt om reclame te maken voor financiële producten waarmee wordt geprobeerd misbruik te maken van mensen die in postcodegebieden met lage inkomens wonen en zich in een moeilijke financiële situatie bevinden, en derhalve vatbaarder zijn voor dergelijke reclame omdat zij mogelijk wanhopig zijn, waardoor ze aanzienlijke financiële schade kunnen lijden. Daarentegen mag een AI-systeem dat onbedoeld vertekend is en onevenredige gevolgen heeft voor sociaal kansarme personen (indirecte discriminatie) als gevolg van bevooroordeelde trainingsgegevens, niet automatisch worden geacht gebruik te maken van hun sociaal-economische kwetsbaarheid, aangezien zij geen specifiek doelwit zijn, zoals in het geval van directe discriminatie, waarbij een dergelijke gerichte benadering bewust tijdens het ontwerp van het algoritme in het systeem is ingebouwd of die discriminerende effecten zich voordoen omdat het systeem zich richt op andere kenmerken (bv. postcodes) die nauw verband houden met de beschermde kenmerken. Daarnaast moeten aanbieders of gebruiksverantwoordelijken van AI-systemen die zich ervan bewust zijn dat hun systemen personen of groepen personen in een specifieke sociale of economische omstandigheid op onrechtmatige wijze discrimineren, ook worden geacht hun kwetsbaarheden uit te buiten indien zij zich ervan bewust zijn dat die personen waarschijnlijk aanzienlijke schade zullen lijden en zij geen passende corrigerende maatregelen hebben genomen (zie punt 3.2.3, c)). (111) In verband met specifieke sociale of economische omstandigheden is het cruciaal rekening te houden met indicatoren die nauw gerelateerd zijn aan de discriminatiegronden waartegen het recht inzake gelijke behandeling van de Unie bescherming biedt, zoals ras, etniciteit, nationaliteit of godsdienst. Sociaal-economische status en etnische afkomst kunnen elkaar bijvoorbeeld overlappen, wat betekent dat AI-systemen die gebruikmaken van sociaal-economische gegevens etnische minderheden of personen van een specifieke etnische afstamming onevenredig kunnen treffen. Dit kan bestaande ongelijkheden vergroten en bijdragen tot systemische discriminatie of zelfs tot uitsluiting van personen. Artikel 5, lid 1, punt b), van de AI-verordening is echter niet van toepassing op AI- systemen die zich op consumenten richten op basis van brede variabelen die geen raakvlakken hebben met kwetsbare groepen in specifieke sociale of economische omstandigheden, zoals welk merk of model telefoon iemand heeft, de grootte van de stad waar zij wonen, hoeveel en waarheen zij reizen enz. Ook al kunnen deze kenmerken een beeld geven van de sociale of economische omstandigheid van personen in het algemeen, zij zijn niet bepalend voor kwetsbare personen in een specifieke sociale of economische omstandigheid, die het verbod beoogt te beschermen tegen uitbuiting. (112) Andere mensen in een unieke sociale situatie zijn bijvoorbeeld migranten of vluchtelingen, die vaak geen stabiele juridische status hebben, noch sociaal- economische stabiliteit, en die bijzonder vatbaar kunnen zijn voor uitbuiting door AI- systemen. Voorbeeld: een chatbot is ontworpen om op gepersonaliseerde wijze te communiceren met gebruikers, waaronder zich ook migranten bevinden. De chatbot identificeert hen als zodanig en maakt gebruik van de kwetsbaarheid en ontevredenheid van deze migranten, die zich in principe in een kwetsbare en instabiele sociale of economische omstandigheid bevinden, en gebruikt de antwoorden op hun vragen om hen aan te zetten tot extremistische standpunten, waaronder geweld tegen de lokale bevolking (of bepaalde bevolkingsgroepen). 3.3.2. Met als doel of als gevolg gedrag wezenlijk te verstoren (113) De derde voorwaarde voor de toepassing van het verbod van artikel 5, lid 1, punt b), van de AI-verordening is dat de uitbuiting van de hierboven onderzochte kwetsbaarheden a) “als doel” of b) “als gevolg” heeft het gedrag van een persoon of groep personen wezenlijk te verstoren. Dit betekent dat er sprake moet zijn van een aanzienlijk effect, en niet van een klein of onbeduidend effect. Opzet is niet per se vereist, aangezien artikel 5, lid 1, punt b), van de AI-verordening mede betrekking heeft op praktijken die alleen “als gevolg” hebben dat gedrag wezenlijk wordt verstoord. Artikel 5, lid 1, punten a) en b), van de AI-verordening bevatten dezelfde begrippen en moeten derhalve op dezelfde manier worden uitgelegd. De toelichting in punt 3.2.2 geldt dus ook voor artikel 5, lid 1, punt b), van de AI-verordening. Het enige noemenswaardige verschil is dat in artikel 5, lid 1, punt a), van de AI-verordening vereist wordt dat de op uitbuiting gerichte praktijk het “vermogen om een geïnformeerd besluit te nemen merkbaar […] belemmer[t]”, hetgeen niet voorkomt in artikel 5, lid 1, punt b), van de AI-verordening, aangezien de specifieke kwetsbaarheden van kinderen en andere kwetsbare personen hun vermogen beperken om dergelijke geïnformeerde besluiten te nemen, zodat zij tot bepaald gedrag worden gedwongen zonder zich te kunnen verdedigen zoals (andere) volwassenen. 3.3.3. (Redelijkerwijs kunnen) veroorzaken van aanzienlijke schade (114) Ten slotte is het verbod van artikel 5, lid 1, punt b), van de AI-verordening slechts van toepassing indien de verstoring van het gedrag van die kwetsbare persoon of groep personen die persoon of een andere persoon aanzienlijke schade berokkent of redelijkerwijs kan berokkenen. Artikel 5, lid 1, punten a) en b), van de AI-verordening bevatten dezelfde begrippen en moeten derhalve op dezelfde manier worden uitgelegd. De toelichting in punt 3.2.3 met betrekking tot de soorten schade, de drempel voor de ernst van de schade en het (redelijke) oorzakelijke verband is dus net zo van belang voor de uitlegging van artikel 5, lid 1, punt b), van de AI-verordening. (115) Zoals uiteengezet in punt 3.2.3, omvat aanzienlijke schade uiteenlopende negatieve gevolgen, waaronder fysieke, psychologische, financiële en economische schade, die redelijkerwijs te verwachten moet zijn wil het verbod van artikel 5, lid 1, punt b), van de AI-verordening kunnen worden toegepast. Voor kwetsbare groepen — kinderen, ouderen, personen met een handicap en sociaal-economisch achtergestelde bevolkingsgroepen — kan deze schade bijzonder ernstig en veelzijdig zijn vanwege de verhoogde kans op uitbuiting. Wat als een aanvaardbaar risico op schade voor volwassenen kan worden beschouwd, vormt vaak onaanvaardbare schade voor kinderen en deze andere kwetsbare groepen. Daarom is een voorzorgsbenadering bijzonder wenselijk in geval van onzekerheid en mogelijke aanzienlijke schade. (116) Kinderen zijn bijvoorbeeld sterk te beïnvloeden en mogelijk cognitief nog onvoldoende ontwikkeld om overtuigende inhoud kritisch te beoordelen of zich te verzetten tegen bepaalde uitbuitingspraktijken die erop gericht zijn hun afhankelijkheid van op AI gebaseerde diensten in stand te houden. Dit kan er op zijn beurt toe bijdragen dat hun waarden, overtuigingen en gedrag op potentieel schadelijke manieren worden gevormd en gestuurd. De aanzienlijke schade is hier zowel fysiek als psychologisch en wordt nog verergerd door het onvermogen van kinderen om de uitbuiting en de schadelijke gevolgen voor hun ontwikkeling en welzijn, mogelijk op lange termijn, te herkennen en te weerstaan. Voorbeelden:

• AI-systemen die worden gebruikt om materiaal van seksueel misbruik van kinderen te generen (of bestaand materiaal met echte kinderen manipuleren om nieuwe inhoud te creëren waarin zij voorkomen) en de ontwikkeling van strategieën voor grooming en seksuele afpersing van kinderen kunnen leiden tot ernstige schade en misbruik van de getroffen kinderen en zullen vaak langdurige fysieke, psychologische en sociale gevolgen voor de slachtoffers hebben88.

• AI-systemen kunnen zich specifiek richten op de kwetsbaarheden van jonge gebruikers en gebruikmaken van verslavingsbevorderende mechanismen om hen afhankelijk te houden van een bepaalde dienst, wat bijzonder schadelijk is voor jongeren, en vooral meisjes. Zij kunnen ernstige fysieke en psychologische schade veroorzaken, waaronder angst en depressie, een negatief lichaamsbeeld, eetstoornissen en geestelijke gezondheidsproblemen, die in sommige gevallen kunnen leiden tot zelfbeschadiging en zelfmoordneigingen89. Dit kan op lange termijn ook schadelijke gevolgen hebben voor de ontwikkeling van kinderen, waaronder een 88 Werkdocument van de diensten van de Commissie: “Impact Assessment Report accompanying the document Proposal for a Directive of the European Parliament and the Council on combating child sexual abuse and sexual exploitation and child sexual abuse material” (SWD(2024) 33 final). Voor statistieken, zie ook het verslag uit 2024 van de Internet Watch Foundation, met gedetailleerde statistieken over door AI gegenereerd materiaal van seksueel misbruik van kinderen: https://www.iwf.org.uk/about-us/why-we- exist/our-research/how-ai-is-being-abused-to-create-child-sexual-abuse-imagery. 89 Elizabeth J. et al., “A meta-analysis of the association between adolescent social media use and depressive symptoms”, Journal of Affective Disorders, nummer 275, 1 oktober 2020, blz. 165-174. slechtere cognitieve ontwikkeling, verminderd leervermogen, verminderde sociale vaardigheden en de verdringing van ervaringen zoals fysiek spel, slaap en persoonlijke sociale interactie, die essentieel zijn voor het emotionele en fysieke welzijn van kinderen90.

• Een AI-systeem dat op antropomorfe wijze is ontworpen en bij zijn interactie met kinderen menselijke emotionele reacties simuleert, kan gebruikmaken van de kwetsbaarheden van kinderen op een manier die een ongezonde emotionele binding creëert, de duur van de interactie manipuleert en het beeld verstoort dat kinderen van authentieke menselijke relaties hebben. Dit kan hun normale sociale en emotionele ontwikkeling, relaties met andere mensen en de ontwikkeling van hun sociaal- emotionele vaardigheden belemmeren, zoals empathie, de controle van emoties, sociale intelligentie en sociaal aanpassingsvermogen91. Dit kan op zijn beurt leiden tot psychologische schade, zoals toegenomen angstgevoelens, afhankelijkheid van de dienst en aantasting op langere termijn van het welzijn van het kind. Dergelijke doelbewust verslavende en op uitbuiting gerichte ontwerpkenmerken van op AI gebaseerde diensten die kunnen leiden tot een combinatie van verschillende vormen van aanzienlijke schade, zoals hierboven beschreven, moeten worden onderscheiden van ander, legitiem gedrag van aanbieders en gebruiksverantwoordelijken om de betrokkenheid van gebruikers te vergroten maar waarbij de individuele autonomie en de veiligheid van kinderen worden geëerbiedigd en niet tot aanzienlijke schade leidt, zodat het buiten het toepassingsgebied van artikel 5, lid 1, punt b), van de AI- verordening valt (zie punt 5.3 over praktijken die buiten het toepassingsgebied vallen). (117) Ouderen kunnen op hun beurt kampen met cognitieve achteruitgang en een verminderde digitale geletterdheid, waardoor zij een belangrijk doelwit worden van oplichting of manipulatieve marketing met behulp van AI. De schade is in dit geval vaak financieel en psychologisch en wordt nog verergerd door de frustratie en het isolement van veel ouderen, wat kan worden misbruikt om de manipulatieve effecten te versterken. Zo kan een AI-systeem dat de verminderde cognitieve vaardigheden van ouderen gebruikt om hen met name dure medische behandelingen, onnodige verzekeringspolissen of bedrieglijke investeringsregelingen voor ouderen aan te bieden, leiden tot aanzienlijk verlies van spaargeld, hogere schulden en emotionele problemen bij ouderen. Wanneer voor essentiële diensten op basis van AI een gedifferentieerde prijsstelling wordt gehanteerd, zoals verzekeringen die misbruik maken van een specifieke sociale of economische omstandigheid en hogere prijzen vragen aan consumenten met een 90 Siebers, T., Beyens, I., Pouwels, J.L. & Valkenburg, P.M., “Social Media and Distraction: An Experience Sampling Study among Adolescents”, Media Psychology 25, blz. 343-366 (2022). 91 Laestadius, L., Bishop, A., Gonzalez, M., Illenčík, D. & Campos-Castillo, C., “Too human and not human enough: A grounded theory analysis of mental health harms from emotional dependence on the social chatbot Replika”, New Media & Society 146144482211420 (2022), doi:10.1177/14614448221142007; Neugnot-Cerioli, M. -Laurenty, O.M., “The Future of Child Development in the AI Era. Cross-Disciplinary Perspectives Between AI and Child Development Experts”, Preprint op https://doi.org/10.48550/ARXIV.2405.19275 (2024). lager inkomen, waardoor zij meer moeten betalen voor dezelfde dekking, kan dit leiden tot aanzienlijke financiële lasten, waardoor zij kwetsbaar worden voor schokken92. (118) Personen met een handicap vormen ook een kwetsbare groep die aanzienlijke schade kan lijden door op uitbuiting gerichte en manipulatieve AI-systemen. Een AI-systeem dat gebruikmaakt van emotieherkenning om geestelijk gehandicapten in hun dagelijks leven te ondersteunen, kan hen bijvoorbeeld ook manipuleren en aanzetten tot ongunstige beslissingen, zoals het kopen van producten die onrealistische voordelen voor de geestelijke gezondheid beloven. Hierdoor kan hun geestelijke gezondheid verslechteren, en de aankoop van waardeloze, dure producten kan leiden tot financiële uitbuiting, wat hen aanzienlijke psychologische en financiële schade kan berokkenen. (119) Sociaal of economisch achtergestelde personen zijn bijzonder kwetsbaar voor AI- systemen die misbruik maken van hun wanhopige financiële omstandigheden en precaire sociale situatie. Ook zijn zij vaak slechter geïnformeerd en minder digitaal geletterd. Een AI-chatbot kan zich bijvoorbeeld richten op specifieke sociaal of economisch achtergestelde groepen en hen aanzetten tot geweld of het verwonden van andere personen door vast te stellen of zij gevoeliger zijn voor bepaalde soorten inhoud, angstaanjagende verhalen of op uitbuiting gerichte aanbiedingen. Door de gerichte aanpak van het systeem worden de bestaande kwetsbaarheden van deze sociaal- economisch achtergestelde personen verergerd en hun problemen vergroot. In bepaalde gevallen kan dit leiden tot toegenomen angstgevoelens, depressie, gevoelens van hulpeloosheid, sociaal isolement, zelfbeschadiging of radicalisering, in zodanige mate dat er sprake is van aanzienlijke schade in de zin van artikel 5, lid 1, punt b), van de AI- verordening. (120) In tegenstelling tot artikel 5, lid 1, punt a), van de AI-verordening wordt in artikel 5, lid 1, punt b), van de AI-verordening niet uitdrukkelijk gesproken over schade die aan een groep wordt toegebracht; in overweging 29 van de AI-verordening wordt echter in verband met beide verbodsbepalingen gesproken over schade die zowel aan specifieke personen als aan groepen personen wordt berokkend. De twee verbodsbepalingen moeten dus consistent worden uitgelegd, in overeenstemming met de veiligheidsbenadering van de AI-verordening en met de doelstelling van het verbod van artikel 5, lid 1, punt b), dat beoogt alle personen te beschermen die tot de genoemde specifieke kwetsbare groepen behoren als gevolg van hun leeftijd, handicap of specifieke sociale of economische omstandigheid. Schade die bredere externe gevolgen en gevolgen voor andere personen heeft - ook al wordt die niet rechtstreeks veroorzaakt door het systeem - moet daarom ook in aanmerking worden genomen bij de beoordeling van de ernst van de schade uit hoofde van artikel 5, lid 1, punt b), van de AI- verordening. Voorbeelden:

• Op AI gebaseerd gebruik van de kwetsbaarheden van kinderen kan op lange termijn maatschappelijke gevolgen hebben, waaronder meer geestelijke gezondheidsproblemen, hogere kosten van gezondheidszorg en lagere productiviteit als gevolg van chronische gezondheidsproblemen.

• Een AI-systeem dat gebruikmaakt van de financiële kwetsbaarheid van economisch achtergestelde personen kan leiden tot financiële uitsluiting en voor die kansarme groepen een neerwaartse spiraal van sociaal-economische problemen creëren. Dit soort uitbuiting kan leiden tot maatschappelijke schade en bredere negatieve gevolgen voor maatschappelijke structuren en waarden, waaronder het in stand houden en verergeren van discriminatie en sociale ongelijkheid en de uitsluiting van die groepen.

• Een chatbot die zich met misinformatie of haatspraak richt tot bepaalde kwetsbare sociale of economische groepen kan sociale verdeeldheid en radicalisering teweegbrengen en mogelijk aanzetten tot geweld, waardoor andere personen zelfs gewond kunnen raken of het leven kunnen laten. (121) Deze voorbeelden van op uitbuiting gerichte AI-praktijken moeten worden onderscheiden van talrijke andere AI-systemen die geen gebruikmaken van de kwetsbaarheden van kinderen, personen met een handicap of personen in specifieke sociale of economische omstandigheden en waarvan redelijkerwijs niet kan worden verwacht dat die aanzienlijke schade zullen veroorzaken, maar waarbij zij juist baat hebben indien die goed worden ontworpen en gebruikt (zie ook punt 3.5 over praktijken die buiten het toepassingsgebied vallen). Voorbeelden:

• AI-systemen die kinderen helpen tijdens het leren en bij spelletjes.

• AI-systemen die ouderen in hun dagelijks leven helpen en hun gezondheid en medische zorg verbeteren, zoals persoonlijke assistenten of ondersteunende robots, of die hun digitale vaardigheden verbeteren.

• AI-systemen die de economische en andere vormen van integratie van sociaal kansarme personen in de samenleving ondersteunen, hun vaardigheden verbeteren enz.

• AI-systemen en -apparaten die personen met een visuele of auditieve handicap ondersteunen of aangepaste en gepersonaliseerde leermethoden aanbieden.

• AI-systemen die toegankelijke oplossingen creëren om belemmeringen voor het gebruik van producten en diensten door personen met een handicap weg te nemen.

• Met AI gecreëerde prothesen enz. die personen met een handicap helpen in hun dagelijks leven en hun integratie in en volwaardige deelname aan de samenleving mogelijk maken.

3.4. Samenhang tussen de verbodsbepalingen van artikel 5, lid 1, punten a)

en b), van de AI-verordening (122) De samenhang tussen de verbodsbepalingen van artikel 5, lid 1, punten a) en b), van de AI-verordening vereist dat de specifieke contexten waarop elke bepaling betrekking heeft, duidelijk worden afgebakend om ervoor te zorgen dat zij complementair worden toegepast. (123) Het verbod van artikel 5, lid 1, punt a), van de AI-verordening is in de eerste plaats gericht op de aard van de technieken, met name die waarvan de betrokken personen zich niet bewust zijn of andere doelbewust manipulatieve of misleidende technieken. De belangrijkste elementen hierbij zijn het hoofdzakelijk heimelijke karakter van de beïnvloeding door het systeem en het effect ervan op de betrokkene, waardoor zijn cognitieve autonomie (waarmee hij geïnformeerde en autonome beslissingen neemt) wordt ondermijnd. (124) Het verbod van artikel 5, lid 1, punt b), van de AI-verordening is daarentegen in de eerste plaats gericht op de bescherming van personen die bijzonder kwetsbaar zijn vanwege hun leeftijd, handicap of specifieke sociale of economische omstandigheid, en daardoor in beginsel gevoeliger zijn voor uitbuiting door middel van AI-systemen vanwege inherente of situationele factoren, en daarom extra beschermd moeten worden tegen uitbuiting. De belangrijkste elementen hierbij zijn de kenmerken van de getroffen kwetsbare personen en het feit dat het AI-systeem gebruikmaakt van hun specifieke kwetsbaarheden. Als een AI-systeem bijvoorbeeld gebruikmaakt van snel flitsende beelden om aankoopbeslissingen te beïnvloeden, kan het onder artikel 5, lid 1, punt a), van de AI- verordening vallen vanwege het subliminale karakter van de manipulatie. Omgekeerd kan een AI-systeem dat ouderen verzekeringen aanbiedt en daarbij gebruikmaakt van hun verminderde cognitieve vermogens, onder artikel 5, lid 1, punt b), van de AI- verordening vallen. (125) In scenario’s waarin mogelijk beide bepalingen van toepassing zijn, is het dominante aspect van het misbruik het belangrijkste criterium om het onderscheid te bepalen. Indien er ongeacht de specifieke kwetsbaarheden van de betrokken personen sprake is van misbruik, moet artikel 5, lid 1, punt a), van de AI-verordening voorrang krijgen. Daarbij moet gekeken worden naar de specifieke gevolgen van de manipulatieve of misleidende techniek voor het gedrag van kwetsbare personen en de specifieke schade die zij waarschijnlijk zullen ondervinden. Indien de op AI gebaseerde manipulatie en uitbuiting gericht is op een specifieke groep personen die kwetsbaar is vanwege hun leeftijd, handicap of specifieke sociale of economische omstandigheid, of gericht is op het uitbuiten van hun kwetsbaarheden, moet daarentegen artikel 5, lid 1, punt b), van de AI-verordening worden toegepast. De uitbuiting van kwetsbaarheden van andere groepen kan onder artikel 5, lid 1, punt a), van de AI-verordening vallen indien bij de doelbewust manipulatieve AI-praktijken misbruik wordt gemaakt van de specifieke kwetsbaarheden en zwakke punten van de betrokken personen.

3.5. Praktijken die buiten het toepassingsgebied vallen

(126) Om de verbodsbepalingen van artikel 5, lid 1, punten a) en b), van de AI-verordening te kunnen toepassen, moet aan alle voorwaarden van die bepalingen zijn voldaan, zoals hierboven besproken. Alle AI-systemen die niet aan deze voorwaarden voldoen, vallen buiten het toepassingsgebied van die verbodsbepalingen. Hieronder worden een aantal voorbeelden daarvan beschreven. 3.5.1. Rechtmatige overreding (127) Het onderscheid tussen manipulatie en overreding is cruciaal om het toepassingsgebied van het verbod van artikel 5, lid 1, punt a), van de AI-verordening af te bakenen. Dat is namelijk niet van toepassing op rechtmatige overreding. Hoewel met manipulatie en overreding invloed wordt uitgeoefend op de beslissingen en gedragingen van personen, verschillen zij aanzienlijk wat betreft methoden en ethische implicaties. (128) Manipulatie omvat in de meeste gevallen heimelijke technieken die de autonomie van betrokkenen ondermijnen, waardoor zij mogelijk besluiten nemen die zij anders niet zouden hebben genomen, gesteld dat zij volledig op de hoogte waren geweest van de manier waarop zij werden beïnvloed. Bij deze technieken wordt vaak gebruikgemaakt van psychologische zwakheden of cognitieve vooroordelen. Overreding vindt daarentegen op transparante wijze plaats, met eerbiediging van de individuele autonomie. Dit houdt in dat argumenten of informatie worden gepresenteerd op een manier die appelleert aan redelijkheid en emoties, maar waarbij ook de doelstellingen en werking van het AI-systeem worden uitgelegd, relevante en nauwkeurige informatie wordt verstrekt om geïnformeerde besluitvorming te waarborgen en het vermogen van de betrokkene om de informatie te beoordelen en vrije en zelfstandige keuzes te maken, wordt ondersteund. Als een AI-systeem bijvoorbeeld gebruikmaakt van gepersonaliseerde aanbevelingen op basis van transparante algoritmen en gebruikersvoorkeuren en -controles, wordt dit beschouwd als overreding. Als een systeem daarentegen gebruikmaakt van subliminale hints (bv. onwaarneembare beelden) om gebruikers over te halen bepaalde keuzes te maken zonder dat zij dit beseffen of weten, is dat manipulatie. (129) Ook het doel en de effecten van deze technieken verschillen. Manipulatie is vaak bedoeld om de manipulator te bevoordelen, ten koste van de autonomie en het welzijn van de betrokkene. Overreding is daarentegen bedoeld om informatie te verstrekken en te overtuigen, waarbij de belangen van en de voordelen voor beide partijen op elkaar worden afgestemd. Bij ethische overreding wordt de autonomie van de betrokkene om geïnformeerde keuzes te maken, geëerbiedigd en wordt voorkomen dat kwetsbaarheden worden gebruikt. Zo maakt een AI-systeem dat op transparante wijze werkt en de emoties van klanten met hun medeweten analyseert om de interactie met klanten te verbeteren en hun ondersteuning te bieden, gebruik van overreding, rekening houdend met hun belangen. Een systeem voor de herkenning van emoties dat wordt gebruikt voor gerichte reclame en dat emoties van consumenten op verborgen wijze afleidt om producten tegen hogere prijzen aan te bieden op een specifiek moment waarop de gebruiker meer geneigd is deze producten te kopen, maakt zich daarentegen schuldig aan manipulatie ten koste van de consument. (130) In bepaalde gevallen speelt toestemming ook een belangrijke rol. Bij op overreding gerichte interacties zijn mensen zich bewust van de poging tot beïnvloeding en kunnen zij vrijelijk en autonoom een keuze maken. Bij manipulatieve interacties ondermijnt het gebrek aan bekendheid met de technieken of de gevolgen ervan de keuzevrijheid en de mogelijkheid van geïnformeerde en autonome besluitvorming. Een AI-systeem dat bedoeld is om gebruikers te helpen een vreemde taal beter en sneller te leren met behulp van subliminale technieken, is bijvoorbeeld niet manipulatief als het transparant is en de individuele autonomie en de vrije en geïnformeerde keuze van de gebruiker eerbiedigt om al dan niet toestemming te geven voor het gebruik van het systeem. (131) De naleving van wet- en regelgevingskaders speelt ook een belangrijke rol om te bepalen of er sprake is van manipulatie of rechtmatige overreding. AI-praktijken die in overeenstemming zijn met toepasselijke wetgeving waarmee transparantie, rechtvaardigheid en de rechten en autonomie van personen worden gewaarborgd, zullen niet zo snel verboden worden op grond van de AI-verordening. Een voorbeeld hiervan is de naleving van wetgeving inzake gegevensbescherming, zoals de AVG, die voorziet in transparantieverplichtingen bij gegevensverwerking, namelijk dat in de aan de betrokkenen te verstrekken informatie het gebruik van misleidende of manipulatieve taal moet worden voorkomen93. In sommige gevallen kan toestemming vereist zijn wil de verwerking van persoonsgegevens rechtmatig zijn, zoals voor bepaalde gepersonaliseerde onlinereclame op sociale netwerken die gebaseerd is op gegevens van gebruikers die buiten de aangeboden dienst zijn verzameld94. Deze toestemming moet onder meer vrij en geïnformeerd zijn. Wanneer AI-systemen aan deze wettelijke normen voldoen, zal er eerder sprake zijn van rechtmatige overreding. Wanneer systemen daarentegen deze eisen omzeilen om het gedrag van gebruikers te beïnvloeden, is er waarschijnlijk sprake van manipulatie. (132) In overweging 29 van de AI-verordening wordt met name verduidelijkt dat de verbodsbepalingen van artikel 5, lid 1, punten a) en b), van de AI-verordening onder bepaalde voorwaarden geen afbreuk doen aan rechtmatige praktijken in het kader van medische behandelingen. Zo kunnen op AI gebaseerde subliminale technieken worden gebruikt bij de psychologische behandeling van een psychische aandoening of lichamelijke revalidatie, wanneer die worden uitgevoerd overeenkomstig de toepasselijke medische normen en wetgeving, waarbij onder meer de uitdrukkelijke toestemming van de natuurlijke persoon of zijn wettelijke vertegenwoordigers een voorwaarde voor gebruik vormt. (133) Verder wordt in overweging 29 van de AI-verordening verduidelijkt dat gangbare en legitieme handelspraktijken, bijvoorbeeld in de reclamesector, “op zich” of naar hun aard niet mogen worden beschouwd als schadelijke manipulatieve, misleidende of op uitbuiting gerichte op AI gebaseerde praktijken. Voorbeelden:

• Reclametechnieken die gebruikmaken van AI om inhoud op basis van gebruikersvoorkeuren te personaliseren, zijn niet inherent manipulatief indien zij geen subliminale, doelbewust manipulatieve of misleidende technieken gebruiken die de individuele autonomie ondermijnen of gebruikmaken van kwetsbaarheden op schadelijke wijze, zoals verboden op grond van artikel 5, lid 1, punten a) en b), van de AI-verordening. De naleving van de relevante verplichtingen uit hoofde van de AVG, de wetgeving inzake consumentenbescherming en de digitaledienstenverordening helpt deze risico’s te beperken.

• De ontwikkeling van AI-modellen en classificatoren om online seksueel misbruik van kinderen op te sporen overeenkomstig het toepasselijke recht, zijn legitieme praktijken die geen misbruik maken van de kwetsbaarheden van kinderen en daarentegen essentieel zijn om de veiligheid van kinderen online te verbeteren.

• Het gebruik van AI-systemen voor het verlenen van bankdiensten, zoals hypotheken en leningen, waarbij de leeftijd of de specifieke sociaal-economische omstandigheid van de cliënt als input wordt gebruikt in overeenstemming met de wetgeving van de Unie inzake financiële diensten, consumentenbescherming, gegevensbescherming en non-discriminatie, wordt niet aangemerkt als gebruikmaking van kwetsbaarheden in de zin van artikel 5, lid 1, punt b), van de AI-verordening wanneer die systemen zijn ontworpen om mensen te beschermen en te ondersteunen die als kwetsbaar worden aangemerkt als gevolg van hun leeftijd, handicap of specifieke sociaal-economische omstandigheden, wanneer zij die groepen voordelen bieden, alsook bijdragen tot eerlijkere en duurzamere financiële diensten voor die groepen.

• Het gebruik van AI-systemen die slaperigheid en vermoeidheid bij bestuurders detecteren en hen waarschuwen dat zij moeten rusten zoals voorgeschreven in de wetgeving inzake verkeersveiligheid, is nuttig en wordt niet aangemerkt als gebruikmaking van kwetsbaarheden in de zin van artikel 5, lid 1, punt b), van de AI- verordening. 3.5.2. Manipulatieve, misleidende en op gebruikmaking gerichte AI-systemen die waarschijnlijk geen aanzienlijke schade zullen toebrengen (134) Een essentiële voorwaarde voor de toepassing van de verbodsbepalingen van artikel 5, lid 1, punten a) en b), van de AI-verordening is dat de op AI gebaseerde manipulatie en gebruikmaking van kwetsbaarheden aanzienlijke schade moet veroorzaken of redelijkerwijs kan veroorzaken. Manipulatieve, misleidende en op gebruikmaking gerichte AI-toepassingen waarvan redelijkerwijs te verwachten is dat zij geen aanzienlijke schade zullen veroorzaken, vallen in beginsel buiten het toepassingsgebied van de verbodsbepalingen, onverminderd het overige toepasselijke Unierecht (zie punt 3.6). Voorbeelden van AI-systemen die waarschijnlijk geen aanzienlijke schade zullen berokkenen:

• Een AI-buddy is op antropomorfe wijze ontworpen en van affectieve software voorzien om het systeem aantrekkelijker te maken en gebruikers doeltreffend aan zich te binden, maar maakt geen gebruik van andere manipulatieve of misleidende praktijken die redelijkerwijs kunnen leiden tot ernstige psychologische, fysieke of andere schade of tot ongezonde binding en afhankelijkheid.

• Een therapeutische chatbot maakt gebruik van subliminale technieken om gebruikers ertoe te brengen een gezondere levensstijl te volgen en te stoppen met slechte gewoonten, zoals roken. Ook al zouden de gebruikers die het advies van de chatbot en de subliminale therapie volgen, te maken krijgen met fysiek ongemak en psychologische stress als gevolg van hun pogingen om te stoppen met roken, kan de op AI gebaseerde chatbot niet worden geacht aanzienlijke schade te veroorzaken. Een dergelijk tijdelijk ongemak is onvermijdelijk en wordt gecompenseerd door de langetermijnvoordelen voor de gezondheid van de gebruikers. De verhulde pogingen om hun besluitvorming te beïnvloeden, beperken zich tot het bevorderen van gezonde gewoonten.

• Een onlinemuziekplatform maakt gebruik van een emotieherkenningssysteem om de emoties van gebruikers af te leiden en beveelt hen automatisch liedjes aan die aansluiten bij hun stemming, terwijl overmatige blootstelling aan deprimerende liedjes wordt vermeden. Aangezien gebruikers alleen naar muziek luisteren en verder geen schade ondervinden of depressief of angstig worden gemaakt, valt redelijkerwijs niet te verwachten dat het systeem aanzienlijke schade zal veroorzaken.

• Op AI gebaseerde manipulatieve en misleidende technieken die worden gebruikt in beveiligingsopleidingen en andere leeromgevingen waarin phishingpogingen worden nagebootst om gebruikers meer te leren over cyberdreigingen. Deze systemen kunnen doelbewust gebruikmaken van manipulatieve technieken (bv. het gebruikmaken van cognitieve vooroordelen) die het gedrag verstoren zonder dat gebruikers zich daarvan bewust zijn, maar dit gebeurt tijdelijk ter wille van de training en om het bewustzijn te verhogen, zonder aanzienlijke schade te veroorzaken.

3.6. Samenhang met overig Unierecht

(135) De verbodsbepalingen van artikel 5, lid 1, punten a) en b), van de AI-verordening doen geen afbreuk aan en vormen een aanvulling op het overige Unierecht. Een praktijk die onder het verbod van artikel 5, lid 1, punten a) of b), van de AI-verordening valt, kan ook een inbreuk vormen op andere wetgeving van de Unie en onderworpen zijn aan handhavingsmaatregelen op grond van zowel de AI-verordening als die andere handelingen. Dit is belangrijk omdat verschillende bepalingen in die handelingen verschillende belangen beschermen, verschillende doelstellingen en toepassingsgebieden hebben en aan verschillende adressaten zijn gericht. Zo wordt een alomvattende regelgeving gecreëerd die personen en groepen personen beschermt tegen schadelijke AI-uitbuiting en -manipulatie en zorgt voor veilige en betrouwbare op AI gebaseerde diensten en producten in de Unie. (136) De verbodsbepalingen van artikel 5, lid 1, punten a) en b), van de AI-verordening sluiten nauw aan bij de doelstellingen van de EU-wetgeving inzake consumentenbescherming, met name de richtlijn oneerlijke handelspraktijken, die consumenten beschermt tegen misleidende of agressieve handelspraktijken, ook wanneer daarbij gebruik wordt gemaakt van AI. Zowel de AI-verordening als de richtlijn oneerlijke handelspraktijken hebben tot doel proactief te voorkomen dat consumenten schade lijden als gevolg van op AI gebaseerde handelspraktijken die manipulatief, misleidend of agressief zijn. Tegelijkertijd hebben de verbodsbepalingen van artikel 5, lid 1, punten a) en b), van de AI-verordening een breder toepassingsgebied, aangezien zij niet alleen consumenten beschermen, maar alle natuurlijke personen en hun gedrag in diverse contexten, niet alleen in een commerciële context. De schade waarop de AI-verordening van toepassing is, is ook breder dan economische schade, hoewel in de AI-verordening een drempel voor aanzienlijke schade is vastgesteld die niet in de wetgeving inzake consumentenbescherming is opgenomen. (137) De verbodsbepalingen zijn ook in overeenstemming met de Uniewetgeving inzake gegevensbescherming, met inbegrip van de beginselen betreffende rechtmatige, eerlijke en transparante gegevensverwerking, die tot doel heeft de persoonsgegevens van betrokkenen en daarmee hun grondrechten en autonomie te beschermen. De beschikbaarheid van meer (persoons)gegevens en de toegenomen mogelijkheden om deze gegevens met AI-systemen te verwerken, vergroten het risico op schadelijke manipulatieve, misleidende of op uitbuiting gerichte praktijken, zoals die welke onder het toepassingsgebied van artikel 5, lid 1, punten a) en b), van de AI-verordening vallen. In dit verband kan naleving van de gegevensbeschermingsregels inzake transparantie, minimale gegevensverwerking, rechtvaardigheid en rechtmatigheid (bijvoorbeeld voor gepersonaliseerde profilering en reclame op basis van gegevens van gebruikers die niet in het kader van de aangeboden dienst zijn verzameld95) bijdragen om schadelijke gepersonaliseerde manipulatie en uitbuiting te voorkomen. (138) De samenhang met het non-discriminatierecht van de Unie is ook van belang voor het verbod van artikel 5, lid 1, punt b), van de AI-verordening96, aangezien kwetsbaarheden 95 Bijzonder relevant in dit verband is het arrest van het Hof (Grote kamer) van 4 juli 2023, Meta Platforms e.a., C-252/21. Hoewel het Hof onder meer van oordeel is dat de verwerking van persoonsgegevens van gebruikers die niet in het kader van de aangeboden dienst zijn verzameld voor direct marketing door een groot sociaal netwerk kan worden beschouwd als tegemoetkoming aan een gerechtvaardigd belang van de verwerkingsverantwoordelijke, kan dit niet zonder toestemming van de gebruiker als rechtsgrondslag plaatsvinden vanwege de belangen en grondrechten van de betrokken gebruiker, die in die zaak, met name vanwege de omvangrijke verwerking, zwaarder wegen dan het belang van die exploitant bij een dergelijke personalisatie van de reclame waarmee sociale platforms activiteiten financieren (zie arrest Meta Platforms, punten 115 tot en met 118). 96 Bijvoorbeeld Richtlijn 2000/43/EG van de Raad van 29 juni 2000 houdende toepassing van het beginsel van gelijke behandeling van personen ongeacht ras of etnische afstamming (PB L 180 van 19.7.2000, blz. 22); Richtlijn 2000/78/EG van de Raad van 27 november 2000 tot instelling van een algemeen kader voor gelijke behandeling in arbeid en beroep (PB L 303 van 2.12.2000, blz. 16); Richtlijn 2006/54/EG van het Europees Parlement en de Raad van 5 juli 2006 betreffende de toepassing van het beginsel van gelijke kansen en gelijke behandeling van mannen en vrouwen in arbeid en beroep (herschikking) (PB L 204 van 26.7.2006, blz. 23); Richtlijn 2004/113/EG van de Raad van 13 december 2004 houdende toepassing van het beginsel van gelijke behandeling van mannen en vrouwen bij de toegang tot en het aanbod van goederen en diensten (PB L 373 van 21.12.2004, blz. 37). als gevolg van leeftijd en handicap ook beschermde discriminatiegronden zijn, terwijl de sociaal-economische omstandigheid raakvlakken heeft met verschillende andere gronden, zoals ras en etnische afkomst. De verbodsbepalingen in de AI-verordening doen geen afbreuk aan verbodsbepalingen die betrekking hebben op andere gronden of discriminerende praktijken die geen aanzienlijke schade met zich meebrengen en die al verboden zijn uit hoofde van het non-discriminatierecht van de Unie. (139) De verbodsbepalingen van artikel 5, lid 1, punten a) en b), van de AI-verordening vormen ook een aanvulling op de digitaledienstenverordening, die onlinetussenhandelsdiensten, zoals onlineplatforms en zoekmachines, reguleert en transparantie en verantwoording bij de verlening van die diensten waarborgt. Artikel 25, lid 1, van de digitaledienstenverordening verbiedt met name het gebruik van donkere patronen in de gebruikersinterface om ervoor te zorgen dat aanbieders van onlineplatforms gebruikers niet misleiden of dwingen tot handelingen die mogelijk niet overeenstemmen met hun werkelijke bedoelingen. Dergelijke donkere patronen moeten worden beschouwd als een voorbeeld van manipulatieve of misleidende technieken in de zin van artikel 5, lid 1, punt a), van de AI-verordening wanneer zij waarschijnlijk aanzienlijke schade zullen veroorzaken. (140) De digitaledienstenverordening bevat ook verplichtingen voor aanbieders van onlineplatforms om te zorgen voor transparantie bij reclame (artikelen 26 en 38, voor zeer grote onlineplatforms of zeer grote zoekmachines) en betreffende het gebruik van aanbevelingssystemen (artikel 27) en de bescherming van minderjarigen (artikel 28). Wanneer een onlineplatform of een zoekmachine wordt aangemerkt als een zeer groot onlineplatform of een zeer grote zoekmachine, heeft de aanbieder van die aangewezen dienst bovendien de aanvullende verplichting om systeemrisico’s die voortvloeien uit het ontwerp of de werking van zijn dienst en de daaraan verbonden systemen, waaronder algoritmische systemen, te beoordelen en te beperken (artikelen 34 en 35 van de digitaledienstenverordening). Bij het uitvoeren van risicobeoordelingen moeten aanbieders van zeer grote onlineplatforms en zeer grote onlinezoekmachines nagaan hoe hun aanbevelingssystemen, reclame, inhoudsmoderatie en andere relevante algoritmische systemen die systeemrisico’s beïnvloeden. Bij die risicobeoordelingen moet ook worden geanalyseerd hoe systeemrisico’s worden beïnvloed door onder meer de opzettelijke manipulatie en geautomatiseerde exploitatie van de dienst (zie artikel 34, lid 2, en overweging 83 van de digitaledienstenverordening). Het toepassingsgebied van artikel 5, lid 1, punten a) en b), van de AI-verordening omvat echter een breed scala aan andere diensten (bv. chatbots, op AI gebaseerde diensten en producten) die door andere actoren dan aanbieders van tussenhandelsdiensten kunnen worden aangeboden of gebruikt. (141) Het verbod op manipulatieve AI-technieken van artikel 5, lid 1, punt a), van de AI- verordening ondersteunt ook de doelstellingen van de richtlijn audiovisuele mediadiensten97, doordat het gericht is op het voorkomen van schadelijke, op AI gebaseerde reclame98 en andere op AI gebaseerde manipulatieve en uitbuitingspraktijken in de mediasector die aanzienlijke schade kunnen veroorzaken. (142) De AI-verordening vormt ook een aanvulling op Verordening (EU) 2024/900 (verordening politieke reclame)99, die voorziet in geharmoniseerde regels, onder meer inzake transparantieverplichtingen en bijbehorende zorgvuldigheidsverplichtingen, voor aanbieders van politieke reclame en aanverwante diensten, en inzake het gebruik van targetingtechnieken en technieken voor de aanlevering van reclameboodschappen in het kader van politieke onlinereclame. Deze verordening verbiedt profilering op basis van speciale categorieën persoonsgegevens in het kader van politieke onlinereclame en targeting van personen die ten minste één jaar jonger zijn dan de volgens de nationale regels geldende kiesgerechtigde leeftijd. Bovendien mogen targetingtechnieken en technieken voor de aanlevering van reclameboodschappen in het kader van politieke onlinereclame alleen worden toegepast als zij gebaseerd zijn op persoonsgegevens die van de betrokkenen zijn verzameld met hun uitdrukkelijke toestemming. Er gelden ook aanvullende transparantie-eisen, namelijk het kenbaar maken van het politieke karakter van reclameboodschappen, waarbij het gebruik van die technieken en de belangrijkste parameters worden beschreven, en het verstrekken van aanvullende informatie over de achterliggende logica, onder meer betreffende het gebruik van AI-systemen. Wanneer gerichte politieke reclame gebaseerd is op de verwerking van persoonsgegevens overeenkomstig die verordening100, zal dit ertoe bijdragen dat de profilering van kiezers en de targeting en aanlevering van politieke reclame zullen voldoen aan de criteria voor rechtmatige overreding. (143) Het verbod op schadelijke op uitbuiting gerichte en misleidende AI-praktijken dat is voorzien in de AI-verordening vormt ook een aanvulling op andere toepasselijke Uniewetgeving met algemene transparantieregels inzake reclame en voorschriften inzake consumentenbescherming en passend gedrag van operatoren (bv. Richtlijn 2014/65/EU (MiFID), Richtlijn (EU) 2016/97 betreffende verzekeringsdistributie101, Richtlijn (EU) 2023/2225 inzake kredietovereenkomsten voor consumenten, Richtlijn 2002/65/EU betreffende de verkoop op afstand, Richtlijn 2006/114/EG inzake misleidende en vergelijkende reclame en Richtlijn 2011/83/EU betreffende consumentenrechten, waarin algemene normen inzake consumentenbescherming zijn vastgesteld). In dit verband heeft de Europese Autoriteit voor verzekeringen en bedrijfspensioenen (Eiopa) al een toezichtverklaring uitgebracht over een aantal onbehoorlijke, op uitbuiting gerichte praktijken die verband houden met gedifferentieerde prijsstelling, die ook onder het toepassingsgebied van de AI- 97 Richtlijn 2010/13/EU van het Europees Parlement en de Raad van 10 maart 2010 betreffende de coördinatie van bepaalde wettelijke en bestuursrechtelijke bepalingen in de lidstaten inzake het aanbieden van audiovisuele mediadiensten (richtlijn audiovisuele mediadiensten, gewijzigd bij Richtlijn (EU) 2018/1808), die onder meer tot doel heeft kinderen beter te beschermen en haatzaaiende uitlatingen doeltreffender aan te pakken. 98 Artikel 9 van de richtlijn audiovisuele mediadiensten. 99 Verordening (EU) 2024/900 van het Europees Parlement en de Raad van 13 maart 2024 betreffende transparantie en gerichte politieke reclame, PE/90/2023/REV/1 (PB L, 2024/900, 20.3.2024). 100 Zodra deze van toepassing wordt met ingang van oktober 2025. 101 Richtlijn (EU) 2016/97 van het Europees Parlement en de Raad van 20 januari 2016 betreffende verzekeringsdistributie (herschikking) (PB L 26 van 2.2.2016, blz. 19). Zo moeten verzekeringsdistributeurs zich op grond van artikel 17, lid 1, van de richtlijn verzekeringsdistributie op loyale, billijke en professionele wijze voor de belangen van hun klanten inzetten. verordening zouden kunnen vallen indien deze praktijken mogelijk worden gemaakt door AI-systemen102. (144) De verbodsbepalingen van artikel 5, lid 1, punten a) en b), van de AI-verordening doen ook geen afbreuk aan en vormen een aanvulling op de EU-wetgeving inzake productveiligheid (bv. van medische hulpmiddelen, speelgoed, machines), die een cruciale rol speelt bij het waarborgen van de veiligheid van producten waarin AI- systemen zijn geïntegreerd. Dit houdt in dat vóór ingebruikname moet worden voldaan aan de veiligheidsvoorschriften voor gereguleerde producten en dat deze proactief worden gemonitord om ervoor te zorgen dat zij geen veiligheidsrisico’s met zich meebrengen die kunnen leiden tot lichamelijke en psychische schade. De fabrikant van dit soort producten waarin AI-systemen zijn ingebouwd, moet daarom bij zijn risicobeoordelingen en veiligheidsmaatregelen rekening houden met deze verbodsbepalingen voor zover dit aansluit bij de logica en het toepassingsgebied van de desbetreffende geharmoniseerde veiligheidswetgeving van de Unie. De veiligheidswetgeving van de Unie vormt ook een aanvulling op de verbodsbepalingen van de AI-verordening en maakt het ook mogelijk om in te grijpen en veiligheidsrisico’s aan te pakken wanneer deze niet tot aanzienlijke schade leiden. Met name Verordening (EU) 2023/988 (verordening algemene productveiligheid)103 fungeert als vangnet en vereist dat alle consumentenproducten die niet onder specifieke voorschriften van andere sectorale wetgeving van de Unie inzake productveiligheid vallen (met inbegrip van producten waarin AI-systemen zijn ingebouwd die niet overeenkomstig artikel 6 als systemen met een hoog risico zijn geclassificeerd, maar waarop de eisen van de AI- verordening wel van toepassing zijn) bij normale of redelijkerwijs voorzienbare gebruiksomstandigheden veilig moeten zijn, met name ten aanzien van risico’s voor de fysieke en geestelijke gezondheid van consumenten. (145) Tot slot is de samenhang met het strafrecht cruciaal. De verbodsbepalingen van artikel 5, lid 1, punten a) en b), van de AI-verordening hebben tot doel schadelijk gedrag te voorkomen dat een strafbaar feit kan vormen of daartoe kan leiden, zoals fraude, vervalsing, oplichting, dwang of het genereren en verspreiden van illegale inhoud, zoals terroristische inhoud, materiaal van seksueel misbruik van kinderen, haatspraak en seksueel expliciete deepfakes104. Belangrijk is dat de verbodsbepalingen van artikel 5, lid 1, punten a) en b), van de AI-verordening, als wetgeving voor de interne markt, niet alleen betrekking hebben op het gebruik, maar ook op het in de handel brengen van AI-systemen, waardoor schade in een vroeg stadium wordt voorkomen door de toegang tot dergelijke verboden systemen, waarmee criminele activiteiten kunnen worden gefaciliteerd en verhuld, te beperken. De verbodsbepalingen van artikel 5, lid 1, punten a) en b), van de AI-verordening kunnen 102 https://www.eiopa.europa.eu/document/download/1e9a8fb2-e688-4bf5-a347-ee0a1ec3aab3_en?filename=EIOPA-BoS-23-076- Supervisory-Statement-on-differential-pricing-practices_0.pdf. 103 Verordening (EU) 2023/988 van het Europees Parlement en de Raad van 10 mei 2023 inzake algemene productveiligheid, tot wijziging van Verordening (EU) nr. 1025/2012 van het Europees Parlement en de Raad en Richtlijn (EU) 2020/1828 van het Europees Parlement en de Raad, en tot intrekking van Richtlijn 2001/95/EG van het Europees Parlement en de Raad en Richtlijn 87/357/EEG van de Raad. 104 Richtlijn (EU) 2024/1385 van het Europees Parlement en de Raad van 14 mei 2024 ter bestrijding van geweld tegen vrouwen en huiselijk geweld, PE/33/2024/REV/1 (PB L, 2024/1385, 24.5.2024). daarnaast ook van toepassing zijn op andere schadelijke praktijken die volgens het Unierecht of het nationale recht niet als strafbare feiten worden aangemerkt.

4. ARTIKEL 5, LID 1, PUNT C), VAN DE AI-VERORDENING — SOCIAL SCORING

(146) Hoewel de toekenning van op AI gebaseerde scores kan helpen om goed gedrag te stimuleren en de veiligheid, efficiëntie en kwaliteit van diensten te verbeteren, zijn er bepaalde “social scoring”-praktijken waardoor mensen oneerlijk worden behandeld of geschaad, en die neerkomen op sociale controle en surveillance. Het verbod van artikel 5, lid 1, punt c), van de AI-verordening is gericht op dergelijke onaanvaardbare op AI gebaseerde “social scoring”-praktijken waarbij personen of groepen worden beoordeeld of geclassificeerd op basis van hun sociale gedrag of persoonlijke kenmerken, wat kan leiden tot een nadelige of ongunstige behandeling, met name wanneer de gegevens afkomstig zijn uit meerdere, ongerelateerde sociale contexten of de behandeling onevenredig is met de ernst van het sociale gedrag. Het verbod op “social scoring” heeft een ruim toepassingsgebied, dat zowel het openbare als het privédomein omvat, en niet beperkt is tot een specifieke sector of een specifiek terrein105. (147) Het verbod is evenwel niet bedoeld voor rechtmatige praktijken waarbij personen worden beoordeeld voor specifieke doeleinden die legitiem zijn en in overeenstemming met het Unierecht en het nationale recht106, met name wanneer die wetgeving de soorten gegevens specificeert die relevant zijn voor de concrete evaluatiedoeleinden en waarborgt dat de daaruit voortvloeiende nadelige of ongunstige behandeling van de betrokkene gerechtvaardigd en evenredig is (zie punt 4.3 over praktijken die buiten het toepassingsgebied vallen).

4.1. Motivering en doelstellingen

(148) AI-systemen die “social scoring”-praktijken mogelijk maken, kunnen leiden tot discriminerende en oneerlijke resultaten voor bepaalde personen en groepen, waaronder hun uitsluiting uit de samenleving, alsook tot gevallen van sociale controle en surveillance die onverenigbaar zijn met de waarden van de Unie. Het verbod op “social scoring” is met name bedoeld ter bescherming van het recht op menselijke waardigheid en andere grondrechten, waaronder het recht op non-discriminatie en gelijkheid, op gegevensbescherming en op de eerbiediging van het privéleven en het familie- en gezinsleven, alsook van relevante sociale en economische rechten, naargelang het geval. Het heeft ook tot doel de waarden van de Unie op het gebied van democratie, gelijkheid (met inbegrip van gelijke toegang tot openbare en particuliere diensten) en rechtvaardigheid te beschermen en te bevorderen107. 105 Het verbod op social scoring verschilt van het verbod in artikel 5, lid 1, punt d), van de AI-verordening, dat op specifiekere beoordelings- en scoring-praktijken betrekking heeft, aangezien het alleen van toepassing is op de risicobeoordeling en voorspelling van de waarschijnlijkheid dat een persoon strafbare feiten pleegt, en AI-systemen verbiedt die zich daarbij uitsluitend baseren op profilering of de beoordeling van persoonlijkheidseigenschappen en -kenmerken (zie deel 5).

4.2. Belangrijkste begrippen en onderdelen van het verbod op “social scoring”

Artikel 5, lid 1, punt c), van de AI-verordening luidt als volgt: De volgende AI-praktijken zijn verboden: c) het in de handel brengen, het in gebruik stellen of het gebruiken van AI-systemen voor de evaluatie of classificatie van natuurlijke personen of groepen personen gedurende een bepaalde periode op basis van hun sociale gedrag of bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken, waarbij de sociale score een of beide van de volgende gevolgen heeft: i) de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of groepen personen in een sociale context die geen verband houdt met de context waarin de data oorspronkelijk werden gegenereerd of verzameld; ii) de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of groepen personen die ongerechtvaardigd of onevenredig met hun sociale gedrag of de ernst hiervan is. (149) Voor de toepassing van het verbod van artikel 5, lid 1, punt c), van de AI-verordening moet aan verschillende cumulatieve voorwaarden worden voldaan: (i) De praktijk moet bestaan uit het “in de handel brengen”, het “in gebruik stellen” of het “gebruiken” van een AI-systeem. (ii) Het AI-systeem moet gedurende een bepaalde periode bedoeld zijn of worden gebruikt voor de evaluatie of classificatie van natuurlijke personen of groepen personen op basis van: (a) hun sociale gedrag; of (b) bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken. (iii)De met behulp van het AI-systeem gecreëerde sociale score moet leiden of kunnen leiden tot de nadelige of ongunstige behandeling van personen of groepen in een of meer van de volgende scenario’s: (a) in een sociale context die geen verband houdt met die waarin de gegevens oorspronkelijk zijn gegenereerd of verzameld; en/of (b) een behandeling die ongerechtvaardigd of onevenredig met hun sociale gedrag of de ernst hiervan is. (150) Wil het verbod van artikel 5, lid 1, punt c), van de AI-verordening van toepassing zijn, dan moet aan alle drie de voorwaarden tegelijkertijd zijn voldaan. De eerste voorwaarde, namelijk het in de handel brengen, het in gebruik stellen of het gebruiken van het AI-systeem, is al geanalyseerd in punt 2.3. Het verbod geldt derhalve voor zowel aanbieders als gebruiksverantwoordelijken van AI-systemen, die elk hun eigen verantwoordelijkheid hebben om dergelijke AI-systemen niet in de handel te brengen, in gebruik te stellen of te gebruiken. De overige criteria voor het verbod op “social scoring” worden hieronder nader beschreven en geanalyseerd. 4.2.1. “Social scoring”: evaluatie of classificatie op basis van sociaal gedrag of persoonlijke of persoonlijkheidskenmerken gedurende een bepaalde periode a) Evaluatie of classificatie van natuurlijke personen of groepen personen (151) De tweede voorwaarde voor de toepassing van het verbod in artikel 5, lid 1, punt c), van de AI-verordening is dat het AI-systeem bedoeld is of wordt gebruikt voor de evaluatie of classificatie van natuurlijke personen of groepen personen en hun scores toekent op basis van hun sociale gedrag of hun persoonlijke of persoonlijkheidskenmerken. De score die het systeem toekent, kan verschillende vormen aannemen, zoals een getal (bijvoorbeeld van 0 tot 1), een rangorde of een label. (152) Het verbod heeft een ruim toepassingsgebied en omvat evaluatie- en classificatiepraktijken in zowel de publieke als de particuliere sector (zie punt 4.2.3). De evaluatie of classificatie heeft daarnaast alleen betrekking op natuurlijke personen of groepen natuurlijke personen, waardoor juridische entiteiten in beginsel worden uitgesloten (zie punt 4.3. over praktijken die buiten het toepassingsgebied vallen). (153) Hoewel “evaluatie” suggereert dat er sprake is van een vorm van beoordeling van of oordeel over een persoon of groep personen, hoeft een eenvoudige classificatie van personen of groepen personen op basis van kenmerken, zoals hun leeftijd, geslacht en lengte, niet noodzakelijkerwijs tot een evaluatie te leiden108. Het toepassingsgebied van “classificatie” is derhalve ruimer dan “evaluatie” en kan ook andere soorten classificaties of categoriseringen van natuurlijke personen of groepen personen omvatten op basis van criteria die niet per se een specifieke beoordeling of specifiek oordeel met betrekking tot die personen of groepen personen en hun kenmerken of gedrag inhouden. (154) De term “evaluatie” houdt ook verband met het begrip “profilering”, dat is geregeld bij de Uniewetgeving inzake gegevensbescherming109 en een specifieke vorm van evaluatie vormt. Hoewel artikel 5, lid 1, punt c), van de AI-verordening niet rechtstreeks naar dat begrip of die wetgeving verwijst110, kunnen zij ook relevant zijn voor het verbod in die bepaling, alsook voor andere verbodsbepalingen in de AI- verordening111 wanneer de evaluatie op geautomatiseerde wijze plaatsvindt door een AI-systeem dat gebruikmaakt van persoonsgegevens. Onder profilering wordt verstaan het gebruik van informatie over een persoon (of groep personen) en het evalueren van 108 Richtsnoeren van de Groep gegevensbescherming artikel 29 inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, WP251 rev. 01, 6 februari 2018, blz. 7. 109 Zie artikel 4, lid 4, en artikel 22, AVG en artikel 11 van de richtlijn gegevensbescherming bij rechtshandhaving. Zie ook de richtsnoeren van de Groep gegevensbescherming artikel 29 inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, WP251 rev. 01, 6 februari 2018, blz. 7. 110 Artikel 3, punt 52, van de AI-verordening bevat een definitie van “profilering” waarin wordt verwezen naar de definitie in artikel 4, punt 4, AVG. 111 Met name het verbod op het voorspellen van het risico dat een natuurlijke persoon een strafbaar feit pleegt, zoals vastgelegd in artikel 5, lid 1, punt d), van de AI-verordening, waarin wel over “profilering” wordt gesproken, en in bepaalde gevallen op het gebruik van emotieherkenning en biometrische categorisering, zoals vastgelegd in artikel 5, lid 1, punten f) en g), van de AI-verordening. hun kenmerken of gedragspatronen om hen in een bepaalde categorie of groep in te delen, met name om bijvoorbeeld hun vermogen om een taak uit te voeren, hun interesses of hun vermoedelijke gedrag te analyseren en/of te voorspellen112. Profilering van natuurlijke personen zoals voorzien in de Uniewetgeving inzake gegevensbescherming kan daarom ook onder artikel 5, lid 1, punt c), van de AI- verordening vallen wanneer deze wordt uitgevoerd door middel van AI-systemen. Zo heeft het Hof in het SCHUFA I-arrest een scoresysteem voor kredietwaardigheid onderzocht dat in Duitsland wordt gebruikt113. In die zaak was de door het computerprogramma gegenereerde “score” een “waarschijnlijkheidswaarde” die betrekking had op het vermogen van een persoon om aan betalingsverplichtingen te voldoen, die door het Hof als “profilering” werd aangemerkt. Meer in het bijzonder deed het systeem “op basis van bepaalde kenmerken van een persoon […] een voorspelling over de waarschijnlijkheid van diens toekomstig gedrag (“score”), zoals de terugbetaling van een lening. Het vaststellen van scores is gebaseerd op de veronderstelling dat een soortgelijk gedrag kan worden voorspeld door een persoon in te delen bij een groep van andere personen met vergelijkbare kenmerken die zich op een bepaalde manier hebben gedragen”114. Volgens het Hof voldeed deze activiteit aan de definitie van “profilering” in de zin van artikel 4, punt 4, AVG115. Deze vorm van profilering kan ook worden beschouwd als een evaluatie van personen op basis van hun persoonlijke kenmerken in de zin van artikel 5, lid 1, punt c), van de AI-verordening, die verboden zal zijn indien deze wordt verricht met AI-systemen en mits aan de andere voorwaarden voor de toepassing van die bepaling is voldaan. b) Gedurende een bepaalde periode (155) Het verbod van artikel 5, lid 1, punt c), van de AI-verordening vereist dat de evaluatie of classificatie gebaseerd is op gegevens die “een bepaalde periode” bestrijken. Dit wijst erop dat de evaluatie niet mag worden beperkt tot een eenmalige of onmiddellijke beoordeling of score op basis van gegevens of gedrag in een zeer specifieke individuele context. Tevens is het belangrijk dat bij de beoordeling van deze voorwaarde rekening wordt gehouden met alle omstandigheden van het geval, om te voorkomen dat het toepassingsgebied van het verbod wordt omzeild. Een voorbeeld: een autoriteit voor migratie en asiel voert een gedeeltelijk geautomatiseerd bewakingssysteem in vluchtelingenkampen in, dat verschillende bewakingsmiddelen gebruikt, zoals camera’s en bewegingssensoren. Als de geanalyseerde gegevens een zekere periode bestrijken en specifieke personen (zoals migranten) bijvoorbeeld worden beoordeeld om na te gaan of het risico bestaat dat zij zullen onderduiken, dan kan dit worden aangemerkt als een evaluatie “gedurende een bepaalde periode” en kan het verbod van artikel 5, lid 1, punt c), van de AI-verordening van toepassing zijn, mits aan alle overige voorwaarden is voldaan. c) Op basis van hun sociale gedrag of bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken (156) De vormen van “evaluatie” en “classificatie” die verboden zijn op grond van artikel 5, lid 1, punt c), van de AI-verordening, moeten gebaseerd zijn op (vaak omvangrijke) op AI gebaseerde verwerking van gegevens die betrekking hebben op i) het sociale gedrag van personen of groepen personen of ii) hun bekende, afgeleide of voorspelde persoonlijke en persoonlijkheidskenmerken, of beide. De gegevens kunnen direct door de betrokken personen worden verstrekt of indirect worden verzameld, d.w.z. door middel van surveillance, via derden of door wat uit andere informatie wordt afgeleid. (157) Wat het eerste scenario betreft, is “sociaal gedrag” een brede term waaronder over het algemeen handelingen, gedrag, gewoonten en interacties binnen de samenleving enz. worden verstaan en die gewoonlijk gedragsgerelateerde datapunten uit meerdere bronnen omvat116. Hierbij kan het gaan om gedrag van natuurlijke personen en groepen personen in sociaal en privéverband, zoals deelname aan culturele evenementen, vrijwilligerswerk enz., maar ook om sociaal gedrag in een zakelijke context, bijvoorbeeld het betalen van schulden, gedrag bij het gebruik van bepaalde diensten, alsook hun relatie met publieke en particuliere entiteiten, de overheid, de politie en de wet (bijvoorbeeld of iemand zich houdt aan de verkeersregels). Gegevens over sociaal gedrag in uiteenlopende contexten en datapunten kunnen op gecentraliseerde wijze door dezelfde entiteit worden verzameld, maar worden meestal op verspreide wijze en uit verschillende bronnen verzameld en gecombineerd, wat kan leiden tot meer monitoring en het intensiever volgen van personen (zogenaamde “dataveillance”). (158) In het tweede scenario wordt de score gebaseerd op persoonlijke of persoonlijkheidskenmerken, die al dan niet verband houden met specifieke aspecten van sociaal gedrag. “Persoonlijke kenmerken” kunnen bestaan uit verschillende kenmerken van een persoon, bijvoorbeeld diens geslacht, seksuele gerichtheid of seksuele kenmerken, gender, genderidentiteit, ras, etniciteit, gezinssituatie, adres, inkomen, gezinsleden, beroep, arbeidssituatie of andere juridische status, beroepsprestaties, economische situatie, financiële liquiditeit, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen, schuldniveau, type auto enzovoorts117. “Persoonlijkheidskenmerken” moet in beginsel als een synoniem voor persoonlijke kenmerken worden beschouwd, maar kan ook inhouden dat er specifieke profielen van personen (persoonlijkheden) worden gecreëerd. Persoonlijkheidskenmerken kunnen ook op verschillende factoren gebaseerd zijn en een oordeel impliceren, dat door de natuurlijke personen zelf of door andere personen wordt gegeven of door AI-systemen wordt gegenereerd. In de AI-verordening worden persoonlijkheidskenmerken soms persoonlijkheidseigenschappen en ‑kenmerken genoemd118; deze begrippen moeten consistent worden uitgelegd. (159) “Bekende, afgeleide of voorspelde” persoonlijke of persoonlijkheidskenmerken omvatten verschillende soorten informatie en persoonsgegevens die duidelijk moeten worden onderscheiden. “Bekende kenmerken” zijn gebaseerd op informatie die als input aan het AI-systeem is verstrekt en die in de meeste gevallen verifieerbaar is. “Afgeleide kenmerken” zijn daarentegen gebaseerd op informatie die is afgeleid uit andere informatie, gewoonlijk door een AI-systeem. “Voorspelde kenmerken” zijn kenmerken die worden geschat op basis van patronen met een nauwkeurigheid van minder dan 100 %. Het begrip “afgeleide gegevens” wordt ook gebruikt in het kader van profilering als voorzien in de Uniewetgeving inzake gegevensbescherming en kan derhalve als inspiratie dienen bij de uitlegging van de begrippen die in artikel 5, lid 1, punt c), van de AI-verordening worden gebruikt119. Het gebruik van deze verschillende soorten gegevens kan verschillende gevolgen hebben voor de nauwkeurigheid en rechtvaardigheid van de scores. Dit is dus iets om in aanmerking te nemen, met name wanneer de verwerking ondoorzichtig gebeurt of berust op datapunten waarvan de nauwkeurigheid moeilijker te controleren valt. 4.2.2. De sociale score moet leiden tot een nadelige of ongunstige behandeling in een andere sociale context en/of een ongerechtvaardigde of onevenredige behandeling in verhouding tot de ernst van het sociale gedrag. a) Oorzakelijk verband tussen de sociale score en de behandeling (160) Wil het verbod van artikel 5, lid 1, punt c), van de AI-verordening van toepassing zijn, dan moet de door of met behulp van een AI-systeem gecreëerde sociale score leiden tot een nadelige of ongunstige behandeling van de geëvalueerde persoon of groep personen. Met andere woorden, de behandeling moet het gevolg zijn van de score en de score de oorzaak van de behandeling. Een dergelijk plausibel oorzakelijk verband kan ook bestaan in gevallen waarin de schadelijke gevolgen zich nog niet hebben voorgedaan, maar het AI-systeem tot doel heeft of in staat is een dergelijke nadelige uitkomst te genereren. Dit is met name relevant omdat de in artikel 5, lid 1, punt c), van de AI-verordening verboden praktijk ook betrekking heeft op het “in de handel brengen” van dergelijke AI-systemen. (161) Artikel 5, lid 1, punt c), van de AI-verordening vereist niet dat de door het AI-systeem uitgevoerde evaluatie of classificatie de enige oorzaak van de nadelige of ongunstige behandeling is. Het is derhalve ook van toepassing op op AI gebaseerde scoringpraktijken die onderworpen zijn aan of gecombineerd worden met menselijke beoordelingen. Tegelijkertijd moet de AI-output een voldoende belangrijke rol spelen bij het genereren van de sociale score. Wanneer een overheidsinstantie bijvoorbeeld een AI-systeem gebruikt om de betrouwbaarheid van personen te beoordelen en de output 118 Artikel 5, lid 1, punt d), van de AI-verordening. 119 Zie de richtsnoeren van de Groep gegevensbescherming artikel 29 inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, WP251 rev. 01, 6 februari 2018, blz. 7 e.v. ervan combineert met een menselijke beoordeling van aanvullende feiten, zal deze op AI gebaseerde “social scoring”-praktijk alleen onder het verbod vallen als de door AI gegenereerde score een voldoende belangrijke rol speelt in het definitieve besluit, gesteld dat ook aan de overige, hieronder beschreven voorwaarden voor nadelige of ongunstige behandeling is voldaan (zie punt 4.2.2, b)). (162) Een score kan zelfs leiden tot een nadelige of ongunstige behandeling als deze wordt toegekend door (een) andere organisatie(s) dan die welke de score gebruikt120. Een overheidsinstantie kan bijvoorbeeld een kredietwaardigheidsscore van een natuurlijke persoon verkrijgen die is toegekend door een onderneming die gespecialiseerd is in kredietwaardigheids- en risicobeoordelingen. Dergelijke beoordelingen worden gebaseerd op informatie uit verschillende bronnen over de betrokken personen en hun gedrag. b) Nadelige of ongunstige behandeling in een andere sociale context en/of ongerechtvaardigde of onevenredige behandeling (163) De laatste voorwaarde voor de toepassing van het verbod van artikel 5, lid 1, punt c), van de AI-verordening is dat het gebruik van de sociale score moet (of kan) leiden tot een nadelige of ongunstige behandeling: i. in (een) sociale context(en) die geen verband houdt/houden met de context waarin de gegevens oorspronkelijk werden gegenereerd of verzameld, of ii. die ongerechtvaardigd of onevenredig tot het sociale gedrag of de ernst hiervan is. (164) Dit zijn alternatieve voorwaarden die ook in combinatie met elkaar van toepassing kunnen zijn. Het is noodzakelijk per geval te beoordelen of aan ten minste één daarvan is voldaan, aangezien veel op AI gebaseerde scoring- en evaluatiepraktijken mogelijk niet aan deze voorwaarden voldoen en derhalve buiten het toepassingsgebied van het verbod vallen. Dit kan zich met name voordoen wanneer de op AI gebaseerde scoringpraktijken bestemd zijn voor specifieke en legitieme evaluatiedoeleinden die in overeenstemming zijn met de toepasselijke Unie- en nationale wetgeving, waarin de gegevens worden gespecificeerd die relevant worden geacht voor de evaluatie, en ervoor wordt gezorgd dat de nadelige of ongunstige behandeling gerechtvaardigd en evenredig is met het sociale gedrag (zie punt 4.3 over praktijken die buiten het toepassingsgebied vallen). (165) Onder “ongunstige behandeling” wordt verstaan dat de persoon of groep personen als gevolg van de score ongunstiger wordt/worden behandeld dan anderen, zonder dat er noodzakelijkerwijs sprake is van een bepaald leed of een bepaalde schade (bijvoorbeeld in het geval van scoringpraktijken waarbij mensen worden geselecteerd voor aanvullende inspecties bij vermoedelijke fraude). Een “nadelige behandeling” vereist daarentegen dat de persoon of groep personen bepaalde schade of nadeel van die 120 Deze uitlegging is in overeenstemming met het SCHUFA I-arrest van het Hof, waarin het Hof in verband met geautomatiseerde besluitvorming oordeelde dat een “score” (beoordeling die wordt aangemerkt als profilering) die is opgesteld door een andere entiteit dan die welke het definitieve besluit neemt, een geautomatiseerd besluit in de zin van artikel 22 AVG kan vormen. Zie het SCHUFA I- arrest, punten 42 tot en met 51 en 60 tot en met 62. behandeling ondervindt. Een ongunstige of nadelige behandeling kan ook discriminerend en verboden zijn op grond van het non-discriminatierecht van de EU of de uitsluiting van bepaalde personen of groepen inhouden121, maar dat is geen noodzakelijke voorwaarde voor de toepassing van het verbod. Artikel 5, lid 1, punt c), van de AI-verordening zou daarom van toepassing kunnen zijn op vormen van oneerlijke behandeling die buiten het non-discriminatierecht van de EU vallen, aangezien die alleen van toepassing is op bepaalde beschermde groepen (bv. op grond van leeftijd, etnische en raciale afkomst, geslacht, godsdienst). Scenario 1: nadelige of ongunstige behandeling in een andere sociale context (166) In het eerste scenario dat wordt beschreven in artikel 5, lid 1, punt c), i), van de AI- verordening, moet de nadelige of ongunstige behandeling als gevolg van de score plaatsvinden in (een) sociale context(en) die geen verband houdt/houden met de context waarin de data oorspronkelijk werden gegenereerd of verzameld. Dit betekent niet alleen dat personen als gevolg van de sociale score ongunstig of nadelig kunnen worden behandeld, maar ook dat de gegevens over hun sociale gedrag of hun bekende, afgeleide of voorspelde persoonlijke of persoonlijkheidskenmerken worden gegenereerd of verzameld in sociale contexten die geen verband houden met de context waarin de score werd toegekend. De gegevens uit deze niet-gerelateerde contexten die worden verzameld of gegenereerd, moeten vervolgens door het AI-systeem worden gebruikt voor het toekennen van scores aan de betrokken personen zonder dat er een duidelijk verband is met de evaluatie of classificatie of op een wijze die leidt tot een alomvattende surveillance van de betrokken personen of groepen personen. In de meeste gevallen druist dit in tegen de redelijke verwachtingen van de betrokken personen en is dit in strijd met de Uniewetgeving inzake gegevensbescherming, en mogelijk ook met andere toepasselijke regels waarin de soorten gegevens en bronnen worden gespecificeerd die relevant en noodzakelijk worden geacht voor de evaluatie of classificatie. Of aan deze voorwaarde wordt voldaan, zal per geval moeten worden beoordeeld, rekening houdend met het doel van de evaluatie en de context waarin de gegevens zijn verzameld en gegenereerd. Voorbeelden van nadelige of ongunstige behandeling in andere sociale contexten die verboden is op grond van artikel 5, lid 1, punt c), i), van de AI-verordening:

• Een nationale belastingdienst gebruikt een voorspellend AI-hulpmiddel voor alle belastingaangiften van belastingplichtigen om aangiften te selecteren die nader moeten worden onderzocht. Het AI-hulpmiddel maakt gebruik van relevante variabelen, zoals jaarinkomen, vermogen (onroerend goed, auto’s enz.) en gegevens over de gezinsleden van begunstigden, maar ook niet-gerelateerde gegevens, zoals de sociale gewoonten van belastingplichtigen of hun internetgedrag, om specifieke personen te selecteren voor inspecties.

• Een socialezekerheidsinstelling maakt gebruik van een AI-systeem om de kans op fraude door begunstigden van gezinstoelagen te schatten op basis van kenmerken die zijn verzameld in of afgeleid uit sociale contexten die daarmee kennelijk geen verband hebben, noch relevant zijn voor het fraudeonderzoek, zoals dat zij een echtgenoot van een bepaalde nationaliteit of etnische afkomst hebben, over een internetverbinding beschikken, hun gedrag op sociale platforms, prestaties op de werkplek enzovoort122. Gegevens die relevant zijn voor de toekenning van uitkeringen en die rechtmatig worden verzameld, kunnen daarentegen wel worden gebruikt om het risico op fraude vast te stellen, aangezien controleren of sociale uitkeringen correct worden toegekend voor overheidsinstanties een legitiem doel is.

• Een openbare dienst voor arbeidsvoorziening gebruikt een AI-systeem om werklozen een score toe te kennen op basis van een interview en een op AI gebaseerde beoordeling om te bepalen of de betrokken persoon als werkzoekende in aanmerking komt voor overheidssteun. Die score wordt gebaseerd op relevante persoonlijke kenmerken, zoals leeftijd en opleiding, maar ook op variabelen die worden verzameld of afgeleid uit gegevens en contexten die kennelijk geen verband hebben met het doel van de evaluatie, zoals burgerlijke staat, gegevens over chronische ziekten, verslaving enzovoorts123. Deze onaanvaardbare scoringpraktijken zijn te onderscheiden van rechtmatige praktijken waarbij personen voor specifieke doeleinden worden beoordeeld in overeenstemming met het Unierecht en het nationale recht, met name wanneer in die wetgeving, overeenkomstig het EU-recht, de gegevens worden gespecificeerd die voor evaluatiedoeleinden relevant en noodzakelijk worden geacht (zie punt 4.3. over praktijken die buiten het toepassingsgebied vallen). Scenario 2: ongunstige of nadelige behandeling die onevenredig is met het sociale gedrag (167) Een alternatief scenario waarin een AI-scoresysteem verboden kan zijn op grond van artikel 5, lid 1, punt c), ii), van de AI-verordening, is wanneer de score leidt tot een behandeling die ongerechtvaardigd of onevenredig is met de ernst van het sociale gedrag. De ernst van de gevolgen van de social scoring en de mate waarin de grondrechten van de betrokken persoon hierdoor worden aangetast, moeten worden afgewogen tegen de ernst van het sociale gedrag van de betrokkene om te bepalen of de betreffende behandeling onevenredig is gezien het nagestreefde legitieme doel, rekening houdend met het algemene evenredigheidsbeginsel. Dat moet per geval worden beoordeeld. Bij de beoordeling van het sociale gedrag en de evenredigheid van de nadelige behandeling moet rekening worden gehouden met alle relevante omstandigheden van het geval, alsook met algemene ethische criteria en beginselen van billijkheid en sociale rechtvaardigheid. Een behandeling kan ook “ongerechtvaardigd” zijn, bijvoorbeeld wanneer zij geen legitiem doel dient. Sectorale Uniewetgeving of nationale wetgeving waarbij specifieke criteria en procedures worden vastgesteld ter 122 Voor een vergelijking van gelijksoortige nationale uitkeringsstelsels en het gebruik van sociale scoring, zie D. Hadwick & S. Lan, “Lessons to be learned from the Dutch childcare allowance scandal: A comparative review of algorithmic governance by tax administrations in the Netherlands, France and Germany” (2021), World Tax Journal, Vol. 13, Issue 4. 123 Een soortgelijk systeem werd in Polen gebruikt om profielen van werklozen te genereren, dat werd afgeschaft nadat het ongrondwettig werd verklaard. Zie Szymielewicz, “Profiling the unemployed in Poland: Social and Political Implications of Algorithmic Decision Making”, Fundacja Panoptykon, 2015, blz. 18. regulering van een potentieel nadelige of ongunstige behandeling kan ook van belang zijn in het kader van deze beoordeling. Voorbeelden van een ongerechtvaardigde of onevenredige behandeling in verhouding tot het sociale gedrag die onder het verbod van artikel 5, lid 1, punt c), ii), van de AI- verordening vallen:

• Een overheidsinstantie gebruikt een AI-systeem om profielen van gezinnen op te stellen om vroegtijdig te bepalen welke kinderen risico lopen. Zij baseert zich hierbij op verschillende criteria, zoals de geestelijke gezondheid van de ouders en werkloosheid, maar ook op informatie over het sociale gedrag van de ouders die is afgeleid uit verschillende contexten. Op basis van de resulterende score worden gezinnen voor inspectie geselecteerd en worden kinderen die geacht worden risico te lopen, uit huis geplaatst, ook in geval van lichte overtredingen door de ouders, zoals gemiste afspraken met artsen of verkeersboetes.

• Een gemeente gebruikt een AI-systeem om de betrouwbaarheid van inwoners te beoordelen op basis van meerdere datapunten die verband houden met hun sociale gedrag in verschillende contexten. De gegenereerde score voor inwoners die als “minder betrouwbaar” worden beschouwd, wordt gebruikt om hen op een zwarte lijst te plaatsen, wat kan leiden tot uitsluiting van door de overheid verleende voordelen, andere ernstige strafmaatregelen of meer controle of surveillance. Factoren die bij de beoordeling in aanmerking worden genomen, zijn onder andere het verrichten van onvoldoende vrijwilligerswerk en licht wangedrag, zoals boeken niet tijdig terugbrengen naar de bibliotheek, afval op de verkeerde dag op straat buitenzetten en de gemeentelijke belastingen te laat betalen. Deze onaanvaardbare “social scoring”-praktijken zijn te onderscheiden van rechtmatige praktijken waarbij personen voor specifieke, legitieme doeleinden worden beoordeeld die in overeenstemming zijn met het Unierecht en het nationale recht, met name wanneer die wetgeving waarborgt dat een nadelige of ongunstige behandeling gerechtvaardigd en evenredig is met het sociale gedrag (zie punt 4.3 over praktijken die buiten het toepassingsgebied vallen). (168) Van de twee alternatieve scenario’s voorzien in artikel 5, lid 1, punt c), i) en ii), van de AI-verordening kan gelijktijdig sprake zijn. Voorbeelden van ongerechtvaardigde of onevenredige behandeling op grond van artikel 5, lid 1, punt c), i) en ii), van de AI-verordening:

• Een belastingdienst gebruikt een AI-systeem om fraude met de kinderbijslag op te sporen door begunstigden die van fraude worden verdacht te profileren en in te delen in categorieën als “opzet/grove nalatigheid”, gebruikmakend van criteria als een laag inkomen, dubbele nationaliteit, sociaal gedrag enz. Op basis van de risicoscore worden de dossiers van begunstigden geïnspecteerd en wordt de kinderbijslag in veel gevallen stopgezet, worden zij gelast de ontvangen uitkeringen terug te betalen en komen zij niet langer in aanmerking voor standaardregelingen voor de incasso van schulden. De toekenning van deze scores leidt bij veel gezinnen tot grote schulden en tot een onrechtvaardige, discriminerende en nadelige behandeling van natuurlijke personen en groepen personen124, waardoor veel gezinnen in ernstige financiële moeilijkheden terechtkomen.

• Een overheidsinstantie gebruikt een AI-systeem om fraude bij de aanvraag van toelagen voor studentenhuisvesting te controleren, waarbij onder meer het internetgedrag, de gezinssituatie of het opleidingsniveau van begunstigden als bepalende factoren voor het frauderisico worden beschouwd, wat noch relevant, noch gerechtvaardigd lijkt.

• Een regering introduceert een alomvattend op AI gebaseerd systeem dat burgers monitort en beoordeelt op basis van hun gedrag op verschillende gebieden, zoals hun sociale contacten, onlineactiviteiten, koopgedrag en stiptheid bij het betalen van rekeningen. Mensen met een lagere score krijgen te maken met een beperktere toegang tot openbare diensten, hogere rentetarieven op leningen en moeilijkheden om te reizen, een appartement te huren en zelfs om een baan te vinden. Het systeem leidt tot buitensporige surveillance van personen en een nadelige behandeling in contexten die geen verband houden met het sociale gedrag dat wordt gebruikt om de sociale score te bepalen (bv. kansen op de arbeidsmarkt worden beïnvloed door activiteiten op sociale media), terwijl ook buitensporige sancties worden opgelegd voor lichte overtredingen (bv. sociale en financiële nadelen als gevolg van relatief lichte overtredingen). Deze onaanvaardbare “social scoring”-praktijken zijn te onderscheiden van rechtmatige praktijken waarbij personen voor specifieke, legitieme doeleinden worden beoordeeld die in overeenstemming zijn met het Unierecht en het nationale recht, met name wanneer die wetgeving waarborgt dat een nadelige of ongunstige behandeling gerechtvaardigd en evenredig is en dat data worden gebruikt die verband houden met de relevante sociale context (zie punt 4.3 over praktijken die buiten het toepassingsgebied vallen). (169) Het verbod van artikel 5, lid 1, punt c), van de AI-verordening kan ook van toepassing zijn op gevallen waarin bepaalde personen of groepen personen een voorkeursbehandeling krijgen, aangezien dit een minder gunstige behandeling van andere personen impliceert (bv. in geval van de deelname aan werkgelegenheidsprogramma’s of de toekenning van prioriteit bij huisvesting of hervestiging). 4.2.3. Ongeacht of deze ter beschikking worden gesteld of gebruikt door publieke of particuliere entiteiten (170) Zoals reeds opgemerkt, verbiedt artikel 5, lid 1, punt c), van de AI-verordening onaanvaardbare op AI gebaseerde “social scoring”-praktijken, ongeacht of het AI- systeem of de score door publieke of particuliere entiteiten ter beschikking worden 124 Een vergelijkbaar voorbeeld hiervan is het kinderopvangtoeslagenschandaal in Nederland. Zie Belastingdienst treft 232 gezinnen met onevenredig harde actie, 27 november 2019. Een Nederlandse rechtbank oordeelde in 2020 dat het “Systeem Risico Indicatie” (SyRI) onrechtmatig was. Zie ook Geen powerplay maar fair play.Onevenredig harde aanpak van 232 Gezinnen met kinderopvangtoeslag, 2017, blz. 32. gesteld of gebruikt. Hoewel de toekenning van scores in de publieke sector zeer aanzienlijke gevolgen voor de betrokken personen kan hebben vanwege de onevenwichtige machtsverhouding en de afhankelijkheid van openbare diensten, kunnen zich vergelijkbare schadelijke gevolgen voordoen in de particuliere sector, waar bedrijven en andere entiteiten steeds vaker met scoringsystemen werken. Voorbeelden:

• Een verzekeringsmaatschappij vraagt bij een bank informatie op over uitgaven en andere financiële informatie die niet relevant is om te bepalen of een aanvrager in aanmerking komt voor een levensverzekering en die wordt gebruikt om de hoogte te bepalen van de premie die voor een dergelijke verzekering moet worden betaald. Een AI-systeem analyseert deze informatie en adviseert op basis daarvan of een contract moet worden geweigerd, of dat er hogere premies moeten worden vastgesteld voor de levensverzekering van een bepaalde persoon of een groep klanten.

• Een particulier kredietbureau gebruikt een AI-systeem om de kredietwaardigheid van mensen te bepalen en te beslissen of iemand een hypothecaire lening kan krijgen op basis van ongerelateerde persoonlijke kenmerken. Deze onaanvaardbare “social scoring”-praktijken zijn te onderscheiden van rechtmatige praktijken waarbij personen voor specifieke, legitieme doeleinden worden beoordeeld die in overeenstemming zijn met het Unierecht en het nationale recht, met name wanneer die wetgeving waarborgt dat een nadelige of ongunstige behandeling gerechtvaardigd en evenredig is en dat data worden gebruikt die verband houden met de relevante sociale context (zie punt 4.3 over praktijken die buiten het toepassingsgebied vallen). (171) In het geval van controles door bevoegde markttoezichtautoriteiten is het aan de aanbieder en de gebruiksverantwoordelijke van het AI-systeem, voor zover dat binnen hun verantwoordelijkheid valt, om aan te tonen dat de AI-praktijk legitiem en gerechtvaardigd is, onder meer door inzicht te bieden in de werking van het AI-systeem, en informatie te verstrekken over de gebruikte soorten data en gegevensbronnen, dat wordt gewaarborgd dat alleen gegevens die verband houden met de sociale context waarin de score wordt gebruikt, worden verwerkt ten behoeve van de evaluatie of classificatie, het systeem functioneert zoals bedoeld, en elke daaruit voortvloeiende nadelige of ongunstige behandeling gerechtvaardigd is en in verhouding staat tot het sociale gedrag. Naleving van de toepasselijke wetgeving en passende en evenredige waarborgen die in het systeem zijn ingebouwd en tijdens de werking ervan worden toegepast, helpen voorkomen dat het verbod van toepassing wordt, terwijl tegelijkertijd het gebruik van AI-systemen voor de evaluatie of classificatie van personen voor legitieme en nuttige doeleinden mogelijk wordt gemaakt (bv. om de doeltreffendheid van processen, de kwaliteit van de dienstverlening, de veiligheid enz. te verbeteren). (Zie ook punt 4.3 over praktijken die buiten het toepassingsgebied vallen.) (172) Naleving van de eisen voor AI-systemen met een hoog risico (die bijvoorbeeld worden ingezet in verband met essentiële overheidsdiensten en uitkeringen, krediet- en kredietwaardigheidsbeoordelingen, migratie enz.) kan er ook toe bijdragen dat het gebruik van AI-systemen voor evaluatie- en classificatiedoeleinden op die risicovolle gebieden niet leidt tot onaanvaardbare “social scoring”-praktijken waarmee aanbieders en gebruiksverantwoordelijken rekening moeten houden bij de uitvoering van hun respectieve verplichtingen (bv. op het gebied van risicobeheer, transparantie, datagovernance, beoordeling van de effecten op grondrechten, menselijk toezicht, monitoring enz.).

4.3. Praktijken die buiten het toepassingsgebied vallen

(173) Het verbod van artikel 5, lid 1, punt c), van de AI-verordening is alleen van toepassing op de toekenning van scores aan natuurlijke personen of groepen personen, zodat de toekenning van scores aan rechtspersonen in beginsel van het toepassingsgebied uitgesloten is zolang de evaluatie niet is gebaseerd op persoonlijke of persoonlijkheidskenmerken of sociaal gedrag van personen, ook al kunnen natuurlijke personen in sommige gevallen indirect gevolgen van de score ondervinden (bv. alle burgers in een gemeente in geval van toewijzing van begrotingsmiddelen). Indien rechtspersonen echter worden geëvalueerd op basis van een totaalscore van de evaluatie of classificatie van een groep natuurlijke personen op basis van hun sociale gedrag of persoonlijke of persoonlijkheidskenmerken en deze score rechtstreeks gevolgen heeft voor die personen (bv. alle werknemers van een bedrijf, leerlingen van een bepaalde school wiens gedrag is geëvalueerd), kan de desbetreffende praktijk binnen het toepassingsgebied van artikel 5, lid 1, punt c), van de AI-verordening vallen indien aan alle overige voorwaarden is voldaan. Dit moet per geval worden beoordeeld. (174) Op AI gebaseerde sociale scores die worden gebruikt om “waarschijnlijkheidswaarden” of prognoses te genereren, moeten ook worden onderscheiden van individuele beoordelingen door gebruikers van de kwaliteit van een dienst (bijvoorbeeld door bestuurders op een online autodeelplatform of verhuurders op een onlineplatform voor de verhuur van accommodaties). Dergelijke scores vormen louter een optelsom van individuele menselijke scores die niet noodzakelijkerwijs met behulp van AI tot stand komen, tenzij de gegevens worden gecombineerd met andere informatie en door het AI-systeem worden geanalyseerd ten behoeve van de evaluatie of classificatie van personen, waarbij aan alle voorwaarden van artikel 5, lid 1, punt c), van de AI- verordening wordt voldaan. (175) Bovendien is het toekennen van scores aan natuurlijke personen niet te allen tijde verboden, maar alleen in de beperkte gevallen waarin cumulatief aan alle voorwaarden van artikel 5, lid 1, punt c), van de AI-verordening is voldaan, zoals hierboven is besproken. In overweging 31 van de AI-verordening wordt specifiek vermeld dat het verbod “geen afbreuk [mag] doen aan wettige praktijken voor de evaluatie van natuurlijke personen die worden verricht voor een specifiek doeleinde in overeenstemming met het Unierecht en het nationale recht”. Kredietscores en risicoscores en de aanvaarding daarvan zijn bijvoorbeeld essentiële aspecten van de diensten van financiële instellingen en verzekeringsmaatschappijen. Dergelijke praktijken en andere legitieme praktijken (d.w.z. bedoeld om de kwaliteit en efficiëntie van diensten te verbeteren, claims efficiënter af te handelen, specifieke evaluaties van werknemers uit te voeren, fraude te voorkomen en op te sporen, met het oog op de rechtshandhaving of om scores aan het gedrag van gebruikers op onlineplatforms toe te kennen) zijn op zich niet verboden, mits zij rechtmatig zijn en worden uitgevoerd in overeenstemming met de AI-verordening en ander toepasselijk Unierecht en nationaal recht, dat zelf ook in overeenstemming moet zijn met het Unierecht. (176) Met andere woorden, AI-systemen die personen evalueren of classificeren om rechtmatig en voor een specifiek doel een sociale score te genereren in een context die verband houdt met de context waarin de voor de score gebruikte persoonsgegevens werden verzameld, zijn niet verboden, op voorwaarde dat een eventuele nadelige of ongunstige behandeling als gevolg van de score gerechtvaardigd is en in verhouding staat tot de ernst van het sociale gedrag125. (177) Naleving van sectorale wetgeving van de Unie, bijvoorbeeld op het gebied van kredietbeoordeling, antiwitwaswetgeving enz., waarin het soort gegevens wordt gespecificeerd dat als relevant en noodzakelijk wordt beschouwd voor het specifieke legitieme doel van de evaluatie en waarmee wordt gewaarborgd dat de behandeling gerechtvaardigd en evenredig is met het sociale gedrag, kan er derhalve voor zorgen dat de AI-praktijk buiten het toepassingsgebied van het verbod van artikel 5, lid 1, punt c), van de AI-verordening valt. Voorbeelden van legitieme scoringpraktijken die in overeenstemming zijn met het Unierecht en het nationale recht en buiten het toepassingsgebied van artikel 5, lid 1, punt c), van de AI-verordening vallen:

• Financiële kredietscoresystemen die door kredietgevers of kredietinformatiebureaus worden gebruikt om de financiële kredietwaardigheid of uitstaande schulden van een klant te beoordelen, een kredietscore vast te stellen of een kredietwaardigheidsbeoordeling uit te voeren, en die gebaseerd zijn op de inkomsten en uitgaven van de klant en andere financiële en economische omstandigheden, vallen buiten het toepassingsgebied van artikel 5, lid 1, punt c), van de AI-verordening indien zij relevant zijn voor het legitieme doel van de kredietbeoordeling en indien zij voldoen aan de wetgeving inzake consumentenbescherming126 waarin het soort gegevens en de nodige waarborgen worden gespecificeerd om een eerlijke behandeling van consumenten bij kredietwaardigheidsbeoordelingen te garanderen.

• Ondernemingen hebben een rechtmatig belang bij de beoordeling van klanten op het risico van financiële fraude. Deze praktijken vallen niet onder het verbod indien de evaluatie is gebaseerd op relevante gegevens zoals hun transactiegedrag en in het kader van de diensten verzamelde metagegevens, de voorgeschiedenis van de klant en andere elementen afkomstig uit bronnen die objectief relevant zijn om het risico op 125 Overweging 31 van de AI-verordening. 126 Zie met name Richtlijn (EU) 2023/2225 van 18 oktober 2023 inzake kredietovereenkomsten voor consumenten en tot intrekking van Richtlijn 2008/48/EG en de richtsnoeren van de Europese Bankautoriteit inzake de initiëring en monitoring van leningen van 29 mei 2020, EBA/GL/2020/06. fraude te bepalen, en indien de nadelige behandeling als gevolg van het frauduleuze gedrag gerechtvaardigd en evenredig is.

• Informatie die is verzameld via telematica-apparatuur waaruit blijkt dat een bestuurder te hard rijdt of geen veilig rijgedrag vertoont, en die wordt gebruikt door een verzekeraar die op telematica gebaseerde tarieven hanteert gekoppeld aan het risicoprofiel van een verzekeringnemer, kan worden gebruikt om de premie van die verzekeringnemer te verhogen vanwege het hogere risico op een ongeval als gevolg van dat rijgedrag, mits de verhoging van de premie in verhouding staat tot het risicovolle gedrag van de bestuurder.

• De verzameling en verwerking van gegevens die relevant en noodzakelijk zijn voor het beoogde legitieme doel van een AI-systeem (bv. gezondheidsgegevens en gegevens over symptomen van schizofrenie uit verschillende bronnen die worden verzameld om patiënten te diagnosticeren) valt buiten het toepassingsgebied van artikel 5, lid 1, punt c), van de AI-verordening, met name omdat het relevante en noodzakelijke gegevens en doorgaans niet leidt tot een ongerechtvaardigde nadelige of ongunstige behandeling van bepaalde natuurlijke personen.

• Onlineplatforms die voor hun diensten om veiligheidsredenen profielen van gebruikers opstellen op basis van gegevens die relevant zijn voor de context en het doel van de beoordeling, vallen buiten het toepassingsgebied van artikel 5, lid 1, punt c), van de AI-verordening wanneer de evaluatie niet leidt tot een nadelige behandeling die onevenredig is met de ernst van het wangedrag van de gebruiker.

• Gerichte commerciële reclame op basis van AI valt buiten het toepassingsgebied wanneer zij gebaseerd is op relevante gegevens (bv. de voorkeuren van gebruikers), plaatsvindt in overeenstemming met het Unierecht inzake consumentenbescherming, gegevensbescherming en digitale diensten, en niet leidt tot een nadelige of ongunstige behandeling die onevenredig is met de ernst van het sociale gedrag van de gebruiker (bv. oneerlijke en op uitbuiting gerichte gedifferentieerde prijsstelling).

• AI-systemen die gebruikmaken van gegevens die in vluchtelingenkampen worden verzameld (bv. over de naleving van gedragsregels) ten behoeve van beslissingen over hervestiging of tewerkstelling, vallen niet onder het verbod, aangezien deze gegevens relevant zijn voor de beoordeling, mits de procedures die zijn voorzien in het toepasselijke recht van de Unie inzake migratie worden nageleefd om ervoor te zorgen dat de behandeling gerechtvaardigd en evenredig is.

• De toekenning van op AI gebaseerde scores door een onlineverkoopplatform, waarmee privileges worden geboden aan gebruikers die veel kopen en weinig producten retourneren, zoals een snellere procedure voor het retourneren van producten of terugbetaling zonder teruggave van het product, valt buiten het toepassingsgebied van artikel 5, lid 1, punt c), van de AI-verordening, aangezien de voordelen gerechtvaardigd en evenredig zijn om positief gedrag te belonen en andere gebruikers toegang houden tot de standaard retourprocedure.

• De evaluatie met behulp van AI en de toekenning van scores aan personen door de politie en andere rechtshandhavingsinstanties op basis van gegevens die zij verzamelen over het sociale gedrag van personen in verschillende contexten, vallen buiten het toepassingsgebied van artikel 5, lid 1, punt c), van de AI-verordening wanneer die gegevens relevant zijn voor het daarmee beoogde specifieke doeleinde, te weten het voorkomen, opsporen, vervolgen en bestraffen van strafbare feiten, en wanneer de nadelige behandeling gerechtvaardigd en evenredig is en in overeenstemming met het materiële en procedurele strafrecht en de politiewetgeving van de Unie en de lidstaten. In dit verband is het ook van belang om rekening te houden met het verbod in artikel 5, lid 1, punt d), van de AI-verordening, dat extra en specifiekere voorwaarden stelt aan op AI gebaseerde risicobeoordelingen en voorspellingen van de waarschijnlijkheid dat een persoon een strafbaar feit pleegt, onder meer dat deze niet uitsluitend gebaseerd mogen zijn op profilering of de beoordeling van persoonlijkheidskenmerken (zie deel 5).

4.4. Samenhang met andere rechtshandelingen van de Unie

(178) Aanbieders en gebruiksverantwoordelijken moeten zorgvuldig beoordelen of andere Unie- en nationale wetgeving van toepassing is op een specifiek AI-scoresysteem dat bij hun activiteiten wordt gebruikt, en met name of er specifiekere wetgeving bestaat die strikt reguleert welke soorten gegevens als relevant en noodzakelijk voor specifieke evaluatiedoeleinden worden beschouwd en of er specifiekere regels en procedures zijn om een gerechtvaardigde en eerlijke behandeling te waarborgen. (179) Op AI gebaseerde “social scoring”-praktijken van particuliere partijen die als handelaar betrokken zijn bij betrekkingen tussen bedrijven en consumenten kunnen ook in strijd zijn met de Uniewetgeving inzake consumentenbescherming, namelijk de richtlijn oneerlijke handelspraktijken. Die richtlijn verbiedt handelspraktijken indien deze in strijd zijn met de vereisten van professionele toewijding en het economische gedrag van de gemiddelde consument of het gemiddelde lid van een groep consumenten met betrekking tot het product wezenlijk verstoren of kan verstoren (artikel 5 van de richtlijn oneerlijke handelspraktijken). De scoringpraktijken kunnen ook misleidend worden bevonden (de artikelen 6 en 7 van de richtlijn oneerlijke handelspraktijken), afhankelijk van een beoordeling per geval van de gevolgen van de handelspraktijk voor het besluit van de consument over een transactie. (180) Social scoring, door publieke of particuliere partijen, kan ook in strijd zijn met de Uniewetgeving inzake gegevensbescherming, bijvoorbeeld wat betreft de rechtsgrond voor verwerking (rechtmatigheid), de beginselen van gegevensbescherming (bv. minimale gegevensverwerking en noodzakelijkheid, rechtvaardigheid, transparantie) en andere verplichtingen, met inbegrip van de regels inzake uitsluitend geautomatiseerde individuele besluitvorming, indien van toepassing. (181) Wanneer de evaluatie of classificatie gebaseerd is op een van de beschermde discriminatiegronden (bv. leeftijd, godsdienst, ras of etnische afstamming, geslacht enz.) of direct of indirect leidt tot discriminatie van de betrokken groepen, is de betreffende praktijk ook onderworpen aan het non-discriminatierecht van de Unie. (182) Richtlijn (EU) 2023/2225 inzake consumentenkrediet127 kan in dit verband ook relevant zijn. Artikel 18, lid 3, van de richtlijn consumentenkrediet schrijft voor dat een kredietwaardigheidsbeoordeling wordt uitgevoerd op basis van relevante en nauwkeurige informatie inzake het inkomen en de uitgaven van de consument en andere financiële en economische omstandigheden, die noodzakelijk is en evenredig met de aard, duur, waarde en risico’s van het krediet voor de consument. Die informatie kan bestaan uit bewijs van inkomsten of andere terugbetalingsbronnen, informatie over financiële activa en passiva, of informatie over andere financiële verplichtingen. De richtlijn consumentenkrediet verbiedt uitdrukkelijk dat bijzondere categorieën persoonsgegevens en informatie die is verkregen via sociale netwerken in die informatie worden opgenomen. In de richtsnoeren van de Europese Bankautoriteit inzake de initiëring en monitoring van leningen128 wordt de informatie die relevant is voor kredietwaardigheidsbeoordelingen nader gespecificeerd. Deze specificatie van het soort gegevens dat volgens deze sectorale wetten voor specifieke evaluatiedoeleinden mag worden gebruikt, is relevante informatie waarmee rekening moet worden gehouden bij het beantwoorden van de vraag of een praktijk binnen het toepassingsgebied van het verbod van artikel 5, lid 1, punt c), van de AI-verordening valt. (183) Evenzo moeten AI-systemen die worden gebruikt voor de evaluatie en classificatie van personen met het oog op de bestrijding van witwassen en terrorismefinanciering ook in overeenstemming zijn met de relevante wetgeving van de Unie op dit gebied.

5. ARTIKEL 5, LID 1, PUNT D), VAN DE AI-VERORDENING — INDIVIDUELE RISICOBEOORDELING EN VOORSPELLING VAN STRAFBARE FEITEN

(184) Artikel 5, lid 1, punt d), van de AI-verordening verbiedt AI-systemen die uitsluitend op basis van profilering of de beoordeling van persoonlijkheidseigenschappen en -kenmerken het risico beoordelen of voorspellen dat een natuurlijke persoon een strafbaar feit zal plegen. (185) In het laatste zinsdeel van deze bepaling wordt aangegeven dat dit verbod niet geldt voor AI-systemen die worden gebruikt ter ondersteuning van de menselijke beoordeling van de betrokkenheid van een persoon bij een criminele activiteit, die reeds op rechtstreeks met de criminele activiteit verband houdende objectieve en verifieerbare feiten is gebaseerd. AI-systemen die buiten het toepassingsgebied van het verbod vallen en die bedoeld zijn om te worden gebruikt door of namens rechtshandhavingsinstanties of door instellingen, organen of instanties van de Unie ter ondersteuning van rechtshandhavingsinstanties bij het beoordelen van het risico dat een natuurlijke persoon een strafbaar feit pleegt of recidiveert, en daarbij niet uitsluitend gebruikmaken van profilering of de beoordeling van persoonlijkheidseigenschappen en -kenmerken of eerder crimineel gedrag, worden aangemerkt als AI-systemen met een “hoog risico” (punt 6, d), van bijlage III bij de AI-verordening) en moeten voldoen aan alle desbetreffende eisen en verplichtingen uit hoofde van de AI-verordening.

5.1. Motivering en doelstellingen

(186) In overweging 42 van de AI-verordening worden de achtergrond en de motivering van het verbod in artikel 5, lid 1, punt d), van de AI-verordening uitgelegd, namelijk dat natuurlijke personen moeten worden beoordeeld op hun feitelijke gedrag en niet op basis van door AI voorspeld gedrag dat uitsluitend gebaseerd is op hun profilering of persoonlijkheidseigenschappen of -kenmerken.

5.2. Belangrijkste begrippen en onderdelen van het verbod

Artikel 5, lid 1, punt d), van de AI-verordening luidt als volgt: De volgende AI-praktijken zijn verboden: het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van een AI-systeem voor risicobeoordelingen van natuurlijke personen om het risico dat een natuurlijke persoon een strafbaar feit pleegt te beoordelen of te voorspellen, uitsluitend op basis van de profilering van een natuurlijke persoon of op basis van de beoordeling van diens persoonlijkheidseigenschappen en -kenmerken; dit verbod geldt niet voor AI-systemen die worden gebruikt ter ondersteuning van de menselijke beoordeling van de betrokkenheid van een persoon bij een criminele activiteit, die reeds op rechtstreeks met de criminele activiteit verband houdende objectieve en verifieerbare feiten is gebaseerd. (187) Voor de toepassing van het verbod van artikel 5, lid 1, punt d), van de AI-verordening moet aan verschillende cumulatieve voorwaarden worden voldaan: (i) De praktijk moet bestaan uit het “in de handel brengen”, het “in gebruik stellen” of het “gebruiken” van een AI-systeem. (ii) Het AI-systeem moet risicobeoordelingen uitvoeren waarmee het risico dat een natuurlijke persoon een strafbaar feit pleegt, wordt beoordeeld of voorspeld. (iii)De risicobeoordeling of de voorspelling moet uitsluitend gebaseerd zijn op een of beide van de volgende elementen: (a) de profilering van een natuurlijke persoon; (b) de beoordeling van diens persoonlijkheidseigenschappen en -kenmerken. (188) Voor de toepassing van het verbod moet tegelijkertijd aan alle drie de voorwaarden worden voldaan. De eerste voorwaarde, namelijk het in de handel brengen, het in gebruik stellen of het gebruik van het AI-systeem, is al geanalyseerd in punt 2.3. Het verbod geldt derhalve voor zowel aanbieders als gebruiksverantwoordelijken van AI- systemen, die elk hun eigen verantwoordelijkheid hebben om dergelijke AI-systemen niet voor dit specifieke doel in de handel te brengen, in gebruik te stellen of te gebruiken. De twee andere voorwaarden voor de toepassing van het verbod worden hieronder geanalyseerd. 5.2.1. Het beoordelen van het risico of het voorspellen van de waarschijnlijkheid dat een persoon een strafbaar feit pleegt (189) Risicobeoordelingen om het risico te beoordelen of te voorspellen dat iemand een strafbaar feit pleegt, worden vaak aangeduid als “criminaliteitsvoorspelling” of “criminaliteitsprognose”. Hoewel er geen algemeen aanvaarde definitie van “criminaliteitsvoorspelling” of “criminaliteitsprognose” bestaat129, verwijzen deze termen in het algemeen naar een verscheidenheid aan geavanceerde AI-technologieën en analysemethoden die worden toegepast op een grote hoeveelheid vaak historische gegevens (waaronder sociaal-economische gegevens, maar ook politiegegevens enz.) die, in combinatie met criminologische theorieën, worden gebruikt om criminaliteit te voorspellen ter onderbouwing van politie- en rechtshandhavingsstrategieën en maatregelen om criminaliteit te bestrijden, te beheersen en te voorkomen130. (190) AI-systemen voor criminaliteitsvoorspelling identificeren patronen in historische gegevens, gebruikmakend van indicatoren die verband houden met de waarschijnlijkheid dat zich een strafbaar feit zal voordoen, en genereren vervolgens risicoscores als voorspellende output. Dergelijke systemen kunnen bijvoorbeeld worden gebruikt om speciale politieteams samen te stellen, situaties met een hoog risico te monitoren en controles uit te voeren van personen die volgens de voorspellingen waarschijnlijke daders/recidivisten zijn. Deze systemen bieden mogelijkheden aan rechtshandhavingsinstanties, met name die met schaarse middelen, om de efficiëntie te vergroten, strafbare feiten proactief op te sporen en erop te anticiperen en daders af te schrikken131. Een dergelijk gebruik van historische gegevens over strafbare feiten om het toekomstige gedrag van andere personen te voorspellen, kan evenwel vooroordelen in stand houden of zelfs versterken, en kan ertoe leiden dat cruciale individuele omstandigheden over het hoofd worden gezien wanneer deze geen deel uitmaken van de gegevensverzameling of niet in aanmerking worden genomen door de algoritmen waarmee het specifieke AI-systeem werkt. Dit kan ook het vertrouwen van burgers in de rechtshandhaving en het rechtsstelsel in het algemeen ondermijnen132. (191) Dergelijke risicobeoordelingen en -voorspellingen zijn in beginsel toekomstgericht en hebben betrekking op toekomstige (nog niet gepleegde) strafbare feiten of misdrijven die geacht worden een onmiddellijke dreiging te vormen, ook in geval van pogingen of 129 Zie bijvoorbeeld de systemen die worden genoemd in het handboek van het Bureau van de Europese Unie voor de grondrechten, zoals het Criminaliteits Anticipatie Systeem (CAS) in Nederland en Precobs in Duitsland en Zwitserland, Handboek, 2018, blz. 138. Preventing unlawful profiling today and in the future: a guide, Handboek, 2018, blz. 138. 130 Zie Europol, “AI and policing — The benefits and challenges of artificial intelligence for law enforcement. An Observatory Report from the Europol Innovation Lab”, 23 september 2024. Zie ook F. Yang, “Predictive Policing”, in Oxford Research Encyclopedia, Criminology and Criminal Justice, Oxford University Press, 2019. 131 Zie bijvoorbeeld OxRec (Reclassering Nederland) “Prediction of violent reoffending in prisoners and individuals on probation: a Dutch validation study” (OxRec) — PMC (nih.gov). 132 Zie bijvoorbeeld Bureau van de Europese Unie voor de grondrechten (8 december 2022), Bias in algorithms — Artificial intelligence and discrimination | European Union Agency for Fundamental Rights. voorbereidende handelingen voor het plegen van een strafbaar feit133. Zij kunnen worden uitgevoerd in elk stadium van de rechtshandhaving, zoals tijdens de preventie en opsporing van strafbare feiten, maar ook tijdens het onderzoek naar en de vervolging van strafbare feiten en bij de uitvoering van straffen (ook wanneer rechterlijke autoriteiten het risico op recidive beoordelen, bijvoorbeeld in het kader van beslissingen over voorlopige hechtenis), alsmede in het kader van het plan voor sociale re-integratie na het uitzitten van een strafrechtelijke straf134. (192) Op grond van het verbod van artikel 5, lid 1, punt d), van de AI-verordening zijn praktijken gericht op het voorspellen en beoordelen van de risico’s op criminaliteit op zich niet verboden. Het verbod is alleen van toepassing op AI-systemen die gebruikt worden om het risico dat een natuurlijke persoon een strafbaar feit pleegt te beoordelen of te voorspellen, wanneer ook aan de derde bovengenoemde voorwaarde is voldaan. Bovendien is het verbod, zoals gezegd, niet van toepassing in de gevallen die in de laatste zin van artikel 5, lid 1, punt d), van de AI-verordening uitdrukkelijk van het toepassingsgebied worden uitgesloten. 5.2.2. Uitsluitend op basis van de profilering van een natuurlijke persoon of op basis van de beoordeling van diens persoonlijkheidseigenschappen en - kenmerken (193) De derde voorwaarde voor de toepassing van het verbod van artikel 5, lid 1, punt d), van de AI-verordening is dat de risicobeoordeling om het risico dat een natuurlijke persoon een strafbaar feit pleegt te beoordelen of te voorspellen, uitsluitend gebaseerd moet zijn op a) de profilering van de betrokken persoon of b) de beoordeling van diens persoonlijkheidseigenschappen en -kenmerken. (194) Het verbod van artikel 5, lid 1, punt d), van de AI-verordening is van toepassing, ongeacht of het AI-systeem tegelijkertijd de persoonlijkheidseigenschappen en -kenmerken van één enkele natuurlijke persoon of een groep natuurlijke personen profileert of beoordeelt, aangezien het verbod tot doel heeft elke persoon te beschermen waarvan het risico op het plegen van een strafbaar feit wordt voorspeld of beoordeeld. a) Profilering van een natuurlijke persoon (195) In tegenstelling tot artikel 5, lid 1, punt c), van de AI-verordening wordt in artikel 5, lid 1, punt d), uitdrukkelijk de term “profilering” gebruikt. In artikel 3, punt 52, van de AI-verordening wordt dat begrip gedefinieerd onder verwijzing naar de definitie in artikel 4, punt 4, AVG135. Een van de kernelementen van het begrip profilering is dat 133 Zie in dit verband overweging 42 van de AI-verordening, waarin wordt gesproken over de “waarschijnlijkheid dat zij strafbare feiten plegen” en het risico “dat er een feitelijk of potentieel strafbaar feit zal plaatsvinden”, in de tegenwoordige en toekomstige tijd, maar niet in de verleden tijd. 134 Zo schrijft artikel 24, lid 4, van Richtlijn 2011/93/EU ter bestrijding van seksueel misbruik en seksuele uitbuiting van kinderen en kinderpornografie voor dat personen tegen wie een strafprocedure loopt of die zijn veroordeeld voor handelingen die verband houden met seksueel misbruik van kinderen, een beoordeling moeten ondergaan om het risico op recidive te bepalen. 135 Artikel 3, punt 4, van de richtlijn gegevensbescherming bij rechtshandhaving, dat van belang is voor het verbod van artikel 5, lid 1, punt d), van de AI-verordening, definieert profilering net als in artikel 4, lid 4, AVG als “elke vorm van geautomatiseerde verwerking van persoonsgegevens waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te analyseren of te voorspellen”. Dezelfde definitie is ook opgenomen in artikel 3, punt 5, van Verordening (EU) 2018/1725 betreffende de verwerking van persoonsgegevens door de instellingen, organen en instanties van de Unie (PB L 295 van 21.11.2018, blz. 39). het tot doel heeft om “bepaalde persoonlijke aspecten te evalueren”136. In het kader van artikel 5, lid 1, punt d), van de AI-verordening heeft profilering tot doel het risico dat een persoon een strafbaar feit pleegt te beoordelen of voorspellen. (196) Het begrip “groepsprofilering”137 kan in dit verband ook relevant zijn. Dit begrip verwijst naar de samenstelling en toepassing van een beschrijvend profiel voor een bepaalde groep, bijvoorbeeld categorieën daders van strafbare feiten (bv. terroristen, bendeleden enz.) die zijn opgesteld op basis van historische gegevens over eerder door andere personen gepleegde misdrijven. Deze groepsprofielen kunnen vervolgens worden gebruikt om het risico dat andere personen soortgelijke strafbare feiten zullen plegen, te beoordelen en te voorspellen. Wanneer een AI-systeem voorspellingen doet en een dergelijk (groeps)profiel op een specifieke persoon toepast, vormt dit profilering van die persoon en kan dit derhalve onder het verbod van artikel 5, lid 1, punt d), van de AI-verordening vallen. b) Beoordeling van persoonlijkheidseigenschappen en -kenmerken (197) Het verbod is ook van toepassing indien de risicobeoordeling om het risico dat iemand een strafbaar feit pleegt, te beoordelen of te voorspellen uitsluitend gebaseerd is op een beoordeling van diens persoonlijkheidseigenschappen en -kenmerken. Een dergelijke beoordeling of voorspelling valt vaak onder het begrip profilering, maar kan ook als een alternatieve vorm van beoordeling worden beschouwd indien niet komt vast te staan dat er sprake is van profilering zoals gedefinieerd in artikel 4, punt 4, AVG. (198) Zoals vermeld in punt 4.2.1, c), vormen persoonlijkheidseigenschappen en -kenmerken een brede categorie van kenmerken die verband houden met een bepaalde natuurlijke persoon, waarvoor geen algemeen aanvaarde taxonomie bestaat. Overweging 42 van de AI-verordening bevat voorbeelden van persoonlijkheidseigenschappen en -kenmerken die kunnen worden beoordeeld om het risico te voorspellen dat iemand een strafbaar feit pleegt, zoals “nationaliteit, geboorteplaats, verblijfplaats, aantal kinderen, schuldniveau of type auto”. Dit is slechts een illustratieve en geen uitputtende opsomming. c) “Uitsluitend” (199) Artikel 5, lid 1, punt d), van de AI-verordening bepaalt dat risicobeoordelingen die onder die bepaling vallen, alleen verboden zijn indien zij “uitsluitend” zijn gebaseerd op de profilering van een persoon of de beoordeling van zijn persoonlijkheidseigenschappen en -kenmerken. Uit overweging 42 van de AI- verordening blijkt duidelijk dat “uitsluitend” zowel op profilering als op de beoordeling van persoonlijkheidseigenschappen en -kenmerken betrekking heeft. 136 Zie ook de richtsnoeren van de Groep gegevensbescherming artikel 29 inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, WP251 rev. 01, van 6 februari 2018, goedgekeurd door het EDPB, blz. 7. Zie ook Bureau voor de grondrechten, “Preventing unlawful profiling today and in the future: a guide”, Handboek, 2018, blz. 138. 137 Zie over groepsprofilering bijvoorbeeld: Bureau voor de grondrechten, “Preventing unlawful profiling today and in the future: a guide”, Handboek, 2018, blz. 21. (200) Aan de voorwaarde dat de risicobeoordeling “uitsluitend” gebaseerd moet zijn op profilering of de beoordeling van persoonlijkheidseigenschappen en -kenmerken kan in een aantal situaties niet worden voldaan. (201) Zoals blijkt uit het laatste zinsdeel van artikel 5, lid 1, punt d), van de AI-verordening, is hiervan in elk geval sprake wanneer het AI-systeem wordt gebruikt ter ondersteuning van de menselijke beoordeling van de betrokkenheid van een persoon bij een criminele activiteit, die reeds op rechtstreeks met de criminele activiteit verband houdende objectieve en verifieerbare feiten is gebaseerd. Overweging 42 maakt duidelijk dat er in dit verband met name, maar niet noodzakelijkerwijs, moet worden gedacht aan situaties waarin ten aanzien van de betrokken natuurlijke persoon reeds een redelijk vermoeden bestaat. In dergelijke gevallen zal er immers normaal gesproken een menselijke beoordeling hebben plaatsgevonden, die normaliter op relevante objectieve en verifieerbare feiten is gebaseerd. (202) Er kunnen zich echter ook andere situaties voordoen, die altijd per geval moeten worden beoordeeld. Enerzijds laat het gebruik van het begrip “uitsluitend” de mogelijkheid open dat bij de risicobeoordeling rekening wordt gehouden met verschillende andere elementen, waardoor zij niet langer uitsluitend is gebaseerd op profilering of de beoordeling van persoonlijkheidseigenschappen of -kenmerken. Om omzeiling van het verbod te voorkomen en de doeltreffendheid ervan te waarborgen, moeten die andere elementen anderzijds reëel, substantieel en betekenisvol zijn om de conclusie te kunnen rechtvaardigen dat het verbod niet van toepassing is. Lezing van het verbod van artikel 5, lid 1, punt d), van de AI-verordening in combinatie met de uitsluitingsgrond beschreven in het laatste zinsdeel ervan suggereert dat met name het bestaan van bepaalde eerder vastgestelde objectieve en verifieerbare feiten deze conclusie kan rechtvaardigen. Voorbeelden:

• Een rechtshandhavingsautoriteit gebruikt een AI-systeem om strafbare feiten zoals terrorisme uitsluitend te voorspellen op basis van leeftijd, nationaliteit, adres, type auto en burgerlijke staat. Met dat systeem worden personen uitsluitend op basis van hun persoonlijke kenmerken geacht meer geneigd te zijn in de toekomst strafbare feiten te plegen die zij nog niet eerder hebben gepleegd. Een dergelijk systeem kan worden geacht verboden te zijn op grond van artikel 5, lid 1, punt d), van de AI- verordening.

• De nationale belastingdienst gebruikt een voorspellend AI-hulpmiddel om alle aangiften van belastingplichtigen te evalueren om potentiële strafbare feiten te voorspellen en gevallen te identificeren die nader onderzoek vereisen. Dit gebeurt uitsluitend op basis van het door het AI-systeem samengestelde profiel, dat voor de beoordeling gebruikmaakt van persoonlijkheidseigenschappen, zoals dubbele nationaliteit, geboorteplaats en aantal kinderen, maar ook van ondoorzichtige variabelen, met name afgeleide informatie die voorspellend is en dus niet objectief en moeilijk te verifiëren. Een dergelijk systeem valt normaal gesproken onder het verbod van artikel 5, lid 1, punt d), van de AI-verordening, aangezien er geen redelijk vermoeden bestaat dat een bepaalde persoon betrokken is bij een criminele activiteit of andere objectieve en verifieerbare feiten die verband houden met die criminele activiteit. Dit is ook een voorbeeld dat valt binnen het toepassingsgebied van social scoring zoals verboden op grond van artikel 5, lid 1, punt c), van de AI-verordening, waarbij sprake is van een ongunstige behandeling op basis van gegevens uit een ongerelateerde sociale context.

• Een politiedienst maakt gebruik van op AI gebaseerde risicobeoordelingsinstrumenten om het risico te beoordelen dat jonge kinderen en adolescenten betrokken raken bij “toekomstige gewelddadige misdrijven en vermogensdelicten”. Het systeem beoordeelt kinderen op basis van hun relatie met andere mensen en hun veronderstelde risiconiveaus, wat betekent dat van kinderen kan worden verwacht dat zij sneller strafbare feiten zullen plegen louter vanwege hun relatie met iemand anders die volgens een risicobeoordeling een hoog risicoprofiel heeft, zoals een broer of zus of een vriend. Het risicoprofiel van de ouders kan ook van invloed zijn op het risicoprofiel van een kind. De risicobeoordelingen leiden ertoe dat de politie deze kinderen in haar systemen “registreert”, hen controleert door middel van aanvullende inspecties en hen doorverwijst naar de jeugdzorg. Een dergelijk systeem valt waarschijnlijk ook onder het verbod van artikel 5, lid 1, punt d), van de AI-verordening. 5.2.3. Uitsluiting van AI-systemen ter ondersteuning van menselijke beoordelingen die op rechtstreeks met de criminele activiteit verband houdende objectieve en verifieerbare feiten zijn gebaseerd (203) Artikel 5, lid 1, punt d), laatste zinsdeel, van de AI-verordening bepaalt dat het verbod niet geldt voor AI-systemen die worden gebruikt ter ondersteuning van de menselijke beoordeling van de betrokkenheid van een persoon bij een criminele activiteit, die reeds op rechtstreeks met de criminele activiteit verband houdende objectieve en verifieerbare feiten is gebaseerd. Hoewel, zoals reeds is opgemerkt, de beschreven situatie niet noodzakelijkerwijs de enige is waarin het verbod niet van toepassing is, wordt door de uitdrukkelijke vermelding van deze situatie in deze bepaling rechtszekerheid geboden, aangezien het toepassingsgebied van het verbod hiermee wordt afgebakend en duidelijk wordt gemaakt dat het verbod in een dergelijke situatie hoe dan ook niet van toepassing is. (204) Indien een systeem binnen het toepassingsgebied van de uitsluitingsgrond valt en derhalve niet verboden is, zal het worden geclassificeerd als een AI-systeem met een hoog risico (zoals bedoeld in punt 6, d), van bijlage III bij de AI-verordening) indien het bedoeld is om door of namens rechtshandhavingsinstanties te worden gebruikt en derhalve onderworpen is aan de desbetreffende vereisten en waarborgen, waaronder menselijk toezicht (de artikelen 14 en 26 van de AI-verordening). Deze vereisten houden onder meer in dat het menselijk toezicht moet worden toevertrouwd aan personen met de nodige bekwaamheid, opleiding en bevoegdheid, die in staat zijn de capaciteiten en beperkingen van het AI-systeem goed te begrijpen, de output ervan correct te interpreteren en het risico van “automation bias” te corrigeren. Die personen moeten beschikken over duidelijke procedures, een opleiding en de nodige bekwaamheid en bevoegdheid om de output van het AI-systeem op zinvolle wijze te beoordelen. In dit specifieke geval moet de menselijke beoordeling ervoor zorgen dat AI-voorspellingen of -beoordelingen van het risico dat een persoon een strafbaar feit pleegt, gebaseerd zijn op objectieve en verifieerbare feiten die verband houden met een criminele activiteit. Die personen moeten ook ingrijpen om negatieve gevolgen of risico’s te voorkomen of het gebruik van het AI-systeem stop te zetten indien het niet functioneert zoals bedoeld. (205) Het begrip “menselijke tussenkomst” is bovendien uitgelegd in de rechtspraak van het Hof, met name in de context van uitsluitend geautomatiseerde besluitvorming waarbij het risico op betrokkenheid van luchtreizigers bij ernstige misdrijven wordt voorspeld. Deze rechtspraak kan ook relevant zijn voor de toepassing van het begrip “menselijke beoordeling” in artikel 5, lid 1, punt d), van de AI-verordening. In de zaak Ligue des droits humains138 heeft het Hof de wettigheid onderzocht van het gebruik van een geavanceerd AI-systeem voor de systematische verwerking van persoonsgegevens van luchtreizigers (“PNR-gegevens”) om te beoordelen hoe waarschijnlijk het is dat zij betrokken zijn bij terrorisme en andere ernstige misdrijven. Het Hof heeft daarin de regel van Richtlijn (EU) 2016/681 (“PNR-richtlijn”) uitgelegd op grond waarvan besluiten met nadelige juridische gevolgen die uitsluitend op geautomatiseerde verwerking zijn gebaseerd, verboden zijn. Het oordeelde dat individuele menselijke beoordeling en controle met niet-geautomatiseerde middelen vereist is in het geval van positieve overeenstemmingen (“hits”) om vals-positieve resultaten te detecteren en niet-discriminerende resultaten te waarborgen. Volgens het Hof moet die menselijke beoordeling, waaraan resultaten van geautomatiseerde verwerking van PNR-gegevens moeten worden onderworpen, gebaseerd zijn op objectieve criteria om te beoordelen of een hit betrekking heeft op iemand die in dat specifieke geval betrokken zou kunnen zijn bij terroristische misdrijven of zware criminaliteit, en om het niet-discriminerende karakter van de geautomatiseerde verwerking te waarborgen. (206) Wat de inhoud van de uitsluitingsgrond betreft, is een van de centrale elementen ervan dat het AI-systeem wordt gebruikt om de menselijke beoordeling te ondersteunen, in plaats van het AI-systeem zelf te gebruiken voor de risicobeoordeling zoals gebeurt in de situaties die onder het verbod vallen. De uitsluitingsgrond is echter alleen van toepassing indien deze menselijke beoordeling bovendien reeds gebaseerd is op objectieve en verifieerbare feiten die rechtstreeks verband houden met een criminele activiteit. 5.2.4. Mate waarin de activiteiten van particuliere actoren binnen het toepassingsgebied kunnen vallen (207) Naast rechtshandhavingsinstanties die in beginsel de belangrijkste gebruiksverantwoordelijken van AI-systemen voor de voorspelling van criminaliteit zijn, kunnen de activiteiten van particuliere entiteiten in sommige gevallen ook onder het verbod van artikel 5, lid 1, punt d), van de AI-verordening vallen. Dit volgt uit het feit dat het verbod, gelet op de formulering ervan, niet uitsluitend van toepassing is op rechtshandhavingsinstanties. Bovendien zou het verbod anders gemakkelijk kunnen worden omzeild, wat afbreuk kan doen aan de doeltreffendheid ervan. (208) Zo gezien kan ervan worden uitgegaan dat het verbod met name van toepassing is wanneer particuliere actoren krachtens het recht zijn gemachtigd met de uitoefening van openbaar gezag en openbare bevoegdheden met het oog op de voorkoming van, het onderzoek naar, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen139. Particuliere actoren kunnen ook per geval uitdrukkelijk worden verzocht om namens rechtshandhavingsinstanties op te treden en individuele prognoses van criminaliteitsrisico’s uit te voeren. In die gevallen kunnen de activiteiten van die particuliere actoren ook onder het verbod vallen indien aan de toepasselijke voorwaarden is voldaan en de uitsluitingsgrond niet van toepassing is. Een particulier bedrijf dat geavanceerde op AI gebaseerde software voor criminaliteitsanalyse aanbiedt, kan bijvoorbeeld door een rechtshandhavingsinstantie worden verzocht een grote hoeveelheid gegevens uit meerdere bronnen en databanken te analyseren, zoals nationale registers, banktransacties, communicatiegegevens, geospatiale gegevens enz., om het risico dat bepaalde personen mogelijk strafbare feiten in verband met mensenhandel zullen plegen, te voorspellen of te beoordelen. Indien aan alle criteria voor artikel 5, lid 1, punt d), is voldaan, kan een dergelijk gebruik van AI- systemen verboden zijn. (209) Voorts kan het verbod van toepassing zijn op particuliere entiteiten die het risico op het plegen van een misdrijf beoordelen of voorspellen wanneer dit objectief noodzakelijk is omdat een particuliere operator de wettelijke verplichting heeft om het risico op het plegen van specifieke strafbare feiten te beoordelen of te voorspellen (bv. in het geval van de bestrijding van witwassen, terrorismefinanciering). Zo heeft een bankinstelling op grond van de antiwitwaswetgeving van de Unie de verplichting om profielen van cliënten op te stellen en hen te screenen op witwasdelicten140. Indien de bank een AI-systeem gebruikt om haar verplichtingen na te komen, mag dat alleen op basis van de in die wet gespecificeerde gegevens, voor zover die objectief en verifieerbaar zijn, om te waarborgen dat de personen die als verdachten worden aangemerkt, redelijkerwijs waarschijnlijk strafbare feiten zullen plegen die verband houden met het witwassen van geld. De voorspellingen moeten ook worden onderworpen aan menselijke beoordeling en controle overeenkomstig die wetgeving141 om de nauwkeurigheid en geschiktheid van die beoordelingen te waarborgen. Naleving van die wetgeving zal ervoor zorgen dat het gebruik van een AI- systeem voor individuele voorspellingen van criminaliteit in het kader van de bestrijding van witwassen buiten het toepassingsgebied van het verbod van artikel 5, lid 1, punt d), van de AI-verordening valt. (210) Gezien de nadruk op risicobeoordelingen die specifiek en uitsluitend betrekking hebben op het plegen van strafbare feiten, zoals blijkt uit de formulering van het verbod, en gezien het doel van het verbod zoals uiteengezet in overweging 42, mogen de activiteiten van particuliere entiteiten echter niet worden geacht onder het verbod van artikel 5, lid 1, punt d), van de AI-verordening te vallen indien een particuliere entiteit cliënten profileert met het oog op haar eigen reguliere bedrijfsactiviteiten en veiligheid of om haar financiële belangen te beschermen (bv. het opsporen van financiële onregelmatigheden), en niet om het risico te beoordelen of te voorspellen dat een cliënt een specifiek strafbaar feit pleegt. (211) Met andere woorden, wanneer particuliere partijen niet krachtens het recht de opdracht hebben gekregen om namens rechtshandhavingsinstanties specifieke rechtshandhavingsbevoegdheden uit te voeren of onderworpen zijn aan de bovengenoemde specifieke wettelijke verplichtingen, wordt het gebruik van AI- systemen voor het maken van risicobeoordelingen in het kader van de normale bedrijfsvoering van particuliere entiteiten en met het oog op de bescherming van hun eigen particuliere belangen niet geacht onder het verbod te vallen, wanneer die risicobeoordelingen slechts zijdelings en zuiver toevallig verband houden met het risico dat er strafbare feiten zullen worden gepleegd.

5.3. Praktijken die buiten het toepassingsgebied vallen

5.3.1. Op locatie of geospatiale gegevens gebaseerde voorspellingen of plaatsgebonden voorspellingen van criminaliteit (212) Op locatie of geospatiale gegevens gebaseerde voorspellingen of plaatsgebonden voorspellingen van criminaliteit zijn gebaseerd op de plaats of locatie waar misdrijven worden gepleegd of op de waarschijnlijkheid dat dat in dat gebied zal gebeuren. Wanneer de politie deze voorspellingen verricht, gaat dit in beginsel niet gepaard met de beoordeling van een specifieke persoon. Zij vallen derhalve buiten het toepassingsgebied van het verbod. Voorbeelden van op locatie of geospatiale gegevens gebaseerde voorspellingen of plaatsgebonden voorspellingen van criminaliteit:

• Een op AI gebaseerd voorspellend politiesysteem geeft een score voor de waarschijnlijkheid van criminaliteit in verschillende gebieden in de stad op basis van eerdere misdaadcijfers per gebied en andere ondersteunende informatie, zoals plattegronden, om duidelijk te maken waar een verhoogd risico op specifieke soorten criminaliteit bestaat, zoals inbraken, misdrijven met steekwapens enz., en rechtshandhavingsinstanties te helpen bepalen waar minder of meer patrouilles of wijkagenten nodig zijn om criminele activiteiten te verhinderen en te ontmoedigen.

• Een douaneautoriteit maakt gebruik van op AI gebaseerde risicoanalyse-instrumenten om te voorspellen waar zich waarschijnlijk verdovende middelen of illegale goederen bevinden, bijvoorbeeld op basis van bekende smokkelroutes.

• Een politiedienst gebruikt door AI gestuurde systemen om schoten met vuurwapens in real time te detecteren en te lokaliseren. Het systeem maakt gebruik van akoestische sensoren in stedelijke gebieden om het geluid van vuurwapens te identificeren en de locatie ervan door middel van driehoeksmetingen te bepalen, waardoor agenten over praktische gegevens beschikken om strafbare feiten op te sporen en te onderzoeken. (213) Het is echter niet altijd duidelijk hoe op locatie gebaseerde systemen die criminaliteit voorspellen, kunnen worden onderscheiden van voorspellende systemen die het individuele risico op het plegen van een strafbaar feit beoordelen. Voor zover de politie een AI-systeem gebruikt voor op locatie gebaseerde voorspellingen en de risicoscore voor de locatie vervolgens beschouwt als een aspect voor de profilering van een natuurlijke persoon, moet het gebruik van dat systeem worden beschouwd als persoonsgebonden en zal het in beginsel onder artikel 5, lid 1, punt d), van de AI- verordening vallen, hoewel het om andere redenen buiten het toepassingsgebied van het verbod kan vallen. Indien op locatie of geospatiale gegevens gebaseerde informatie of plaatsgebonden informatie bijvoorbeeld gekoppeld wordt aan persoonlijke informatie (bv. de verblijfplaats van een bepaalde persoon) en het AI-systeem het risico dat die persoon waarschijnlijk een strafbaar feit zal plegen uitsluitend beoordeelt op basis van profilering van de betrokken persoon, met inbegrip van zijn of haar verblijfplaats als de criminaliteit daar hoog is, moet het gebruik van dat systeem als persoonsgebonden worden beschouwd. 5.3.2. AI-systemen die menselijke beoordelingen ondersteunen op basis van objectieve en verifieerbare feiten die verband houden met een criminele activiteit (214) Artikel 5, lid 1, punt d) van de AI-verordening bepaalt dat het verbod niet geldt voor AI-systemen die worden gebruikt ter ondersteuning van de menselijke beoordeling van de betrokkenheid van een natuurlijke persoon bij een criminele activiteit, die reeds op rechtstreeks met de criminele activiteit verband houdende objectieve en verifieerbare feiten is gebaseerd. In een dergelijk geval zijn de beoordelingen en voorspellingen van het individuele risico op criminaliteit ook niet uitsluitend gebaseerd op profilering of de beoordeling van persoonlijke kenmerken, en zijn zij derhalve niet verboden. Voorbeelden van AI-systemen die daarom buiten het toepassingsgebied van het verbod vallen:

• Het gebruik van een AI-systeem voor de profilering en categorisering van feitelijk gedrag, zoals redelijk verdacht gevaarlijk gedrag in een menigte dat erop wijst dat iemand een misdrijf voorbereidt en waarschijnlijk zal plegen, waarbij de AI- classificatie onderworpen is aan zinvolle menselijke beoordeling. In dit geval is de risicobeoordeling die door een mens met behulp van AI wordt uitgevoerd, niet uitsluitend gebaseerd op de persoonlijke eigenschappen of de profilering, maar ook op objectieve en verifieerbare feiten die verband houden met het dreigende criminele gedrag van de betrokken persoon, dat door een mens is beoordeeld voordat er actie werd ondernomen.

• De politie onderzoekt het risico van een mogelijke gewapende overval en verdenkt twee personen. Er zijn verschillende verifieerbare en objectieve feiten waarop die verdenking is gebaseerd, zoals verifieerbare deelname aan en gesprekken in chatgroepen op het dark web over de aankoop van wapens. Een AI-systeem dat voorspellende geospatiale of plaatsgebonden politie-informatie combineert met informatie verkregen met automatische nummerplaatherkenning van de voertuigen van de verdachten, ondersteunt de menselijke beoordeling tijdens het onderzoek, dat gebaseerd is op verifieerbare en objectieve feiten die rechtstreeks verband houden met een specifieke criminele activiteit.

• Het gebruik van een AI-systeem dat het risico beoordeelt of een gevangene vervroegd kan worden vrijgelaten. Het AI-profiel van de getroffen persoon of de beoordeling van zijn persoonlijkheidseigenschappen en -kenmerken wordt alleen gebruikt ter ondersteuning van de menselijke beoordeling van objectieve en verifieerbare feiten die verband houden met strafbare feiten uit het verleden en bewezen gedrag dat relevant is voor diens reclassering.

• Een rechter houdt een zitting tijdens het vooronderzoek voor een persoon die van een ernstig strafbaar feit wordt beschuldigd, om te beoordelen of er niet tot vrijheidsbeneming strekkende maatregelen kunnen worden opgelegd. Bij de beslissing wordt beoordeeld of er geldige gronden voor voorlopige hechtenis bestaan, zoals de waarschijnlijkheid dat de verdachte of beklaagde een ander strafbaar feit zal plegen als hij niet in hechtenis wordt genomen, of dat hij zal onderduiken of het goede verloop van het onderzoek zal belemmeren. Om dit proces te ondersteunen, maakt de rechter gebruik van een op AI gebaseerd risicobeoordelingsinstrument dat is getraind op basis van verschillende gegevens, waaronder de criminele antecedenten van andere personen in vergelijkbare gevallen en andere variabelen, zoals leeftijdsgroep, sociaal gedrag, inkomen en arbeidssituatie.

• Een AI-systeem ondersteunt een menselijke functionaris bij de beoordeling van het risico dat iemand die een niet tot vrijheidsbeneming strekkende straf ondergaat de voorwaarden voor zijn invrijheidstelling schendt of onderduikt. De beoordeling is gebaseerd op crimineel gedrag uit het verleden en objectieve feiten die aanleiding geven tot verdenking, zoals naleving van de voorwaarden voor invrijheidstelling, de resultaten van psychologische beoordelingen en de aanbevelingen van andere maatschappelijke diensten waarvan de betrokkene gebruikmaakt. Op basis van deze informatie besluit de functionaris of hij de status quo handhaaft of de voorwaarden voor invrijheidstelling herziet.

• AI-systemen die door douaneautoriteiten worden gebruikt om het risico te beoordelen dat goederen die de EU binnenkomen, niet voldoen aan de toepasselijke wetgeving (bijvoorbeeld door de invoer van illegale drugs, de schending van sancties op exportproducten of andere illegale activiteiten) om vast te stellen wanneer er douanecontroles moeten worden uitgevoerd. Het AI-systeem beoordeelt objectieve en verifieerbare informatie die aan de douane wordt verstrekt over goederen en hun toeleveringsketens (bv. aard en waarde van de goederen, containernummer, vervoermiddelen die worden gebruikt om andere goederen te verbergen, hoe vaak goederen met bepaalde kenmerken en van een bepaalde oorsprong voldoen aan de vereisten voor de invoer naar of uitvoer uit de Unie). In bepaalde gevallen kan het ook informatie verwerken over de eerdere betrokkenheid van een importeur of exporteur bij onregelmatigheden in verband met de invoer van goederen, zijn banden met criminele organisaties of diens antecedenten op het gebied van drugshandel. Dergelijke systemen vallen buiten het toepassingsgebied van het verbod omdat voorspellingen van de waarschijnlijkheid dat een natuurlijke persoon betrokken zal zijn bij de in- of uitvoer van illegale goederen niet uitsluitend gebaseerd zijn op profilering, maar op objectieve en verifieerbare informatie over de goederen en de eerdere betrokkenheid van de importeur of exporteur bij criminele activiteiten, alsook onderworpen zijn aan een menselijke toetsing om te bepalen of de situatie al dan niet een controle door de douane of risicobeperkende maatregelen vereist. 5.3.3. AI-systemen die worden gebruikt voor het voorspellen en beoordelen van het risico op strafbare feiten door rechtspersonen (215) Het verbod van artikel 5, lid 1, punt d), van de AI-verordening is alleen van toepassing op individuele voorspellingen en risicobeoordelingen die betrekking hebben op natuurlijke personen. Criminaliteitsvoorspellende systemen die rechtspersonen profileren, zoals ondernemingen of niet-gouvernementele organisaties, zijn hiervan normaliter uitgesloten. Voorbeelden:

• Een belasting- of douanedienst gebruikt een AI-systeem om grote hoeveelheden gegevens over transacties, belastingaangiften en douanegegevens van bedrijven te analyseren om het risico te beoordelen dat een bedrijf strafbare belasting- of douanefraude pleegt.

• AI-systemen die worden gebruikt om douaneautoriteiten te helpen bij het bepalen van situaties waarin instructies moeten worden gegeven aan rechtspersonen om geen illegale goederen naar de EU te verzenden. (216) Er kunnen zich evenwel grensgevallen voordoen waarin een natuurlijke persoon in de vorm van een rechtspersoon optreedt als “eenmanszaak” of als onafhankelijk beroepsbeoefenaar (bv. als advocaat). In dergelijke omstandigheden kan het verbod van artikel 5, lid 1, punt d), van de AI-verordening van toepassing zijn, mits aan alle voorwaarden is voldaan, aangezien het AI-systeem een specifieke natuurlijke persoon profileert en het risico beoordeelt of voorspelt dat hij een strafbaar feit zal plegen, ook als dit gebeurt in verband met diens commerciële activiteiten. 5.3.4. AI-systemen die worden gebruikt voor individuele voorspellingen van administratieve overtredingen (217) Het verbod van artikel 5, lid 1, punt d), van de AI-verordening is alleen van toepassing op de voorspelling van strafbare feiten, zodat administratieve overtredingen van het toepassingsgebied ervan zijn uitgesloten, aangezien de vervolging hiervan in beginsel minder ingrijpende gevolgen heeft voor de grondrechten en fundamentele vrijheden. Zo valt een overheidsinstantie die AI gebruikt in het kader van een administratief onderzoek om het risico van potentiële lichte overtredingen (zoals lichte verkeersovertredingen) of onregelmatigheden in belasting-, aanbestedings- of uitgavenprocedures te beoordelen, niet onder het verbod van artikel 5, lid 1, punt d), van de AI-verordening, zelfs niet in gevallen waarin naar aanleiding van administratieve onderzoeken en controles informatie wordt verzameld over de mogelijke betrokkenheid van natuurlijke personen bij strafbare feiten. (218) Of een overtreding van administratieve of strafrechtelijke aard is, kan afhangen van het Unierecht of het nationale recht. Voor strafbare feiten die niet rechtstreeks door het Unierecht worden geregeld, is de nationale kwalificatie van het strafbare feit onderworpen aan toetsing door het Hof, aangezien “strafbaar feit” in het EU-recht een specifieke betekenis heeft die in alle lidstaten op consistente wijze moet worden uitgelegd. Het Hof heeft in een andere context geconcludeerd dat de kwalificatie van strafbare feiten door de lidstaten in dit verband niet doorslaggevend is142. Relevante criteria die worden gebruikt om de aard van het strafbare feit (al dan niet strafrechtelijk) te beoordelen, zijn te vinden in de desbetreffende jurisprudentie van het Hof en het Europees Hof voor de Rechten van de Mens (“EHRM”)143.

5.4. Samenhang met andere rechtshandelingen van de Unie

(219) De samenhang tussen het verbod van artikel 5, lid 1, punt d), van de AI-verordening enerzijds en de richtlijn gegevensbescherming bij rechtshandhaving en de AVG anderzijds is van belang bij de beoordeling van de rechtmatigheid van de verwerking van persoonsgegevens op grond van Uniewetgeving inzake gegevensbescherming, zoals de AVG en de richtlijn gegevensbescherming bij rechtshandhaving. Artikel 5, lid 1, punt d), van de AI-verordening bevat met name een specifiek verbod voor rechtshandhavingsinstanties, andere overheidsinstanties en particuliere entiteiten die binnen het toepassingsgebied van het verbod vallen om het risico dat een natuurlijke persoon een strafbaar feit pleegt uitsluitend te beoordelen of te voorspellen op basis van 142 Zie bijvoorbeeld het arrest van het Hof (Grote kamer) van 14 november 2013 betreffende de tenuitvoerlegging van een geldelijke sanctie opgelegd aan Marián Baláž, zaak C-60/12, ECLI:EU:C:2013:733. 143 Volgens de jurisprudentie van het Hof is het aan de nationale rechter om te bepalen of een niet-strafrechtelijke sanctie kan worden beschouwd als “strafrechtelijk” in het licht van de zogenaamde “Engel-criteria”. Zie: EHRM, arrest van 8 juni 1976, Engel e.a./Nederland, verzoekschriften nrs. 5100/71, 5101/71, 5102/71, 5354/72 en 5370/72, CE:ECHR:1976:0608JUD000510071, punt 82. Deze criteria zijn oorspronkelijk ontwikkeld door het EHRM en vervolgens bekrachtigd door het Hof. Zij zijn alternatief en niet cumulatief van aard. Bij het onderzoek of een sanctie van strafrechtelijke aard is, moet de bevoegde nationale rechter het volgende beoordelen: 1) de kwalificatie van de relevante bepalingen in het nationale recht; 2) de aard van de strafbare feiten; en 3) de zwaarte van de sanctie. Bij de beoordeling van de aard van het strafbare feit wordt onder meer rekening gehouden met de vraag of de procedure is ingesteld door een overheidsinstantie met wettelijke handhavingsbevoegdheden; of de wettelijke bepaling een repressief of afschrikkend doel heeft; of de wettelijke bepaling gericht is op de bescherming van de algemene maatschappelijke belangen die gewoonlijk door het strafrecht worden beschermd; of de oplegging van een sanctie afhankelijk is van een schuldigverklaring. Wat de zwaarte van de sanctie betreft, is het relevante criterium de maximale potentiële sanctie waarin het nationale recht voorziet. Deze criteria zijn alternatief en niet noodzakelijkerwijs cumulatief. Zie de handleiding van het EHRM over artikel 6 van het Europees Verdrag tot bescherming van de rechten van de mens, “Right to a fair trial (criminal limb)”, bijgewerkt op 29 februari 2024. Zie ook het arrest van het Hof van 5 juni 2012, Bonda, zaak C-489/10, ECLI:EU:C:2012:319, punt 37 e.v., en het arrest van het Hof van de profilering van een natuurlijke persoon of de beoordeling van hun persoonlijkheidseigenschappen en -kenmerken. Wat de richtlijn gegevensbescherming bij rechtshandhaving betreft, doet artikel 5, lid 1, punt d), van de AI-verordening geen afbreuk aan artikel 11, lid 3, van die richtlijn, dat profilering verbiedt die leidt tot (directe of indirecte) discriminatie. (220) De samenhang tussen het verbod van artikel 5, lid 1, punt d), van de AI-verordening en Richtlijn (EU) 2016/343 betreffende het vermoeden van onschuld is ook van belang, aangezien beide handelingen — direct in het geval van de richtlijn en indirect in het geval van de AI-verordening (zie overweging 42) — betrekking hebben op het grondrecht om voor onschuldig te worden gehouden totdat de schuld in rechte is komen vast te staan144. De richtlijn is van toepassing vanaf het moment dat iemand ervan wordt verdacht of beschuldigd een strafbaar feit te hebben gepleegd145, maar de AI- verordening heeft een breder toepassingsgebied. Zij is al van toepassing in het stadium van voorspelling en preventie, voordat er een formeel strafrechtelijk onderzoek tegen een bepaalde persoon wordt geopend en zelfs in gevallen waarin dergelijke voorspellingen en risicobeoordelingen worden uitgevoerd door particuliere actoren die binnen het toepassingsgebied van artikel 5, lid 1, punt d), van de AI-verordening vallen, en niet door bevoegde rechtshandhavingsinstanties, waaronder gerechtelijke autoriteiten. (221) Het is belangrijk om te benadrukken dat zelfs in gevallen waarin het verbod van artikel 5, lid 1, punt d), van de AI-verordening niet van toepassing is, het toepasselijke Unie- en nationale recht volledig van toepassing blijft, waaronder met name de wetgeving inzake gegevensbescherming, het strafprocesrecht en het politierecht, evenals eventuele waarborgen die het gebruik van AI-systemen om individuele strafbare feiten te voorspellen, verder beperken of hieraan aanvullende voorwaarden stellen.

6. ARTIKEL 5, LID 1, PUNT E), VAN DE AI-VERORDENING — ONGERICHTE SCRAPING VAN GEZICHTSAFBEELDINGEN

(222) Artikel 5, lid 1, punt e), van de AI-verordening verbiedt het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen die databanken voor gezichtsherkenning aanleggen of aanvullen door ongerichte scraping van gezichtsafbeeldingen van internet of CCTV-beelden.

6.1. Motivering en doelstellingen

(223) Ongerichte scraping van gezichtsafbeeldingen van internet en CCTV-beelden vormt een ernstige inbreuk op het recht op privacy en gegevensbescherming en ontzegt de betrokken personen het recht om anoniem te blijven. Overweging 43 van de AI- verordening rechtvaardigt derhalve het verbod van artikel 5, lid 1, punt e), van de AI- 144 Het vermoeden van onschuld is een grondrecht dat is verankerd in artikel 48 van het Handvest van de grondrechten van de EU. 145 Zoals het Hof heeft aangegeven, is het voor de toepassing van de richtlijn niet vereist dat de betrokken persoon door de bevoegde autoriteiten op de hoogte wordt gesteld van zijn status als verdachte/beklaagde. verordening op grond van het “gevoel van grootschalig toezicht” en de risico’s van “grove schendingen van de grondrechten, waaronder het recht op privacy”.

6.2. Belangrijkste begrippen en onderdelen van het verbod

Artikel 5, lid 1, punt e), van de AI-verordening luidt als volgt: De volgende AI-praktijken zijn verboden: e) het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen die databanken voor gezichtsherkenning aanleggen of aanvullen door ongerichte scraping van gezichtsafbeeldingen van internet of CCTV- beelden. (224) Voor de toepassing van het verbod van artikel 5, lid 1, punt e), van de AI-verordening moet aan verschillende cumulatieve voorwaarden worden voldaan: (i) De praktijk moet bestaan uit het “in de handel brengen”, “het voor dit specifieke doel in gebruik stellen” of het “gebruiken” van een AI-systeem. (ii) Het doel is databanken voor gezichtsherkenning aan te leggen of aan te vullen; (iii) Om de databank te vullen, wordt gebruikgemaakt van AI-instrumenten voor ongerichte scraping. (iv) De afbeeldingen zijn hetzij afkomstig van internet, hetzij van CCTV-beelden. (225) Voor de toepassing van het verbod moet tegelijkertijd aan alle vier de voorwaarden worden voldaan. Het eerste element, het in de handel brengen, in gebruik stellen of het gebruiken van het AI-systeem, is al geanalyseerd in punt 2.3. Het verbod geldt derhalve voor zowel aanbieders als gebruiksverantwoordelijken van AI-systemen, die elk hun eigen verantwoordelijkheid hebben om dergelijke systemen niet in de handel te brengen, in gebruik te stellen of te gebruiken. De specifieke criteria met betrekking tot het verbod op ongerichte scraping worden hieronder nader beschreven en geanalyseerd. Het verbod is van toepassing op scrapinginstrumenten die in de handel worden gebracht of in gebruik worden gesteld “voor dit specifieke doel”, namelijk de ongerichte scraping van gezichtsafbeeldingen van internet of CCTV-beelden. Dit betekent dat het verbod niet geldt voor alle scrapinginstrumenten waarmee een databank voor gezichtsherkenning kan worden aangelegd of aangevuld, maar alleen voor instrumenten voor ongerichte scraping. 6.2.1. Databanken voor gezichtsherkenning (226) Het verbod van artikel 5, lid 1, punt e), van de AI-verordening heeft betrekking op AI- systemen die worden gebruikt om databanken voor gezichtsherkenning aan te leggen of aan te vullen. Onder “databank” moet in dit verband worden verstaan elke verzameling van gegevens of informatie die zodanig is georganiseerd dat zij met een computer snel kunnen worden doorzocht en opgevraagd. Een databank voor gezichtsherkenning kan een menselijk gezicht op een digitale afbeelding of een videobeeld koppelen aan een databank van gezichten, deze vergelijken met beelden in de databank en bepalen of daartussen een mogelijke match bestaat. Een databank voor gezichtsherkenning kan tijdelijk, gecentraliseerd of gedecentraliseerd zijn. Artikel 5, lid 1, punt e), vereist niet dat de databank uitsluitend voor gezichtsherkenning gebruikt wordt; het volstaat dat hij voor gezichtsherkenning kan worden gebruikt. 6.2.2. Door ongerichte scraping van gezichtsafbeeldingen (227) “Scraping” verwijst doorgaans naar het gebruik van webcrawlers, bots of andere middelen om gegevens of inhoud automatisch uit verschillende bronnen te extraheren, waaronder CCTV, websites of sociale media. Het gaat om software die is geprogrammeerd om databanken te doorzoeken, daar informatie uit te halen en die informatie voor een ander doel te gebruiken. (228) “Ongericht” wil zeggen dat er gebruik wordt gemaakt van een techniek die werkt als een “stofzuiger” waarmee zoveel mogelijk gegevens en informatie worden opgezogen, zonder dat de scraping specifiek of bewust gericht is op individuele personen. Bij scraping worden gegevens of inhoud willekeurig verzameld. De term “ongericht” betekent dus dat de scraping niet specifiek gericht is op een bepaalde persoon of groep personen. Dat de opt-out-functie van internetprotocollen zoals robot.txt in acht wordt genomen, doet geen afbreuk aan het ongerichte karakter van de scraping. (229) Als een scrapinginstrument wordt geïnstrueerd om beelden of video’s te verzamelen die alleen de gezichten van specifieke personen of een vooraf bepaalde groep personen bevatten, gaat het om gerichte scraping, die bijvoorbeeld kan dienen om één specifieke dader te vinden of een groep slachtoffers te identificeren. Dit soort scraping valt niet onder het verbod van artikel 5, lid 1, punt e), van de AI-verordening. (230) Het verbod is bijvoorbeeld niet van toepassing op het gericht verzamelen van beelden van een specifieke categorie slachtoffers, bijvoorbeeld wanneer crawlers worden ingezet om beelden te vinden van slachtoffers die mensenhandelaren op socialemediakanalen zetten/aanbieden. Ongerichte scraping moet op zodanige wijze worden geïnterpreteerd dat omzeiling van het verbod niet mogelijk is. De scraping van internet of CCTV-beelden om stap voor stap een databank op te zetten, waarbij telkens specifieke groepen personen worden geselecteerd of andere criteria worden gehanteerd, moet onder het verbod van artikel 5, lid 1, punt e), van de AI-verordening vallen als het eindresultaat functioneel hetzelfde is als wanneer van meet af aan voor ongerichte scraping wordt gekozen. (231) Wanneer systemen gerichte zoekacties naar afbeeldingen of video’s combineren met ongerichte zoekacties, is de ongerichte scraping verboden. 6.2.3. Van internet en CCTV-beelden (232) Het verbod van artikel 5, lid 1, punt e), van de AI-verordening is van toepassing op gezichtsafbeeldingen die afkomstig zijn van internet of CCTV-beelden. Wat het internet betreft, betekent het feit dat iemand op een socialemediaplatform gezichtsafbeeldingen van zichzelf heeft gepubliceerd, niet dat diegene ermee heeft ingestemd dat die afbeeldingen in een databank voor gezichtsherkenning worden opgenomen. Een voorbeeld van de scraping van gezichtsafbeeldingen uit CCTV- beelden is het verzamelen van beelden van bewakingscamera’s die worden gebruikt op plaatsen zoals luchthavens, straten, parken enz. Voorbeeld: Een bedrijf dat software voor gezichtsherkenning maakt, verzamelt foto’s van gezichten. De foto’s van het bedrijf zijn van sociale media gehaald (bv. Facebook, YouTube, Twitter, Venmo) met een “automatische beeldscraper” die het internet doorzoekt en beelden met menselijke gezichten detecteert. Het verzamelt deze beelden met alle bijbehorende informatie (zoals de bron van de afbeelding (URL), de geolocatie en soms de namen van de betrokken personen). De gelaatstrekken worden vervolgens uit de afbeeldingen geëxtraheerd en omgezet in wiskundige weergaven, die worden gehasht voor indexering en toekomstige vergelijking. Wanneer een gebruiker een afbeelding van iemand naar het AI-systeem uploadt, bepaalt dat systeem of dat beeld overeenkomt met een gezicht in de databank. Het geüploade beeld zal dezelfde wiskundige transformatie ondergaan als de beelden die door scraping zijn verkregen. (233) Wanneer een AI-systeem een foto van een persoon ontvangt en op internet zoekt naar gezichten die daarmee overeenkomen, met zogenaamde “reverse engineering image search machines”, wordt dit beschouwd als gerichte scraping. Daarbij is het twijfelachtig of de matches in een “databank” te vinden zijn.

6.3. Praktijken die buiten het toepassingsgebied vallen

(234) Het verbod van artikel 5, lid 1, punt e), van de AI-verordening is niet van toepassing op de ongerichte scraping van andere biometrische gegevens dan gezichtsafbeeldingen (zoals stemmonsters). Het verbod is evenmin van toepassing wanneer er geen AI- systemen bij de scraping betrokken zijn. Databanken met gezichtsafbeeldingen die niet worden gebruikt voor de herkenning van personen vallen ook buiten het toepassingsgebied, zoals databanken met gezichtsafbeeldingen die worden gebruikt voor het trainen of testen van AI-modellen, waarbij de personen niet worden geïdentificeerd. (235) Het verbod van artikel 5, lid 1, punt e), van de AI-verordening is niet van toepassing op AI-systemen die grote hoeveelheden gezichtsafbeeldingen van internet halen om AI- modellen te bouwen die nieuwe beelden van fictieve personen genereren, omdat dergelijke systemen niet leiden tot de herkenning van echte personen. Dergelijke AI- systemen kunnen wel onder de transparantievereisten van artikel 50 van de AI- verordening vallen. (236) Het verbod van artikel 5, lid 1, punt e), van de AI-verordening heeft betrekking op AI- systemen die worden gebruikt om databanken voor gezichtsherkenning aan te leggen of aan te vullen. Bestaande gezichtsdatabanken die zijn opgezet vóór de inwerkingtreding van het verbod en die niet verder worden uitgebreid door middel van op AI gebaseerde ongerichte scraping, moeten bij gebruik voldoen aan de toepasselijke gegevensbeschermingsregels van de Unie. (237) Het verbod van artikel 5, lid 1, punt e), van de AI-verordening is gericht op het aanleggen of aanvullen van databanken voor gezichtsherkenning. Biometrische identificatie als concrete handeling is onderworpen aan specifieke regels in de AI- verordening en andere relevante Uniewetgeving.

6.4. Samenhang met andere rechtshandelingen van de Unie

(238) Wat de Uniewetgeving inzake gegevensbescherming betreft, is ongerichte scraping van het internet of CCTV-materiaal om databanken voor gezichtsherkenning aan te leggen of aan te vullen, d.w.z. de verwerking van persoonsgegevens (verzameling van gegevens en gebruik van databanken), onrechtmatig. Daarbij kan geen beroep worden gedaan op de rechtsgrondslagen voorzien in de AVG, de EUVG en de richtlijn gegevensbescherming bij rechtshandhaving.

7. ARTIKEL 5, LID 1, PUNT F), VAN DE AI-VERORDENING — EMOTIEHERKENNING

(239) Artikel 5, lid 1, punt f), van de AI-verordening verbiedt AI-systemen om emoties van een natuurlijke persoon af te leiden op de werkplek en in het onderwijs, behalve wanneer het gebruik van het systeem is bedoeld voor medische of veiligheidsdoeleinden. Systemen voor emotieherkenning die niet onder het verbod vallen, worden beschouwd als systemen met een hoog risico op grond van punt 1, c), van bijlage III bij de AI-verordening. Artikel 50, lid 3, van de AI-verordening bevat bepaalde transparantievereisten voor het gebruik van systemen voor emotieherkenning.

7.1. Motivering en doelstellingen

(240) De technologie voor emotieherkenning ontwikkelt zich snel en omvat verschillende technologieën en verwerkingsprocessen waarmee systemen emoties van personen kunnen detecteren, verzamelen, analyseren, categoriseren, herkennen, erop kunnen reageren en ermee kunnen interageren. Dergelijke technologie wordt ook “affectieve technologie” genoemd. Emotieherkenning kan op meerdere gebieden en domeinen worden gebruikt voor een breed scala aan toepassingen146, zoals het analyseren van het gedrag van klanten147 en gerichte reclame en neuromarketing148. In de amusementsindustrie kan het bijvoorbeeld worden gebruikt om gepersonaliseerde aanbevelingen te doen of reacties op films te voorspellen; in de geneeskunde en de gezondheidszorg om depressies te detecteren, zelfmoord te voorkomen of autisme vast te stellen; in het onderwijs om de aandacht of betrokkenheid van lerenden (leerlingen en studenten van verschillende leeftijden) te monitoren; op het werk om sollicitatieprocedures te begeleiden en de emoties (zoals verveling) van werknemers te monitoren, en voor toepassingen op het gebied van welzijn om werknemers gelukkiger 146 Het gebruik van emoties voor economische doeleinden wordt ook wel “emotionomics” genoemd. 147 Zie bv. G. Mangano, A. Ferrari, C. Rafale, E. Vezzetti, F. Marcolin, “Willingness of sharing facial data for emotion recognition: a case study in the insurance market” in: AI & Society, Londen, Springer, 2023. 148 Zie N. Lee, A.J. Broderick & L. Chamberlain, “What is ‘neuromarketing?A discussion and agenda for future research”, in International Journal of Psychophysiology, 63 (2), 2007, blz. 199-204, waarin neuromarketing wordt gedefinieerd als een gebied waarop onderzoek wordt gedaan naar de toepassing van neurowetenschappelijke methoden om menselijk gedrag te analyseren en te begrijpen in het kader van markten en marketinguitwisselingen (blz. 200). te maken149; voor rechtshandhaving en het bewaren van de openbare veiligheid met leugendetectors of het screenen van emoties bij grote evenementen; alsook voor vele andere doeleinden. (241) De doeltreffendheid of de nauwkeurigheid van emotieherkenning wordt vaak in twijfel getrokken150. In overweging 44 van de AI-verordening wordt aangegeven dat er “ernstige bezorgdheid [bestaat] over de wetenschappelijke basis van AI-systemen die gericht zijn op het identificeren of afleiden van emoties, met name omdat emoties sterk uiteenlopen tussen culturen en situaties, en zelfs bij één persoon. Tot de belangrijkste tekortkomingen van dergelijke systemen behoren de beperkte betrouwbaarheid, het gebrek aan specificiteit en de beperkte veralgemeenbaarheid.” Er wordt verder op gewezen dat emotieherkenning “tot discriminerende resultaten [kan] leiden en inbreuk [kan] maken op de rechten en vrijheden van de betrokken personen”, met name het recht op privacy, menselijke waardigheid en de vrijheid van gedachte. Dit speelt vooral in asymmetrische relaties, met name op de werkplek en in onderwijs- en opleidingsinstellingen, waar zowel werknemers als studenten zich in een bijzonder kwetsbare positie bevinden. Tegelijkertijd biedt emotieherkenning in specifieke gebruiksgevallen voordelen, zoals bij gebruik voor veiligheids- en medische doeleinden (bv. medische behandeling en diagnose)151.

7.2. Belangrijkste begrippen en onderdelen van het verbod

Artikel 5, lid 1, punt f), van de AI-verordening luidt als volgt: De volgende AI-praktijken zijn verboden: f) het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van AI-systemen om emoties van een natuurlijke persoon op de werkplek en in het onderwijs uit af te leiden, behalve wanneer het gebruik van het AI-systeem is bedoeld om uit medische of veiligheidsoverwegingen te worden ingevoerd of in de handel te worden gebracht. (242) Voor de toepassing van het verbod van artikel 5, lid 1, punt f), van de AI-verordening moet aan verschillende cumulatieve voorwaarden worden voldaan: (i) De praktijk moet bestaan uit het “in de handel brengen”, “het voor dit specifieke doel in gebruik stellen” of het “gebruiken” van een AI-systeem. (ii) Het AI-systeem wordt gebruikt om emoties af te leiden152. 149 Zie E. Ackerman & E. Strickland, “Are you Ready for Workplace Brain Scanning? Extracting and using brain data will make workers happier and more productive, backers say”, in IEEE Spectrum, 19 november 2022, https://spectrum.ieee.org/neurotech-workplace- innereye-emotiv. De auteurs leggen uit dat sensoren elektrische activiteit in verschillende gebieden van de hersenen detecteren, en dat de patronen bij die activiteit in grote lijnen kunnen worden gecorreleerd aan verschillende gevoelens of fysiologische reacties, zoals stress, concentratie of een reactie op externe stimuli. 150 Zie bv. J. Stanley, “Experts Say ‘Emotion Recognition’ lacks Scientific Foundation,”, 18 juli 2019, ACLU, waarin verwezen wordt naar een studie van L. Feldman Barrett e.a., “Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements”, Psychological Science in the Public Interest, 2019, blz. iii-90. (iii) Het AI-systeem wordt gebruikt op de werkplek of in onderwijs- en opleidingsinstellingen. (iv) AI-systemen die bedoeld zijn voor medische of veiligheidsdoeleinden zijn uitgesloten van het verbod. (243) Voor de toepassing van het verbod moet tegelijkertijd aan alle vier de voorwaarden worden voldaan. Het eerste element, namelijk het in de handel brengen, in gebruik stellen of gebruiken van het AI-systeem, is al geanalyseerd in punt 2.3. Het verbod geldt derhalve voor zowel aanbieders als gebruiksverantwoordelijken van AI-systemen, die elk hun eigen verantwoordelijkheid hebben om dergelijke systemen niet in de handel te brengen, in gebruik te stellen of te gebruiken. De andere voorwaarden die verband houden met het verbod worden hieronder nader beschreven en geanalyseerd. 7.2.1. AI-systemen om emoties af te leiden a) AI-systemen om emoties af te leiden tegenover systemen voor emotieherkenning (244) In artikel 3, punt 39, van de AI-verordening wordt een “systeem voor het herkennen van emoties” gedefinieerd als “een AI-systeem dat is bedoeld voor het vaststellen of afleiden van de emoties of intenties van natuurlijke personen op basis van hun biometrische gegevens”. In het verbod van artikel 5, lid 1, punt f), van de AI- verordening wordt niet gesproken over “systemen voor emotieherkenning”, maar alleen over “AI-systemen om emoties van een natuurlijke persoon […] af te leiden”. In overweging 44 wordt verder verduidelijkt dat het verbod betrekking heeft op AI- systemen die worden gebruikt voor “het identificeren of afleiden van emoties”. (245) Afleiden vereist over het algemeen ook identificatie, zodat het verbod zo moet worden geïnterpreteerd dat het AI-systemen omvat die emoties of intenties zowel identificeren als afleiden153. Voor de consistentie is het ook belangrijk ervan uit te gaan dat het verbod van artikel 5, lid 1, punt f), van de AI-verordening een vergelijkbaar toepassingsgebied heeft als de regels die van toepassing zijn op andere systemen voor emotieherkenning (punt 1, c), van bijlage III bij en artikel 50 van de AI-verordening) en om de toepassing ervan te beperken tot de afleiding van emoties op basis van de biometrische gegevens van een persoon. De definitie in artikel 3, punt 39, van de AI- verordening van systemen voor het herkennen van emoties moet daarom als relevant worden beschouwd voor artikel 5, lid 1, punt f), van de AI-verordening. b) Identificeren en afleiden van emoties of intenties (246) Van “identificatie” is sprake wanneer de verwerking van de biometrische gegevens (bijvoorbeeld van de stem of een gezichtsuitdrukking) van een natuurlijke persoon het mogelijk maakt een emotie rechtstreeks te vergelijken met en te identificeren aan de hand van een emotie die eerder in het systeem voor emotieherkenning is geprogrammeerd. Met “afleiden” wordt bedoeld het afleiden van informatie die door het systeem zelf met behulp van analytische en andere processen is gegenereerd. In dit geval is de informatie over de emotie niet uitsluitend gebaseerd op gegevens die over de natuurlijke persoon zijn verzameld, maar wordt zij afgeleid uit andere gegevens, onder meer met behulp van benaderingen op basis van machinaal leren waarbij aan de hand van data wordt geleerd hoe emoties te detecteren154. c) Emoties (247) Voor de toepassing van artikel 5, lid 1, punt f), van de AI-verordening moet het begrip emoties of intenties ruim worden opgevat en niet restrictief worden uitgelegd. In overweging 18 wordt een aantal voorbeelden van emoties gegeven “zoals geluk, droefheid, woede, verrassing, weerzin, verlegenheid, opwinding, schaamte, minachting, tevredenheid en plezier”. Dit zijn slechts enkele voorbeelden. (248) Het verbod mag niet worden omzeild door te stellen dat gekeken wordt naar attitudes, en omvat ook gevallen waarin het AI-systeem op basis van de biometrische gegevens vaststelt dat een persoon bijvoorbeeld een boze houding vertoont. (249) In overweging 18 wordt verduidelijkt dat emoties of intenties “geen fysieke toestanden [omvatten], zoals pijn of vermoeidheid, met inbegrip van bijvoorbeeld systemen die worden gebruikt om vermoeidheid bij beroepspiloten of beroepschauffeurs te detecteren om ongevallen te voorkomen”. Verder wordt verduidelijkt dat systemen voor emotieherkenning evenmin “de loutere detectie van gemakkelijk zichtbare uitdrukkingen, gebaren of bewegingen [omvatten], tenzij deze worden gebruikt om emoties te herkennen of af te leiden”, wat ook van toepassing moet worden geacht op artikel 5, lid 1, punt f), van de AI-verordening. Die uitdrukkingen kunnen basale gezichtsuitdrukkingen zijn, zoals een frons of een glimlach, of gebaren zoals hand-, arm-, of hoofdbewegingen, of kenmerken van iemands stem, zoals een luide spreektoon of een fluistertoon. Wanneer deze gemakkelijk zichtbare uitdrukkingen of gebaren echter worden gebruikt om emoties of intenties te identificeren of af te leiden, vallen zij onder het verbod. Voorbeelden:

• De constatering dat iemand glimlacht, is geen emotieherkenning.

• Vaststellen of iemand ziek is, is geen emotieherkenning.

• Wanneer een televisie-omroeporganisatie gebruikmaakt van een apparaat waarmee kan worden nagegaan hoe vaak haar nieuwslezers naar de camera glimlachen, is er geen sprake van emotieherkenning.

• Vaststellen dat iemand gelukkig is, is emotieherkenning. Een AI-systeem dat vaststelt dat een werknemer ongelukkig, verdrietig of boos op klanten is (bv. op basis van lichaamsgebaren, een frons of het ontbreken van een glimlach), houdt zich bezig met “emotieherkenning”. 154 Zie overweging 12 van de AI-verordening. Afgeleide gegevens zijn dus vaak ook het resultaat van op waarschijnlijkheid gebaseerde analytische (big data) processen die gericht zijn op het vinden van correlaties en patronen in gegevensreeksen.

• Systemen die uit stemgebruik of lichaamsgebaren afleiden dat een student furieus is en op het punt staat gewelddadig te worden, houden zich bezig met “emotieherkenning”.

• Het gebruik van AI-systemen om vast te stellen of een beroepspiloot of beroepschauffeur vermoeid is om hen te waarschuwen en te suggereren wanneer zij rust moeten nemen om ongevallen te voorkomen, is geen “emotieherkenning”, aangezien emotieherkenning geen betrekking heeft op fysieke toestanden zoals pijn of vermoeidheid. d) Op basis van hun biometrische gegevens (250) Volgens de definitie van artikel 3, punt 39, van de AI-verordening vormen alleen AI- systemen die emoties of intenties vaststellen of afleiden op basis van biometrische gegevens systemen voor het herkennen van emoties155. (251) Persoonlijke kenmerken waaruit biometrische gegevens kunnen worden geëxtraheerd, zijn fysieke of gedragsmatige eigenschappen. Voor het vaststellen van fysiologische biometrische gegevens worden fysieke, structurele en relatief statische kenmerken van personen gebruikt, zoals hun vingerafdrukken, irispatroon, gezichtscontouren of het patroon van de aderen in hun handen. Sommige vormen daarvan zijn microscopisch van aard, maar vertonen nog steeds biologische en chemische structuren die kunnen worden afgenomen en geïdentificeerd, bv. DNA en geur156. Met gedragsbiometrische gegevens worden de onderscheidende kenmerken van bewegingen, gebaren en motorische vaardigheden van personen bij het uitvoeren van een taak of reeks taken gemonitord. Dit betekent dat menselijke bewegingen, zoals het loopgedrag (analyse van de gang) of het contact van de vingers met een toetsenbord (toetsaanslagen), worden vastgelegd en geanalyseerd. Gedragsbiometrische gegevens omvatten verschillende modaliteiten die zowel uit vrijwillige als onvrijwillige herhaalde bewegingen en de bijbehorende ritmes/druk van lichaamsdelen kunnen bestaan, variërend van handtekeningen, gang, stem en toetsaanslagen tot oogbewegingen en hartslag157, elektro-encefalogrammen (“EEG”)158 en elektrocardiogrammen159. De biometrische input kan betrekking hebben op één modaliteit (bv. gezichtsopnamen) of meerdere modaliteiten (bv. gezichtsinformatie in combinatie met een EEG). Als voorbeelden hiervan worden in overweging 18 gezichtsuitdrukkingen, gebaren zoals handbewegingen of kenmerken van iemands stem genoemd. 155 Artikel 3, punt 34, van de AI-verordening definieert “biometrische gegevens” als “persoonsgegevens die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke, fysiologische of gedragsgerelateerde kenmerken van een natuurlijk persoon, zoals gezichtsafbeeldingen of vingerafdrukgegevens”. Zie ook overweging 18 van de AI-verordening over het afleiden van emoties uit stem- en spraakgebruik. 156 Physiological and Behavioural Biometrics — Biometrics Institute. 157 Physiological and Behavioural Biometrics — Biometrics Institute. 158 Zie EDPS, TechDispatch 1/2024 — Neurodata, 3 juni 2024, waarin het gebruik van hersengegevens en aanverwante technologie wordt besproken, alsook de juridische implicaties, waaronder een voorstel voor nieuwe “neurologische rechten”, onder meer op geestelijke privacy en integriteit. In S. O’Sullivan, H. Chneiweiss, A. Pierucci en K. Rommelfanger, “Neurotechnologies and Human Rights Framework: Do we need new Human Rights?”, verslag OESO en Raad van Europa, 9 november 2021, blz. 33, worden de huidige stand van zaken en de juridische aspecten van neurotechnologie besproken. Voorbeelden:

• Een AI-systeem dat emoties afleidt uit geschreven tekst (inhoudelijke/gevoelsanalyses) om de stijl of de toon van een bepaald artikel te bepalen, is niet gebaseerd op biometrische gegevens en valt derhalve niet onder het verbod.

• Een AI-systeem dat emoties afleidt uit de toetsaanslag (manier van typen), gezichtsuitdrukkingen, lichaamshoudingen of bewegingen, is gebaseerd op biometrische gegevens en valt onder het verbod. (252) Biometrische gegevens worden in de AI-verordening derhalve ruim gedefinieerd en omvatten alle biometrische gegevens die worden gebruikt voor emotieherkenning, biometrische categorisering of andere doeleinden160. 7.2.2. Beperking van het verbod tot de werkplek en het onderwijs (253) Het verbod in artikel 5, lid 1, punt f), van de AI-verordening beperkt zich tot systemen voor de herkenning van emoties “op de werkplek en in het onderwijs”. Zoals wordt verduidelijkt in overweging 44 van de AI-verordening, is deze beperking bedoeld om de ongelijke machtsverhoudingen in de context van werk of onderwijs aan te pakken. a) “Werkplek” (254) Het begrip “werkplek” moet ruim worden geïnterpreteerd. Dit begrip heeft betrekking op elke specifieke fysieke of virtuele ruimte waar natuurlijke personen taken en verantwoordelijkheden vervullen die hun zijn toegewezen door hun werkgever of door de organisatie in opdracht waarvan zij werken, bijvoorbeeld in het geval van zelfstandigen. Dit omvat elke omgeving waarin het werk wordt uitgevoerd. Deze kan sterk variëren naargelang van de aard van het werk, van besloten kantoorruimten, fabrieken en magazijnen tot openbaar toegankelijke ruimten zoals winkels, stadions of musea, en van locaties in de openlucht of auto’s tot tijdelijke of mobiele werkplekken. De status van werknemer, contractant, stagiair, vrijwilliger enz. staat hier los van161. Het begrip “werkplek” in artikel 5, lid 1, punt f), van de AI-verordening moet ook van toepassing worden geacht op kandidaten tijdens een werving- en selectieprocedure, in overeenstemming met andere bepalingen van de AI-verordening die betrekking hebben op het in de handel brengen, in gebruik stellen of gebruiken van AI-systemen op het gebied van werkgelegenheid, personeelsbeheer en toegang tot zelfstandige arbeid, aangezien ook daar sprake is van ongelijke machtsverhoudingen en het ingrijpende karakter van emotieherkenning zich al in de wervingsfase doet gelden. Voorbeelden: 160 In de AI-verordening bevat de definitie van biometrische gegevens niet de zinsnede “op grond waarvan eenduidige identificatie van die natuurlijke persoon mogelijk is of wordt bevestigd” (het functionele gebruik van biometrische gegevens), in tegenstelling tot de definitie van biometrische gegevens in de AVG, waarin dit vereiste wel is opgenomen. De definitie van biometrische gegevens van de AVG zal van toepassing zijn wanneer de regels inzake gegevensbescherming worden toegepast op de verwerking van persoonsgegevens (en bijvoorbeeld wanneer artikel 9, leden 1 en 2, van de AVG van toepassing zijn). 161 Zie ook de overwegingen waarin AI-systemen met een hoog risico op de werkplek worden besproken, zoals overweging 56, waarin een ruime interpretatie wordt gehanteerd. Zie ook de lijst van AI-systemen met een hoog risico in bijlage III, waarbij in punt 4 wordt verwezen naar zelfstandige arbeid. In het non-discriminatierecht van de EU wordt ook uitgebreid aandacht besteed aan zelfstandigen.

• Het gebruik van webcams en spraakherkenningssystemen door een callcenter om de emoties van hun werknemers, zoals woede, te observeren, is verboden162. Indien zij alleen voor persoonlijke opleidingsdoeleinden worden ingezet, zijn systemen voor emotieherkenning toegestaan mits de resultaten niet worden gedeeld met voor het personeelsbeleid verantwoordelijke personen en zij geen gevolgen kunnen hebben voor de beoordeling, promotie enz. van de opgeleide persoon, en op voorwaarde dat het verbod niet wordt omzeild en het gebruik van het systeem voor emotieherkenning geen gevolgen heeft voor de arbeidsrelatie.

• Het gebruik van spraakherkenningssystemen door een callcenter om de emoties van hun klanten, zoals woede of ongeduld, te observeren, is niet verboden op grond van artikel 5, lid 1, punt f), van de AI-verordening (bijvoorbeeld om werknemers te helpen omgaan met bepaalde boze klanten).

• AI-systemen die de emotionele toon tijdens hybride vergaderingen monitoren door emoties te identificeren en af te leiden uit stemgebruik en beelden van hybride videogesprekken, doorgaans om sociale bewustwording te bevorderen, de emotionele dynamiek te beheren en conflicten te voorkomen, zijn verboden.

• Het gebruik van AI-systemen voor emotieherkenning tijdens aanwervingsprocedures is verboden.

• Het gebruik van AI-systemen voor emotieherkenning tijdens de proeftijd is verboden.

• Het gebruik van camera’s door een supermarkt om de emoties van zijn werknemers te observeren (bv. geluk), is verboden.

• Het gebruik van camera’s door een supermarkt of een bank om verdachte klanten op te sporen, bijvoorbeeld om te zien of iemand op het punt staat een overval te plegen, is niet verboden op grond van artikel 5, lid 1, punt f), van de AI-verordening, zolang er geen werknemers worden geobserveerd en er voldoende andere waarborgen zijn. b) “Onderwijs” (255) De verwijzing naar het onderwijs is ruim en moet worden opgevat als een verwijzing naar zowel openbare als particuliere instellingen. Er gelden geen beperkingen voor wat betreft de soorten leerlingen of studenten, hun leeftijd of het type leeromgeving (online, klassikaal, gemengd163 enz.). Onder het verbod van artikel 5, lid 1, punt f), van de AI- verordening vallen bijvoorbeeld onderwijs- en opleidingsinstellingen op alle niveaus, met inbegrip van beroepsopleidingen, d.w.z. scholen waar leerlingen vaardigheden leren waarbij zij hun handen gebruiken164, en instellingen voor permanente educatie165. 162 Voorbeeld afkomstig uit Boyd et al., 2023, “Automated Emotion Recognition in the Workplace: How Proposed Technologies Reveal Potential Futures of Work”. 163 Onder gemengd leren moet worden verstaan dat er in het onderwijs- en opleidingsproces meer dan één benadering wordt gevolgd, onder meer door de combinatie van digitale (waaronder online leren) en niet-digitale leermiddelen. 164 Zie bijvoorbeeld de effectbeoordeling bij het voorstel van de Commissie, waarin werd aangegeven dat bepaalde AI-toepassingen door instellingen voor beroepsopleiding een ingrijpende inbreuk vormen op een groot aantal grondrechten, bijvoorbeeld bij beoordelingen: Europese Commissie, werkdocument van de diensten van de Commissie, Impact Assessment. Annexes, SWD(2021) 84 final, Part 2/2, blz. 43. Zie ook I. Tuomi, “The use of Artificial Intelligence (AI) in education”, Europees Parlement, 2020, blz. 9-10. Onderwijsinstellingen worden gewoonlijk geaccrediteerd of goedgekeurd door de bevoegde nationale onderwijsautoriteiten of gelijkwaardige autoriteiten. Een belangrijk kenmerk is dat onderwijsinstellingen certificaten kunnen verstrekken (of dat deelname een voorwaarde is voor het verkrijgen van een certificaat). Het verbod moet worden geacht ook van toepassing te zijn op kandidaten tijdens de toelatingsprocedure. Voorbeelden:

• Een op AI gebaseerde applicatie met emotieherkenning voor het onlineleren van een taal buiten een onderwijsinstelling is niet verboden op grond van artikel 5, lid 1, punt f), van de AI-verordening. Indien studenten daarentegen verplicht zijn de applicatie van een onderwijsinstelling te gebruiken, is het gebruik van een dergelijk systeem voor emotieherkenning verboden.

• Een onderwijsinstelling die op AI gebaseerde oogtrackingsoftware gebruikt bij het online-examineren van studenten om het fixatiepunt en de bewegingen van de ogen te volgen (het “gaze point”, bv. om te controleren of gebruik wordt gemaakt van ongeoorloofd materiaal) is niet verboden, omdat het systeem geen emoties identificeert of afleidt. Indien het systeem daarentegen ook wordt gebruikt om emoties te detecteren, zoals opwinding en angst, zou dit binnen het toepassingsgebied van het verbod vallen.

• Het gebruik van een AI-systeem voor emotieherkenning door een onderwijsinstelling om de belangstelling en aandacht van studenten te bepalen, is verboden. Indien het daarentegen alleen gebruikt worden voor leerdoeleinden in het kader van een rollenspel (bijvoorbeeld om acteurs of leerkrachten op te leiden), zijn systemen voor emotieherkenning toegestaan als de resultaten niet van invloed zijn op de beoordeling of certificering van de persoon die wordt opgeleid.

• Het gebruik van een AI-systeem voor emotieherkenning door een onderwijsinstelling tijdens toelatingsexamens voor nieuwe studenten is verboden.

• Het gebruik van een AI-systeem waarmee een onderwijsinstelling nagaat of studenten tijdens onlinecolleges via hun telefoon of andere kanalen met elkaar praten, is niet verboden, aangezien het geen emoties afleidt. Als het systeem daarentegen ook wordt gebruikt om emoties te detecteren, zoals opwinding, angst of belangstelling, zou dit binnen het toepassingsgebied van het verbod vallen.

• Wanneer een onderwijsinstelling zowel voor leerkrachten (werkplek) als studenten (onderwijs) een AI-systeem voor emotieherkenning gebruikt, is dat verboden. 7.2.3. Uitzonderingen op grond van medische en veiligheidsoverwegingen (256) Het verbod van artikel 5, lid 1, punt f), van de AI-verordening bevat een uitdrukkelijke uitzondering voor systemen voor emotieherkenning die op de werkplek of in het onderwijs worden gebruikt uit medische of veiligheidsoverwegingen, zoals systemen voor therapeutisch gebruik166. Gezien de doelstelling van de AI-verordening om een hoog niveau van bescherming van de grondrechten te waarborgen, moet deze uitzondering restrictief worden geïnterpreteerd. (257) Onder therapeutisch gebruik moet name worden verstaan het gebruik van medische hulpmiddelen met CE-markering. Deze uitzondering geldt bovendien niet voor het gebruik van systemen voor emotieherkenning om algemene welzijnsaspecten waar te nemen. De algemene monitoring van stressniveaus op de werkplek op grond van gezondheids- of veiligheidsoverwegingen is niet toegestaan. Een AI-systeem dat bedoeld is om burn-outs of depressies op de werkplek of in onderwijsinstellingen op te sporen, valt bijvoorbeeld niet onder deze uitzondering en is ook verboden. (258) Het begrip “veiligheidsoverwegingen” in deze uitzondering moet geacht worden alleen van toepassing te zijn op de bescherming van het leven en de gezondheid van personen en niet op de bescherming van andere belangen, zoals het voorkomen van diefstal of fraude. (259) Uit deze enge interpretatie van de uitzondering volgt dat elk gebruik uit medische en veiligheidsoverwegingen altijd beperkt moet blijven tot wat strikt noodzakelijk en evenredig is, inclusief beperking van de duur, omvang en persoonlijke werkingssfeer ervan, en vergezeld moet gaan van voldoende waarborgen. Dergelijke waarborgen kunnen bijvoorbeeld bestaan uit een voorafgaand schriftelijk en gemotiveerd advies van deskundigen over het specifieke gebruik ervan. De noodzaak moet objectief worden beoordeeld op grond van de beoogde medische en veiligheidsdoeleinden en mag niet gebaseerd zijn op de “behoeften” van de werkgever of de onderwijsinstelling. Bij deze beoordeling moet worden nagegaan of er minder ingrijpende alternatieve middelen voorhanden zijn waarmee hetzelfde doel kan worden bereikt. (260) Werkgevers en onderwijspersoneel mogen alleen uit medische en veiligheidsoverwegingen systemen voor emotieherkenning inzetten als daar uitdrukkelijk behoefte aan is167. De in dit verband verzamelde en verwerkte gegevens mogen niet voor andere doeleinden worden gebruikt. Dit is met name belangrijk omdat is gebleken dat het gebruik van op AI gebaseerde managementsoftware op het werk mogelijk negatieve gevolgen heeft voor de gezondheid en veiligheid van werknemers. Permanente monitoring, bijvoorbeeld met wearables, kan de werkstress doen toenemen en de productiviteit negatief beïnvloeden168. (261) Aangezien in overweging 18 van de AI-verordening wordt aangegeven dat fysieke toestanden, zoals pijn of vermoeidheid, buiten de definitie van emotieherkenning vallen, zou een aantal AI-systemen die uit veiligheidsoverwegingen worden gebruikt al niet onder die definitie vallen, bijvoorbeeld systemen die worden gebruikt om vermoeidheid bij beroepspiloten of beroepschauffeurs te detecteren om ongevallen te voorkomen. 167 Volgens het arbeidsrecht van de EU moeten werkgevers, indien dergelijke nieuwe technologieën worden ingevoerd, ook de werknemers of hun vertegenwoordigers hierover raadplegen, overeenkomstig de nationale procedures. Als niet aan deze procedurele eisen wordt voldaan, kunnen dergelijke systemen niet enkel onder verwijzing naar de AI-verordening worden ingevoerd. Hiervoor is ook toestemming vereist vanuit het oogpunt van de wetgeving inzake gegevensbescherming, die eveneens van toepassing is. 168 “The Interconnection between the AI Act and the EU’s Occupational Safety and Health Legal Framework”, Global Workplace Law & Policy (kluwerlawonline.com). (262) Op systemen voor emotieherkenning die voldoen aan de voorwaarden voor de uitzondering van artikel 5, lid 1, punt f), van de AI-verordening blijft de overige wetgeving, waaronder de regels inzake gegevensbescherming, van toepassing169. (263) Systemen voor emotieherkenning die overeenkomstig artikel 6, lid 2, van en punt 1, c), van bijlage III bij de AI-verordening als systemen met een hoog risico worden geclassificeerd, moeten voldoen aan de eisen voor AI-systemen met een hoog risico zoals beschreven in hoofdstuk III, afdeling 2, van de AI-verordening en aan de transparantieverplichting van artikel 50, lid 3, van de AI-verordening. Voorbeelden: Emotieherkenning kan uit medische overwegingen worden ingezet om werknemers of studenten met autisme te helpen en de toegankelijkheid voor blinden of doven te verbeteren170. Een dergelijk gebruik zou onder de uitzondering van artikel 5, lid 1, punt f), van de AI-verordening vallen (medische overwegingen). Emotieherkenning die wordt gebruikt om het welzijn, de motivatie, de leerervaring of de arbeidsvoldoening van studenten of werknemers te beoordelen, kan daarentegen niet worden aangemerkt als “gebruik uit medische overwegingen” en is derhalve verboden. Een werkgever mag geen op AI gebaseerde apparaten of digitale assistenten op de werkplek inzetten voor het meten van angst op basis van de aanwezige stressniveaus of voor het meten van verveling bij werknemers, tenzij het verhoogde stressniveau of het grote gebrek aan concentratie een concreet gevaar zou opleveren, bijvoorbeeld bij het gebruik van gevaarlijke machines of het omgaan met gevaarlijke chemische stoffen. In het laatste geval mag de werkgever de gegevens niet gebruiken voor andere doeleinden, zoals de beoordeling van de arbeidsprestaties van de werknemer.

7.3. Gunstigere wetgeving van lidstaten

(264) Artikel 2, lid 11, van de AI-verordening bepaalt dat de Unie of de lidstaten “wettelijke of bestuursrechtelijke bepalingen [kunnen] handhaven of [invoeren] die gunstiger zijn voor werknemers wat betreft de bescherming van hun rechten met betrekking tot het gebruik van AI-systemen door werkgevers”. De toepassing van collectieve arbeidsovereenkomsten die gunstiger zijn voor werknemers kan ook worden toegestaan of aangemoedigd. De lidstaten kunnen bijvoorbeeld wetten vaststellen die bepalen dat het gebruik van systemen voor emotieherkenning op de werkplek voor medische doeleinden niet is toegestaan.

7.4. Praktijken die buiten het toepassingsgebied vallen

(265) Zoals hierboven vermeld, vallen de volgende praktijken niet onder het toepassingsgebied:

• AI-systemen die emoties en gevoelens niet afleiden van biometrische gegevens;
• AI-systemen die fysieke toestanden afleiden, zoals pijn en vermoeidheid. (266) Systemen voor emotieherkenning die op andere plaatsen dan de werkplek en het onderwijs worden gebruikt, vallen niet onder het verbod van artikel 5, lid 1, punt f), van de AI-verordening. Dergelijke systemen worden evenwel beschouwd als AI-systemen met een hoog risico171. Bovendien kunnen dergelijke systemen in bepaalde gevallen worden verboden op grond van artikel 5, lid 1, punten a) en b), van de AI-verordening (schadelijke manipulatie en uitbuiting), of op grond van andere wetgeving van de Unie. Alle andere toepasselijke wetgeving, zoals de Uniewetgeving inzake gegevensbescherming, consumentenbescherming enz., blijft op dergelijke systemen van toepassing. Voorbeelden: Systemen voor emotieherkenning die in een commerciële context worden gebruikt om klanten te benaderen, vallen niet onder het verbod van artikel 5, lid 1, punt f), van de AI-verordening, ongeacht of zij gebaseerd zijn op biometrische gegevens of niet. Daarom vallen bijvoorbeeld AI-systemen die emotieherkenning mogelijk maken op basis van toetsaanslagen of gesproken berichten van klanten (bv. chatberichten, virtuele spraakassistenten) en die gebruikt worden bij onlinemarketing voor de weergave van gepersonaliseerde berichten en voor reclame, onder meer in slimme omgevingen (“intelligente reclameborden”), niet onder het verbod. Niettemin kunnen dergelijke praktijken onder het verbod op schadelijke manipulatie en uitbuiting van artikel 5, lid 1, punten a) en b), van de AI-verordening vallen172, indien aan alle voorwaarden voor de toepassing van die verbodsbepalingen is voldaan. a) Andere systemen die buiten het toepassingsgebied vallen (267) Met “crowd control” wordt over het algemeen gedoeld op de beheersing en monitoring van het gedrag van groepen om de (openbare) orde en de veiligheid bij evenementen te handhaven. Dit wordt vaak in verband gebracht met massa-evenementen (bv. voetbalwedstrijden, concerten enz.) of met specifieke plaatsen, zoals luchthavens of treinen. Systemen voor crowd control kunnen functioneren zonder de emoties van individuele personen af te leiden, bijvoorbeeld door het algemene geluidsniveau en het soort stemming op een bepaalde plaats te analyseren. In dat geval zou het systeem niet binnen het toepassingsgebied van artikel 5, lid 1, punt f), van de AI-verordening vallen, omdat er geen emoties van (concrete) natuurlijke personen worden afgeleid. (268) Er kunnen echter gevallen zijn waarin die systemen voor crowd control de emoties van personen vaststellen, bijvoorbeeld doordat er gekeken wordt of er veel kwade gezichten zijn. Normaliter vallen dergelijke AI-systemen niet onder het verbod van artikel 5, lid 1, 171 Artikel 6, lid 2, van en punt 1, c) van bijlage III bij de AI-verordening. 172 Deze situaties kunnen ook worden verboden op grond van andere regels, zoals de regels inzake gegevensbescherming of consumentenbescherming. punt f), van de AI-verordening, aangezien zij doorgaans niet worden gebruikt op de werkplek of in het onderwijs. (269) Buiten het toepassingsgebied vallen ook systemen die worden gebruikt op medisch gebied, zoals zorgrobots, of artsen die systemen voor emotieherkenning gebruiken tijdens een onderzoek op hun werkplek, en spraakprogramma’s die noodoproepen analyseren. (270) Dergelijke systemen zullen vaak personen screenen die aanwezig zijn in hun professionele hoedanigheid, zoals het beveiligingspersoneel in een voetbalstadion of op een centraal station (waar dergelijke systemen worden gebruikt om agressief gedrag te herkennen), of medisch personeel. In dergelijke gevallen moeten gebruiksverantwoordelijken zorgen voor waarborgen om de screening van personeel te voorkomen. Het kan echter nooit helemaal worden vermeden dat die systemen ook de emoties van die werknemers afleiden. Aangezien de primaire doelstelling van het systeem in deze gevallen niet de beoordeling van de emoties van werknemers is, moeten deze systemen worden geacht buiten het toepassingsgebied van het verbod te vallen. Gebruiksverantwoordelijken van dergelijke systemen blijven verantwoordelijk om ervoor te zorgen dat werknemers geen nadelige gevolgen ondervinden van het gebruik ervan.

8. ARTIKEL 5, LID 1, PUNT G), VAN DE AI-VERORDENING — BIOMETRISCHE CATEGORISERING OP BASIS VAN BEPAALDE

“GEVOELIGE” KENMERKEN (271) Artikel 5, lid 1, punt g), van de AI-verordening verbiedt biometrische categorisering van natuurlijke personen op basis van biometrische gegevens om hun ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden. Dit verbod geldt niet voor het labelen, filteren of categoriseren van biometrische gegevensreeksen die in overeenstemming met het Unierecht of het nationale recht zijn verkregen, die bijvoorbeeld met het oog op de rechtshandhaving kunnen worden gebruikt173.

8.1. Motivering en doelstellingen

(272) Uit biometrische gegevens kan een grote verscheidenheid aan informatie, waaronder “gevoelige” informatie, worden geëxtraheerd, opgemaakt of afgeleid, zelfs zonder medeweten van de betrokken personen, om die personen te categoriseren. Dit kan leiden tot een oneerlijke en discriminerende behandeling, bijvoorbeeld wanneer iemand een dienst wordt geweigerd omdat hij geacht wordt van een bepaald ras te zijn. Op AI gebaseerde systemen voor biometrische categorisering die gebruikt worden om natuurlijke personen in te delen in specifieke groepen of categorieën die verband houden met aspecten als hun seksuele gerichtheid, politieke overtuigingen of ras, vormen een schending van de menselijke waardigheid en een aanzienlijk risico voor andere grondrechten, zoals het recht op privacy en non-discriminatie. Zij zijn daarom verboden op grond van artikel 5, lid 1, punt g), van de AI-verordening.

8.2. Belangrijkste begrippen en onderdelen van het verbod

Artikel 5, lid 1, punt g), van de AI-verordening luidt als volgt: De volgende AI-praktijken zijn verboden: g) het in de handel brengen, het voor dit specifieke doel in gebruik stellen of het gebruiken van systemen voor biometrische categorisering die natuurlijke personen individueel in categorieën indelen op basis van biometrische gegevens om hun ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden; dit verbod geldt niet voor het labelen of filteren van rechtmatig verkregen biometrische datasets, zoals afbeeldingen, op basis van biometrische gegevens of categorisering van biometrische gegevens op het gebied van rechtshandhaving. (273) Voor de toepassing van het verbod van artikel 5, lid 1, punt g), van de AI-verordening moet aan verschillende cumulatieve voorwaarden worden voldaan: (i) De praktijk moet bestaan uit het “in de handel brengen”, “het voor dit specifieke doel in gebruik stellen” of het “gebruiken” van een AI-systeem. (ii) Het systeem moet een systeem voor biometrische categorisering zijn. (iii) Er moeten individuele personen worden gecategoriseerd. (iv) Dit moet gebeuren op basis van hun biometrische gegevens. (v) Het doel is om hun ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden. (274) Voor de toepassing van het verbod moet tegelijkertijd aan alle vijf de voorwaarden worden voldaan. De eerste voorwaarde, namelijk het in de handel brengen, het in gebruik stellen of het gebruiken van het AI-systeem, is al geanalyseerd in punt 2.3. Het verbod geldt derhalve voor zowel aanbieders als gebruiksverantwoordelijken van AI- systemen, die elk hun eigen verantwoordelijkheid hebben om dergelijke systemen niet in de handel te brengen, in gebruik te stellen of te gebruiken. De overige voorwaarden voor de toepassing van het verbod174 worden hieronder nader beschreven en geanalyseerd. (275) Het verbod geldt niet voor het labelen of filteren van rechtmatig verkregen biometrische datasets, ook wanneer dit met het oog op de rechtshandhaving gebeurt. 8.2.1. Systeem voor biometrische categorisering (276) De categorisering van een persoon door een biometrisch systeem houdt in dat wordt bepaald of de biometrische gegevens van een persoon voldoen aan een reeks tevoren 174 Voor de criteria “AI-systeem”, “het in de handel brengen”, “het in gebruik stellen voor dit specifieke doel” of het gebruik, zie hierboven. vastgestelde kenmerken. Het gaat niet om de identificatie van een persoon of de verificatie van zijn identiteit, maar om de indeling van de betrokkene in een bepaalde categorie. Een reclamescherm kan bijvoorbeeld verschillende advertenties tonen naargelang van de leeftijd of het geslacht van de kijker175. Personen kunnen ook eenvoudigweg om statistische redenen worden gecategoriseerd, zonder te worden geïdentificeerd en zonder dat beoogd wordt om hen te identificeren. (277) Artikel 3, punt 40, van de AI-verordening definieert een systeem voor biometrische categorisering als een AI-systeem dat is bedoeld voor het indelen van natuurlijke personen in specifieke categorieën op basis van hun biometrische gegevens, tenzij dit een aanvulling vormt op een andere commerciële dienst en om objectieve technische redenen strikt noodzakelijk is. Zoals uiteengezet in punt 7.2.1, d), wordt het begrip “biometrische gegevens” gedefinieerd in artikel 3, punt 34, van de AI-verordening. Biometrische gegevens bestaan met name uit gedragsgerelateerde kenmerken die gebaseerd zijn op biometrische kenmerken. Het toepassingsgebied van biometrische categorisering sluit categorisering op basis van kleding of accessoires (zoals hoofddoeken of kruizen) en activiteiten op sociale media uit. (278) Bij biometrische categorisering kan gebruik worden gemaakt van categorieën fysieke kenmerken (bv. kenmerken en vorm van het gezicht, huidskleur) op basis waarvan personen in specifieke categorieën worden ingedeeld. Sommige van deze categorieën kunnen een bijzonder “gevoelig” karakter hebben of betrekking hebben op kenmerken die op grond van het non-discriminatierecht van de Unie worden beschermd, zoals ras. Biometrische categorisering kan echter ook gebaseerd zijn op DNA of op gedragsaspecten, zoals een analyse van iemands toetsaanslagen of gang176. (279) Wil een systeem buiten het toepassingsgebied van de definitie van biometrische categorisering in de AI-verordening vallen, moet cumulatief worden voldaan aan twee voorwaarden: de categorisering moet “een aanvulling [vormen] op een andere commerciële dienst en om objectieve technische redenen strikt noodzakelijk [zijn]”. (280) Volgens overweging 16 van de AI-verordening is een louter bijkomstige functie een functie die intrinsiek verbonden is met een andere commerciële dienst, waarbij die functie om objectieve technische redenen niet los van de hoofddienst kan worden gebruikt, en de integratie van die functie of functionaliteit geen middel is om de toepassing van de regels van de AI-verordening te omzeilen. Het volgende gebruik van AI is bijvoorbeeld toegestaan op grond van artikel 5, lid 1, punt g), van de AI-verordening:

• Filters die op onlinemarktplaatsen gebruikte gezichts- of lichaamskenmerken categoriseren, kunnen een dergelijke bijkomstige functie vormen, aangezien zij alleen kunnen worden gebruikt voor de hoofddienst, die erin bestaat een product te verkopen. 175 Zie Advies 3/2012 van de Groep gegevensbescherming artikel 29 over ontwikkelingen op het gebied van biometrische technologieën, WP193, 27 april 2012, blz. 6. 176 Zie bijvoorbeeld Advies 3/2012 van de Groep gegevensbescherming artikel 29 over ontwikkelingen op het gebied van biometrische technologieën, WP193, 27 april 2012, blz. 18-19. De groep spreekt in dit verband over “globale herkenning” (blz. 19), d.w.z. “detectie van gedrag of bijzondere behoeften van personen”.

• Filters die geïntegreerd zijn in online-socialenetwerkdiensten die gezichts- of lichaamskenmerken categoriseren zodat gebruikers foto’s of video’s kunnen toevoegen of wijzigen, kunnen ook als bijkomstig worden beschouwd, aangezien dergelijke filters niet kunnen worden gebruikt zonder de hoofddienst van de socialenetwerkdiensten die bestaat in het onlinedelen van content. Voorbeelden van verboden toepassingen zijn daarentegen:

• Een AI-systeem dat personen die actief zijn op een socialemediaplatform indeelt op basis van hun veronderstelde politieke overtuiging, door de biometrische gegevens van de foto’s die zij op het platform hebben geüpload, te analyseren, met als doel hen gerichte politieke boodschappen te sturen. Hoewel een dergelijk systeem mogelijk alleen een aanvulling vormt op politieke reclame, is het niet “om objectieve technische redenen strikt noodzakelijk”, zodat niet is voldaan aan de voorwaarden voor uitsluiting van de definitie van biometrische categorisering.

• Een AI-systeem dat personen die actief zijn op een socialemediaplatform indeelt op basis van hun veronderstelde seksuele gerichtheid door de biometrische gegevens van op dat platform gedeelde foto’s te analyseren en hen op basis daarvan die reclameboodschappen stuurt, valt aan te merken als biometrische categorisering in de zin van de AI-verordening. Ook in dit geval is deze “bijkomstige dienst” niet strikt noodzakelijk, zodat uitsluiting van het verbod niet aan de orde is. 8.2.2. Personen worden individueel gecategoriseerd op basis van hun biometrische gegevens (281) Het gebruik van biometrische gegevens voor de categorisering van natuurlijke personen is een essentieel element voor de toepassing van het verbod (zie punt 8.2.1 en punt 7.2.1, d)). (282) Bovendien moeten deze natuurlijke personen, wil het verbod van toepassing zijn, “individueel” worden gecategoriseerd. Indien dit niet het doel of het resultaat van de biometrische categorisering is, bijvoorbeeld als een hele groep wordt gecategoriseerd zonder dat naar afzonderlijke individuen wordt gekeken, is het verbod niet van toepassing. Voorbeelden van individuele categorisering zijn:

• AI-systemen die zich bezighouden met “attribute estimation” (vaststelling van demografische kenmerken), waaronder “leeftijd, geslacht en etniciteit”, bijvoorbeeld op basis van lichamelijke kenmerken zoals gezicht, lengte of huids-, oog- en haarkleur (of een combinatie daarvan).

• AI-systemen die personen in categorieën kunnen indelen en hen onderscheiden op basis van een specifiek kenmerk (bv. een litteken onder hun rechteroog of een tatoeage op hun rechterhand). Deze toepassingen zijn voorbeelden van individuele biometrische categorisering. Om onder het verbod van artikel 5, lid 1, punt g), van de AI-verordening te vallen, moet aan alle voorwaarden van die bepaling zijn voldaan. 8.2.3. Om hun ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden (283) Artikel 5, lid 1, punt g), van de AI-verordening verbiedt alleen systemen voor biometrische categorisering die tot doel hebben een beperkt aantal gevoelige kenmerken af te leiden: ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid. Voorbeelden van systemen die verboden zijn op grond van artikel 5, lid 1, punt g), van de AI-verordening:

• Systemen voor biometrische categorisering die het ras van een persoon zouden kunnen afleiden van zijn stem (dit is iets anders dan een systeem dat personen indeelt op basis van huids- of oogkleur, of een systeem dat het DNA van slachtoffers van misdrijven analyseert op basis van hun herkomst. Dergelijke systemen zouden niet verboden zijn).

• Systemen voor biometrische categorisering die iemands godsdienstige voorkeur zouden kunnen afleiden uit zijn tatoeages of gezicht.

8.3. Praktijken die buiten het toepassingsgebied vallen

(284) Het verbod van artikel 5, lid 1, punt g), van de AI-verordening is niet van toepassing op AI-systemen die zich bezighouden met het labelen of filteren van rechtmatig verkregen biometrische datasets, zoals afbeeldingen, op basis van biometrische gegevens, ook op het gebied van rechtshandhaving. Dit wordt nader toegelicht in overweging 30 van de AI-verordening177. (285) Biometrische gegevenssets kunnen door systemen voor biometrische categorisering worden gelabeld of gefilterd, juist om ervoor te zorgen dat alle demografische groepen in gelijke mate in de gegevens vertegenwoordigd zijn en bijvoorbeeld één specifieke groep daarin niet oververtegenwoordigd is. Als de gegevens die worden gebruikt voor het trainen van een algoritme negatieve vooroordelen over een specifieke groep bevatten (d.w.z. er bestaan systematische verschillen in de gegevens over groepen als gevolg van de manier waarop de gegevens worden verzameld, of de gegevens zijn historisch bevooroordeeld), kan het algoritme deze vooroordelen repliceren, wat kan leiden tot onrechtmatige discriminatie van personen of groepen personen178. Daarom kan het nodig zijn bepaalde beschermde gevoelige informatie te labelen om hoogwaardige gegevens te verkrijgen, juist om discriminatie te voorkomen. Op grond 177 Overweging 30 van de AI-verordening: “Dat verbod mag geen betrekking hebben op het rechtmatig labelen, filteren of categoriseren van reeksen biometrische gegevens die in overeenstemming met het Unierecht of het nationale recht met betrekking tot biometrische gegevens zijn verkregen, zoals het sorteren van beelden op basis van haar- of oogkleur, die bijvoorbeeld op het gebied van rechtshandhaving kunnen worden gebruikt”. van de AI-verordening is het mogelijk zelfs vereist dat bij het labelen wordt voldaan aan de eisen van de AI-verordening voor AI-systemen met een hoog risico179. Dit labelen of filteren van biometrische gegevens is daarom uitdrukkelijk uitgezonderd van het verbod van artikel 5, lid 1, punt g), van de AI-verordening. Het verbod is alleen van toepassing wanneer biometrische gegevens worden gecategoriseerd om ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuigingen, seksleven of seksuele gerichtheid af te leiden. Voorbeelden van toegestane vormen van labelen of filteren:

• Het labelen van biometrische gegevens om te voorkomen dat leden van een bepaalde etnische groep minder kans hebben om te worden uitgenodigd voor een sollicitatiegesprek omdat het algoritme is “getraind” op basis van gegevens volgens welke die specifieke groep slechter presteert, d.w.z. slechtere resultaten laat zien dan andere groepen180.

• Het categoriseren van patiënten op basis van beelden die verband houden met hun huids- of oogkleur kan van belang zijn voor de medische diagnose, bijvoorbeeld het diagnosticeren van kanker. (286) Artikel 5, lid 1, punt g), van de AI-verordening bepaalt ook dat het verbod in die bepaling niet van toepassing is op het labelen of filteren van rechtmatig verkregen datasets op het gebied van rechtshandhaving181. Dit geldt bijvoorbeeld voor het gebruik door een rechtshandhavingsinstantie van een AI-systeem dat het mogelijk maakt een dataset te labelen en te filteren waarvan wordt vermoed dat deze materiaal van seksueel misbruik van kinderen bevat. Als eerste stap zouden rechtshandhavingsinstanties AI-systemen kunnen gebruiken om hierin naar gevoelige gegevens te zoeken en deze in de beelden onzichtbaar te maken. Bovendien kan filteren en labelen op basis van geslacht, leeftijd, biometrische gegevens zoals haar- en oogkleur, littekens en andere merktekens helpen om de slachtoffers te identificeren of verbanden te leggen met andere zaken. Ook het filteren en labelen van de handen van de daders op basis van specifieke kenmerken, zoals de vingerlengte of onderscheidende merktekens of tatoeages, om mogelijke verdachten te helpen identificeren, is toegestaan.

8.4. Samenhang met overig Unierecht

(287) AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische categorisering op basis van krachtens artikel 9, lid 1, van de AVG beschermde gevoelige eigenschappen of kenmerken, voor zover deze niet verboden zijn op grond van deze verordening, worden op grond van de AI-verordening182 geclassificeerd als systemen met een hoog risico183. (288) Artikel 5, lid 1, punt g), van de AI-verordening vormt een verdere beperking van de mogelijkheden voor rechtmatige verwerking van persoonsgegevens die geboden worden door de Uniewetgeving inzake gegevensbescherming, zoals de AVG, de richtlijn gegevensbescherming bij rechtshandhaving en de EUVG. Artikel 5, lid 1, punt g), van de AI-verordening sluit met name de mogelijkheid uit van biometrische categorisering van natuurlijke personen op basis van hun biometrische gegevens, zoals gedefinieerd in de AI-verordening, om hun ras, politieke opvattingen, lidmaatschap van een vakbond, religieuze of levensbeschouwelijke overtuiging, seksleven of seksuele gerichtheid af te leiden, behalve wanneer dit gebeurt voor het labelen of filteren van rechtmatig verkregen biometrische datasets, ook op het gebied van rechtshandhaving, zoals hierboven beschreven. Bovendien is het verbod in artikel 5, lid 1, punt g), van de AI-verordening in overeenstemming met artikel 11, lid 3, van de richtlijn gegevensbescherming bij rechtshandhaving, dat uitdrukkelijk elke “profilering” verbiedt die leidt tot discriminatie op grond van bijzondere categorieën persoonsgegevens, zoals ras, etnische afkomst, seksuele gerichtheid, politieke opvattingen of religieuze overtuiging.

9. ARTIKEL 5, LID 1, PUNT H), VAN DE AI-VERORDENING — SYSTEMEN VOOR BIOMETRISCHE IDENTIFICATIE OP AFSTAND (RBI) IN REAL

TIME MET HET OOG OP DE RECHTSHANDHAVING (289) Artikel 5, lid 1, punt h), van de AI-verordening verbiedt het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving, behoudens beperkte uitzonderingen die limitatief in de AI-verordening beschreven staan. In het bijzonder voorziet artikel 5, lid 1, punt h), i) tot en met iii), van de AI-verordening in drie situaties waarin het gebruik van dergelijke systemen kan worden toegestaan wanneer dit is toegestaan door de nationale wetgeving en aan de voorwaarden en waarborgen van artikel 5, leden 2 tot en met 7, van de AI-verordening is voldaan. (290) Overeenkomstig artikel 5, lid 5, van de AI-verordening staat het de lidstaten vrij te beslissen of en in welke van de drie situaties het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving op hun grondgebied is toegestaan. Bij ontstentenis van nationale wetgeving die een dergelijk gebruik toestaat en regelt, mogen rechtshandhavingsinstanties en namens hen optredende entiteiten dergelijke systemen niet met het oog op de rechtshandhaving inzetten. Het bestaan van nationale wetgeving die voldoet aan de relevante vereisten van de AI-verordening is daarom een eerste vereiste voor een dergelijk gebruik. (291) Artikel 5, lid 1, punt h), van de AI-verordening verbiedt alleen het gebruik van RBI- systemen in real time in openbare ruimten met het oog op de rechtshandhaving, zodat alleen gebruiksverantwoordelijken van dergelijke systemen onder die bepaling vallen. Het in de handel brengen en in gebruik stellen van dergelijke systemen, alsook het gebruik van andere RBI-systemen, is niet verboden, maar onderworpen aan de regels voor AI-systemen met een hoog risico overeenkomstig artikel 6, lid 2, en punt a), van bijlage III bij de AI-verordening184. Wanneer een lidstaat het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving toestaat voor een van de drie doelstellingen vermeld in artikel 5, lid 1, punt h), van de AI-verordening, zijn de regels voor AI-systemen met een hoog risico ook op dat gebruik van toepassing. (292) Ten slotte gelden er specifieke regels voor het gebruik achteraf van RBI-systemen met het oog op de rechtshandhaving. Dergelijk gebruik dat niet in real time plaatsvindt, is niet verboden, maar onderworpen aan aanvullende waarborgen voor de inzet van AI- systemen met een hoog risico (artikel 26, lid 10, van de AI-verordening).

9.1. Motivering en doelstellingen

(293) In overweging 32 van de AI-verordening wordt erkend dat het gebruik van RBI- systemen in real time in openbare ruimten met het oog op de rechtshandhaving bijzonder ingrijpend is voor de rechten en vrijheden van de betrokkenen, in die mate dat het de persoonlijke levenssfeer van een groot deel van de bevolking kan aantasten, een gevoel van voortdurende bewaking kan oproepen en indirect de uitoefening van de vrijheid van vergadering en andere grondrechten kan ontmoedigen. Technische onnauwkeurigheden van AI-systemen voor de biometrische identificatie op afstand van natuurlijke personen kunnen tot vertekende resultaten en discriminerende effecten leiden. Dergelijke mogelijk vertekende resultaten en discriminerende effecten zijn met name relevant met betrekking tot leeftijd, etniciteit, ras, geslacht of handicap. Bovendien houden het directe karakter van de gevolgen en de beperkte mogelijkheden voor verdere controles of correcties met betrekking tot het gebruik van dergelijke realtimesystemen, verhoogde risico’s in voor de rechten en vrijheden van de betrokken personen in de context van rechtshandhavingsactiviteiten of wanneer die personen van de rechtshandhavingsactiviteiten gevolgen ondervinden. (294) Wanneer het gebruik van dergelijke systemen echter strikt noodzakelijk is om een zwaarwegend algemeen belang te dienen en de situaties waarin een dergelijk gebruik is toegestaan limitatief zijn opgesomd en nauwkeurig zijn omschreven, weegt dat gebruik zwaarder dan de risico’s voor de grondrechten (overweging 33 van de AI-verordening). Om ervoor te zorgen dat dergelijke systemen op een “verantwoorde en evenredige wijze” worden gebruikt, is het gebruik ervan onderworpen aan de waarborgen en de specifieke verplichtingen en eisen van artikel 5, leden 2 tot en met 7, van de AI- verordening.

9.2. Belangrijkste begrippen en onderdelen van het verbod

Artikel 5, lid 1, punt h), van de AI-verordening De volgende AI-praktijken zijn verboden: 184 Daarnaast gelden er specifieke regels voor het gebruik achteraf van RBI-systemen met het oog op de rechtshandhaving (artikel 26, lid 10, van de AI-verordening). h) het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, tenzij en voor zover een dergelijk gebruik strikt noodzakelijk is voor een van de volgende doelstellingen: i) het gericht zoeken naar specifieke slachtoffers van ontvoering, mensenhandel of seksuele uitbuiting van mensen, alsook het zoeken naar vermiste personen; ii) het voorkomen van een specifieke, aanzienlijke en imminente dreiging voor het leven of de fysieke veiligheid van natuurlijke personen of een reële en actuele of reële en voorspelbare dreiging van een terroristische aanslag; iii) de lokalisatie of identificatie van een persoon die ervan wordt verdacht een strafbaar feit te hebben gepleegd, ten behoeve van een strafrechtelijk onderzoek of vervolging of tenuitvoerlegging van een straf voor in bijlage II genoemde strafbare feiten waarop in de betrokken lidstaat een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel staat met een maximumduur van ten minste vier jaar. Punt h) van de eerste alinea doet geen afbreuk aan artikel 9 van Verordening (EU) 2016/679 voor de verwerking van biometrische gegevens voor andere doeleinden dan rechtshandhaving. (295) Voor de toepassing van het verbod van artikel 5, lid 1, punt h), van de AI-verordening moet aan verschillende cumulatieve voorwaarden worden voldaan: (i) Het AI-systeem moet een RBI-systeem zijn. (ii) De activiteit bestaat uit het “gebruik” van dat systeem. (iii)Ze moet plaatsvinden in “real time”. (iv) Ze moet plaatsvinden in openbare ruimten. (v) Ze moet plaatsvinden met het oog op de rechtshandhaving. (296) De tweede voorwaarde, namelijk het “gebruik” van het AI-systeem, is al geanalyseerd in punt 2.3 van deze richtsnoeren. De overige hierboven genoemde voorwaarden worden hieronder nader beschreven en geanalyseerd. 9.2.1. Het begrip “biometrische identificatie op afstand” (297) Biometrische herkenningstechnologieën dienen om meetbare fysieke kenmerken (zoals de afstand tussen de ogen en de grootte ervan, de lengte van de neus enz.) of gedragskenmerken (zoals de gang of de stem) te detecteren, vast te leggen en te transformeren in machineleesbare biometrische gegevens (zie punt 7.2.1, d)). Deze gegevens kunnen verschillende vormen aannemen: afbeeldingen of modellen, die een wiskundige weergave zijn van de opvallende kenmerken van een persoon en gebruikt worden voor herkenningsdoeleinden. Biometrische herkenningstechnologieën worden gebruikt voor verificatie- en identificatiedoeleinden185. (298) Volgens artikel 3, punt 41, van de AI-verordening is een RBI-systeem: 185 Zoals gedefinieerd door de biometrische gemeenschap in ISO/IEC-norm 2382-37:2022 — “Information Technology - Vocabulary, Biometric recognition, Term 37.01.03”. “een AI-systeem dat is bedoeld voor het identificeren van natuurlijke personen, zonder dat zij daar actief bij betrokken zijn en doorgaans van een afstand, door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens die zijn opgenomen in een referentiedatabank”. (299) Deze definitie heeft alleen betrekking op de identificatiefunctie van systemen voor biometrische herkenning, wat inhoudt dat de betrokken personen daar niet actief bij betrokken zijn (d.w.z. daaraan niet actief deelnemen) en dat de kenmerken van die personen, doorgaans op afstand, worden vastgelegd. Ten behoeve van de identificatie worden de vastgelegde biometrische gegevens vergeleken met biometrische gegevens die al zijn opgeslagen in een referentiedatabank (zoals een register, bv. een strafrechtelijke databank met gezichtsafbeeldingen of templates van verdachten). a) Uitsluitend voor identificatiedoeleinden (300) Het begrip “biometrische identificatie” wordt in artikel 3, punt 35, van de AI- verordening gedefinieerd als: “de geautomatiseerde herkenning van fysieke, fysiologische, gedragsgerelateerde of psychologische menselijke kenmerken om de identiteit van een natuurlijk persoon vast te stellen door biometrische gegevens van die persoon te vergelijken met in een databank opgeslagen biometrische gegevens van personen”. (301) In overweging 15 van de AI-verordening wordt verder verduidelijkt dat deze menselijke kenmerken kunnen bestaan uit: “het gezicht, oogbewegingen, lichaamsvorm, stem, prosodie, gang, houding, hartslag, bloeddruk, geur, toetsaanslagen”. (302) AI-systemen die worden gebruikt om natuurlijke personen te volgen, bijvoorbeeld om te zien in welke richting een verdachte ontsnapt, kunnen ook onder de definitie van biometrische identificatie vallen. Dit kan worden opgemaakt uit artikel 5, lid 1, punt h), iii), van de AI-verordening, dat het gebruik ervan toestaat om verdachten van strafbare feiten te lokaliseren. De lokalisatie wordt mogelijk wanneer iemand wordt gevolgd. (303) AI-systemen die bedoeld zijn om te worden gebruikt voor biometrische verificatie vallen buiten het toepassingsgebied van het verbod van artikel 5, lid 1, punt h), van de AI-verordening186. Biometrische verificatie (of authenticatie) bestaat uit het vergelijken van gegevens die door een sensor worden geregistreerd met een andere reeks gegevens die eerder is opgeslagen op een drager, zoals een smartphone, een paspoort of een identiteitskaart. Het doel van biometrische verificatie is na te gaan of een specifieke persoon is wie hij beweert te zijn. Een voorbeeld van biometrische verificatie is de vergelijking van het gezicht van een reiziger dat bij een elektronisch poortje wordt gescand met de gezichtsafbeelding in zijn paspoort. b) Op afstand (304) Volgens artikel 3, punt 41 van de AI-verordening houdt identificatie op afstand in dat een biometrisch systeem in staat is personen te identificeren zonder dat zij daar actief bij betrokken zijn en doorgaans van een afstand, door middel van vergelijking van de biometrische gegevens van een persoon met de biometrische gegevens die zijn opgenomen in een referentiedatabank. (305) Het gebruik van biometrische systemen om de identiteit van een natuurlijke persoon te bevestigen met als enige doel toegang te verschaffen tot een dienst, een apparaat te ontgrendelen of beveiligde toegang te verschaffen tot een locatie, valt buiten het begrip “op afstand” (overweging 15 van de AI-verordening). Deze vorm van identificatie wordt bijvoorbeeld gebruikt bij toegangscontrole187. Een gezichtsherkenningssysteem maakt bijvoorbeeld gebruik van technologie voor het scannen van gezichten om de toegang tot een beveiligd gebied te reguleren (bv. een energiecentrale); het systeem vergelijkt het gezicht van degene die voor de toegangscamera staat met de beelden in een referentiedatabank van personen die het gebouw mogen betreden. (306) Overweging 17 van de AI-verordening verduidelijkt dat die uitsluiting wordt gerechtvaardigd door het feit dat dergelijke systemen waarschijnlijk geringe gevolgen zullen hebben voor de grondrechten van natuurlijke personen in vergelijking met RBI- systemen op afstand die kunnen worden gebruikt voor de verwerking van biometrische gegevens van een groot aantal personen, zonder dat zij er actief bij betrokken zijn. In die overweging wordt verder verduidelijkt dat dergelijke RBI-systemen doorgaans worden gebruikt om meerdere personen of hun gedrag gelijktijdig waar te nemen, teneinde de identificatie van natuurlijke personen, zonder dat zij er actief bij betrokken zijn, aanzienlijk te vergemakkelijken. Om te kunnen spreken over actieve betrokkenheid is het niet voldoende dat personen worden geïnformeerd over de aanwezigheid van camera’s, maar moeten zij actief en bewust voor een camera gaan staan die zodanig is geïnstalleerd dat een actieve deelname wordt bevorderd. Voorbeelden:

• RBI-systemen die worden gebruikt in camera’s die voor bewakingsdoeleinden zijn geïnstalleerd op de muren of plafonds van metrostations. Dergelijke systemen voldoen aan de voorwaarde van afstand.

• Systemen die worden gebruikt om toegang te verschaffen tot het metrostation, zoals biometrische metrokaartjes, waarbij personen actief betrokken zijn en de biometrische sensor bewust benaderen om toegang te verkrijgen, voldoen niet aan die voorwaarde. 187 Bijvoorbeeld Ross A., Jain A.K. (2015), “Biometrics, Overview”, in: Li S.Z. en Jain A.K. (red.), Encyclopedia of Biometrics, (eerste editie, Springer Science, New York), blz. 289-294. (307) Biometrische herkenningssystemen die (zonder fysiek contact) vingerafdrukken, de gang, de stem, DNA, toetsaanslagen en andere (biometrische) gedragskenmerken verwerken, kunnen ook RBI-systemen zijn188. Voorbeelden:

• Een systeem met biometrische spraaktechnologie kan worden ingezet om een persoon te identificeren terwijl hij praat. Via de microfoon wordt daarbij een biometrisch monster genomen.

• Een CCTV-systeem kan gebruikmaken van een systeem voor het herkennen van de gang, waarbij de video’s automatisch worden gecontroleerd op matches met eerder vastgelegde modellen.

• Biometrische technologie voor de herkenning van toetsaanslagen kan worden gebruikt om iemand te identificeren die een frauduleus bericht typt. Dat deze systemen als voorbeelden van RBI-systemen worden genoemd, betekent niet dat zij verboden zijn op grond van artikel 5 van de AI-verordening. (308) In het geval van bodycams die individuele rechtshandhavingsfunctionarissen gebruiken, wordt ongericht filmen, bijvoorbeeld tijdens een demonstratie met honderden deelnemers, geacht te voldoen aan de voorwaarde van afstand. c) Referentiedatabank (309) Identificatie is niet mogelijk zonder een referentiedatabank met biometrische gegevens voor vergelijkingsdoeleinden. Het bestaan van een referentiedatabank is dus voor identificatiedoeleinden onontbeerlijk om de gegevens te kunnen vergelijken189. In het geval van vermiste personen kan de databank van het Schengeninformatiesysteem190 bijvoorbeeld worden gebruikt als referentiedatabank voor gezichtsherkenning (zodra deze operationeel is). 9.2.2. In real time (310) In real time betekent dat het systeem biometrische gegevens “ogenblikkelijk, bijna ogenblikkelijk of in ieder geval zonder noemenswaardige vertraging” vastlegt en verder verwerkt191. Alle verwerkingsstappen, d.w.z. de vastlegging, vergelijking en identificatie van biometrische gegevens, vinden gelijktijdig of bijna gelijktijdig plaats, eventueel met een “beperkte korte vertraging”, om te voorkomen dat het verbod wordt omzeild door RBI-systemen achteraf te gebruiken192. Het begrip “zonder noemenswaardige vertraging” wordt niet gedefinieerd in de AI-verordening; dit zal van geval tot geval moeten worden beoordeeld. Aangezien het bij de apparaten die worden gebruikt voor identificatie in real time of identificatie op afstand achteraf steeds vaker om dezelfde apparaten gaat die verschillende functies hebben, is het onderscheid een kwestie van tijd. Over het algemeen is er in ieder geval sprake van noemenswaardige vertraging wanneer de betrokkene de plaats waar de biometrische gegevens zijn verzameld, waarschijnlijk al heeft verlaten. (311) Systemen in real time worden in het algemeen op een bepaalde plaats gebruikt om een snelle reactie mogelijk te maken en niet om personen achteraf te identificeren. Zij bieden de gebruiker van het systeem een middel om de bewegingen van personen die worden bewaakt, te volgen en te monitoren. a) Een AI-systeem screent alle bezoekers die naar een concert komen: RBI in real time. b) Een systeem filmt alle bezoekers die naar een concert komen. Tijdens het concert vindt een incident plaats. Na het concert wordt het identificatiesysteem gebruikt om de dader te identificeren op de video-opnamen: RBI achteraf. (312) Wanneer een rechtshandhavingsinstantie heimelijk een foto van een persoon maakt met een mobiel apparaat en deze invoert in een databank voor een onmiddellijke zoekopdracht, kan dit, afhankelijk van de omstandigheden, onder het verbod van artikel 5, lid 1, punt h), van de AI-verordening vallen. 9.2.3. In openbare ruimten (313) In artikel 3, punt 44, van de AI-verordening wordt een openbare ruimte gedefinieerd als: een fysieke plek die in publieke of private handen is en toegankelijk is voor een onbepaald aantal natuurlijke personen, ongeacht of bepaalde voorwaarden voor de toegang van toepassing zijn, en ongeacht eventuele capaciteitsbeperkingen. (314) In overweging 19 van de AI-verordening worden verschillende elementen opgesomd die dergelijke ruimten kenmerken:

• Toegankelijkheid voor een onbepaald aantal personen, ongeacht de potentiële capaciteits- of beveiligingsbeperkingen, zoals de aankoop van een vervoerbewijs of vervoerstitel, voorafgaande registratie of het hebben van een bepaalde leeftijd. Dat een onvergrendelde deur toegang biedt tot een ruimte betekent niet dat die plaats een openbare ruimte is wanneer er aanwijzingen of omstandigheden zijn die het tegendeel suggereren (zoals een bord dat de toegang beperkt). Bovendien kan de toegang tot een ruimte in verband met de openbare veiligheid of beveiliging beperkt zijn tot bepaalde wettelijk omschreven personen of afhankelijk zijn van de beslissing van de persoon die ter plaatse over de benodigde autoriteit beschikt. In beginsel kunnen bijvoorbeeld als openbare ruimten worden aangemerkt:

• een concertzaal waarvoor toeschouwers toegang betalen;

• een evenementenhal waar een beurs wordt georganiseerd voor bezoekers ouder dan vijftig jaar. Een met een poort afgesloten ruimte, ook al zit die niet op slot, zoals het hek van een omheind terrein met verschillende huizen, zal normaal gesproken niet als een openbare ruimte worden beschouwd. Een park in een omheind wooncomplex met publieke openingstijden, zonder toegangsbeperking tijdens de openingstijden, zal daarentegen over het algemeen tijdens de openingstijden als een openbare ruimte worden aangemerkt en buiten openingstijden als een besloten ruimte.

• Wie de eigenaar van de ruimte is, is niet relevant: een ruimte hoeft dus geen eigendom van de overheid te zijn om als een openbare ruimte te kunnen worden beschouwd. De ruimte kan eigendom zijn van een particuliere of een publieke entiteit, of eigendom zijn van een publieke entiteit maar beheerd worden door een particuliere partij, zonder dat dit gevolgen heeft voor de aard van de ruimte.

• De ruimte hoeft niet voor een specifieke activiteit te worden gebruikt; een openbare ruimte is niet per se een ruimte die bestemd is voor een openbare dienst. Bovendien kan een voor een openbare dienst bestemde ruimte ook niet-openbare ruimten omvatten, bv. de kantoren van ambtenaren die bij een gemeente werken. Openbare ruimten kunnen bijvoorbeeld worden gebruikt voor handel, zoals winkels, restaurants, cafés enz.; voor diensten zoals banken, beroepsactiviteiten (de praktijk van een arts, een accountantskantoor), horeca (bv. een hotel) enz.; voor sport, zoals zwembaden, fitnesscentra, stadions enz.; voor vervoer, zoals bus-, metro- en treinstations, luchthavens, vervoermiddelen enz.; voor amusement, zoals bioscopen, theaters, musea, concert- en conferentiezalen enz.; of voor vrijetijdsbesteding en anderszins, zoals openbare wegen en pleinen, parken, bossen, speelplaatsen193. (315) De volgende ruimten zijn geen openbare ruimten in de zin van artikel 5, lid 1, punt h), van de AI-verordening:

• Onlineruimten, aangezien zij geen fysieke plek vormen in de zin van artikel 3, punt 44, van de AI-verordening. Ruimten zoals chatrooms, sociale media, onlineplatforms enz. zijn daarom uitgesloten van het toepassingsgebied van het verbod.

• Bepaalde ruimten die bedoeld zijn om alleen toegankelijk te zijn voor een beperkt aantal personen, zoals fabrieken, bedrijven en werkplekken met toegangscontrole of beperkte toegang voor bevoegde werknemers of dienstverleners, aangezien zij bedoeld zijn om alleen toegang te bieden aan bevoegde werknemers en dienstverleners194. Zo wordt een werkplek die met een badge toegankelijk is, in beginsel niet beschouwd als een openbare ruimte, terwijl een kantoor zonder toegangscontrole dat wel kan zijn.

• Gevangenissen en grenstoezichtsgebieden zijn geen openbare ruimten195. (316) Een grensdoorlaatpost is bijvoorbeeld geen openbare ruimte, terwijl de straat die naar de grensdoorlaatpost loopt of een bos in de buurt daarvan dat normaal gesproken wel zijn. (317) Sommige ruimten kunnen een dubbele functie hebben. Zo wordt een luchthaven over het algemeen als een openbare ruimte beschouwd wat de gemeenschappelijke ruimten betreft, maar is het gebied dat bestemd is voor grenscontrole (waar de douanebeambten staan en de paspoort- of identiteitscontroles plaatsvinden) uitgesloten van het toepassingsgebied van het verbod. (318) Zoals wordt verduidelijkt in overweging 19 van de AI-verordening, moet per geval worden beoordeeld of een ruimte openbaar toegankelijk is. 9.2.4. Met het oog op de rechtshandhaving (319) Het verbod van artikel 5, lid 1, punt h), van de AI-verordening is van toepassing op het gebruik van RBI-systemen met het oog op de rechtshandhaving, ongeacht de entiteit, autoriteit of instantie die de rechtshandhavingsactiviteiten uitvoert. (320) Rechtshandhaving wordt in artikel 3, punt 46, van de AI-verordening gedefinieerd als “activiteiten die worden verricht door of namens rechtshandhavingsinstanties met het oog op de voorkoming van, het onderzoek naar, de opsporing of de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid”. Deze doeleinden zijn dezelfde als de doeleinden die in artikel 1 van de richtlijn gegevensbescherming bij rechtshandhaving staan vermeld196. Elke uitlegging van die doeleinden in verband met de richtlijn gegevensbescherming bij rechtshandhaving kan dus ook relevant zijn voor de uitlegging van het in de AI-verordening gebruikte begrip “rechtshandhaving”. (321) Rechtshandhaving omvat het onderzoeken, opsporen en vervolgen van strafbare feiten. Zij omvat ook activiteiten die verband houden met het voorkomen van strafbare feiten, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid voordat er daadwerkelijk strafbare feiten worden begaan. Zo kan de politie in het kader van criminaliteitspreventie “dwangmaatregelen nemen bij demonstraties, belangrijke sportevenementen of rellen”197. Ten slotte omvat rechtshandhaving ook de uitvoering van sancties, zoals de uitvoering van straffen. 195 Overweging 19 van de AI-verordening. In een andere context is grenstoezicht gedefinieerd als de activiteit die overeenkomstig en voor het doel van Verordening (EU) 2016/399 (Schengengrenscode) aan een grens wordt verricht, uitsluitend wegens de voorgenomen of daadwerkelijke grensoverschrijding. Dit omvat niet het zogenaamde grensgebied, dat zich aan weerszijden van de grens tot maximaal 50 kilometer kan uitstrekken. 196 Sommige activiteiten van rechtshandhavingsinstanties zijn uitgesloten van het toepassingsgebied van de richtlijn gegevensbescherming bij rechtshandhaving, bijvoorbeeld wanneer zij administratieve taken uitvoeren (zoals personeelsbeheer), die buiten het kader van rechtshandhaving vallen. Deze vallen onder de AVG. Zie overweging 19 AVG. (322) Overeenkomstig artikel 3, punt 46, van de AI-verordening kunnen rechtshandhavingsactiviteiten worden verricht door of namens rechtshandhavingsinstanties. Rechtshandhavingsinstanties worden in artikel 3, punt 45, van de AI-verordening op hun beurt op dezelfde wijze gedefinieerd als nationale bevoegde autoriteiten in de richtlijn gegevensbescherming bij rechtshandhaving198. Deze definitie omvat rechtshandhavingsinstanties en gemachtigde organen of entiteiten (dat kunnen ook particuliere partijen zijn): (a) iedere overheidsinstantie die bevoegd is voor de voorkoming van, het onderzoek naar, de opsporing en de vervolging van strafbare feiten of de tenuitvoerlegging van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid; of Dergelijke overheidsinstanties omvatten bijvoorbeeld politiediensten en strafrechtelijke autoriteiten (zoals openbare aanklagers) wanneer zij een rechtshandhavingstaak uitvoeren. (b) ieder ander orgaan dat of iedere andere entiteit die krachtens het recht van de lidstaten is gemachtigd openbaar gezag en openbare bevoegdheden uit te oefenen met het oog op de voorkoming van, het onderzoek naar, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid. (323) Op grond van de AI-verordening mogen andere entiteiten, organen of personen rechtshandhavingsactiviteiten uitvoeren nadat zij krachtens het recht van de lidstaten gemachtigd zijn om voor de bovengenoemde doeleinden openbaar gezag en openbare bevoegdheden uit te oefenen. (324) “Namens” betekent dat een rechtshandhavingsinstantie de uitvoering van een rechtshandhavingsactiviteit (of een deel daarvan) heeft gedelegeerd aan een andere entiteit of persoon, wat ook een particuliere partij kan zijn, of in specifieke gevallen een andere entiteit of persoon heeft verzocht om rechtshandhavingsactiviteiten te ondersteunen. In beide gevallen moeten de rechtshandhavingsinstanties instructies geven over alle belangrijke aspecten en toezicht houden op de andere entiteit, een vereiste dat inherent is aan handelen “namens” iemand anders. De delegatie van taken aan andere organen kan bijvoorbeeld het volgende omvatten:

• Openbaarvervoerbedrijven die door rechtshandhavingsinstanties worden verzocht de veiligheid van de openbaarvervoersnetwerken overeenkomstig hun instructies en onder hun toezicht te waarborgen.

• Sportfederaties die door rechtshandhavingsinstanties worden verzocht om overeenkomstig hun instructies en onder hun toezicht de beveiliging bij sportevenementen te verzorgen.

• Banken die door rechtshandhavingsinstanties worden verzocht bepaalde maatregelen te nemen om overeenkomstig hun instructies en onder hun toezicht “in specifieke gevallen bepaalde misdrijven te bestrijden”. Deze activiteiten vallen onder de definitie van “met het oog op de rechtshandhaving”, aangezien deze entiteiten optreden “namens” rechtshandhavingsinstanties. Wanneer die entiteiten “in eigen naam” optreden bij het opsporen en bestrijden van strafbare feiten (zoals fraude, witwassen van geld), worden zij niet geacht onder het verbod van artikel 5, lid 1, punt h), van de AI-verordening te vallen. (325) Alleen wanneer die andere organen of entiteiten met een specifieke rechtshandhavingstaak zijn belast, vallen hun activiteiten onder de definitie van “rechtshandhaving”.

9.3. Uitzonderingen op het verbod

(326) De AI-verordening voorziet in drie uitzonderingen op het algemene verbod op het gebruik van RBI in real time in openbare ruimten met het oog op de rechtshandhaving. In artikel 5, lid 1, punt h), i) tot en met iii), van de AI-verordening worden drie doelstellingen limitatief opgesomd waarvoor RBI-systemen in real time mogen worden gebruikt; in artikel 5, leden 2 tot en met 7, van de AI-verordening worden de voorwaarden en waarborgen voor dat gebruik vastgesteld. Artikel 5, lid 1, punt h), i) tot en met iii), van de AI-verordening vormt op zich geen rechtsgrondslag voor het gebruik van RBI-systemen in real time in openbare ruimten. Alleen bij nationale wetgeving van een lidstaat die specifiek voldoet aan de vereisten van artikel 5, leden 2 tot en met 7, van de AI-verordening, kan het gebruik van RBI in real time worden toegestaan, zoals bepaald in artikel 5, lid 2, van de AI-verordening. Bij gebrek aan een wettelijke regeling van een lidstaat die het gebruik van RBI in real time voor een of meerdere van deze doelstellingen toestaat, is een dergelijk gebruik dus vanaf 2 februari 2025 verboden. 9.3.1. Motivering en doelstellingen (327) Met de doelstellingen vermeld in artikel 5, lid 1, punt h), i) tot en met iii), van de AI- verordening wordt beoogd het gebruik van bepaalde AI-systemen en onderzoeksmiddelen met het oog op de rechtshandhaving toe te staan. Deze doelstellingen zijn: i) het gericht zoeken naar slachtoffers van drie specifieke ernstige misdrijven en vermiste personen [bescherming]; ii) het voorkomen van imminente dreigingen voor het leven of de fysieke veiligheid of van de reële dreiging van een terroristische aanslag [voorkoming]; en iii) de lokalisatie of identificatie van verdachten en daders van bepaalde ernstige misdrijven als vermeld in bijlage II [vervolging/onderzoek]. (328) Met het oog op die scenario’s heeft de Uniewetgever de veiligheidsbehoeften van de samenleving afgewogen tegen het risico dat RBI-systemen in real time vormen voor de grondrechten van de personen op wie die systemen worden toegepast. Volgens overweging 33 van de AI-verordening moeten de doelstellingen waarvoor het gebruik van RBI-systemen in real time in openbare ruimten voor rechtshandhavingsdoeleinden is toegestaan, limitatief worden opgesomd en nauwkeurig worden omschreven, en beperkt blijven tot situaties waarin het gebruik “strikt noodzakelijk” is om “een zwaarwegend algemeen belang” te dienen dat “zwaarder weegt dan de risico’s” voor de grondrechten. Elk ander gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving dat niet is opgenomen in artikel 5, lid 1, punt h), i) tot en met iii), van de AI-verordening, is verboden. De politie mag RBI-systemen in real time bijvoorbeeld niet gebruiken om een winkeldief te identificeren en de gemaakte gezichtsopnamen niet vergelijken met databanken van delinquenten, aangezien dit niet onder een van de doelstellingen van artikel 5, lid 1, punt h), i) tot en met iii), van de AI-verordening valt. 9.3.2. Gericht zoeken naar slachtoffers van drie ernstige misdrijven en vermiste personen (329) Volgens artikel 5, lid 1, punt h), i), van de AI-verordening is het gebruik van RBI- systemen in real time in openbare ruimten met het oog op de rechtshandhaving toegestaan, mits dat strikt noodzakelijk is en wordt voldaan aan de voorwaarden die artikel 5, leden 2 tot en met 7, van de AI-verordening, voor het gericht zoeken naar slachtoffers van ontvoering, mensenhandel of seksuele uitbuiting van mensen, alsook het zoeken naar vermiste personen. a) Gericht zoeken naar slachtoffers van drie soorten misdrijven (330) Het in artikel 5, lid 1, punt h), i), van de AI-verordening beschreven scenario is bedoeld om rechtshandhavingsinstanties te helpen bij het zoeken naar slachtoffers van drie ernstige misdrijven. (331) Gericht zoeken betekent dat slachtoffers worden gelokaliseerd en geïdentificeerd. Drie soorten misdrijven (332) Onder het scenario van artikel 5, lid 1, punt h), i), van de AI-verordening valt het gericht zoeken naar specifieke slachtoffers van drie ernstige misdrijven: ontvoering, mensenhandel en seksuele uitbuiting van mensen199. 199 Ontvoering, mensenhandel en seksuele uitbuiting zijn drie misdrijven die aanleiding kunnen geven tot een Europees aanhoudingsbevel (“EAB”), op grond waarvan een verdachte of gevonniste persoon kan worden aangehouden en overgeleverd aan het land dat het EAB heeft uitgevaardigd. De slachtoffers van deze drie misdrijven zijn voornamelijk, maar niet uitsluitend, vrouwen en kinderen. Volgens DG Migratie en Binnenlandse Zaken van de Europese Commissie zijn bijna 40 % van de slachtoffers EU- burgers; de meesten van hen zijn vrouwen en kinderen die worden verhandeld met het oog op seksuele uitbuiting. Het aantal mannelijke slachtoffers is in tien jaar bijna verdubbeld. Zij worden verhandeld met het oog op dwangarbeid en gedwongen bedelarij, terwijl de meeste vrouwen en kinderen worden verhandeld met het oog op seksuele uitbuiting. https://home- Indien bijvoorbeeld een kind wordt ontvoerd en er concrete aanwijzingen zijn dat de ontvoerder voornemens is het kind per auto naar een andere plaats over te brengen, kan de politie gebruikmaken van een RBI-systeem in real time om dat kind gericht te zoeken. Daarbij moet zij wel het zoekgebied en de gebruiksduur vaststellen die nodig zijn om het kind te identificeren. b) Zoeken naar vermiste personen (333) Het eerste scenario heeft ook betrekking op het zoeken naar vermiste personen200. (334) Daarbij kan onderscheid worden gemaakt tussen vermiste kinderen en vermiste volwassenen, aangezien de vrijwillige verdwijning van een volwassene niet altijd aanleiding zal geven tot een zoekactie. De toepasselijke regels voor vermiste kinderen verschillen aanzienlijk per lidstaat201. Artikel 5, lid 1, punt h), i), van de AI-verordening staat hoe dan ook alleen het gebruik van RBI-systemen in real time toe om te zoeken naar vermiste personen met het oog op de rechtshandhaving. (335) De verdwijning van een volwassene leidt er niet altijd toe dat de politie die persoon gaat zoeken, aangezien volwassenen het recht hebben om te verdwijnen. Een zoekactie kan verband houden met de juridische status van de betrokkene (“onder curatele”), diens gezondheidstoestand (psychische aandoening), het bestaan van een zelfmoordbriefje, maar ook dat hij vertrokken is zonder persoonlijke bezittingen mee te nemen. Indien de omstandigheden van de verdwijning reden geven tot bezorgdheid, kan bij de politie aangifte worden gedaan, zodat er een zoekactie kan worden gestart. (336) In sommige lidstaten vindt de opsporing van een vermiste persoon soms plaats in het kader van een administratieve procedure en niet met het oog op de rechtshandhaving. Wanneer bijvoorbeeld een kwetsbare persoon vermist is, maar er geen misdrijf wordt vermoed en de zoekactie geen ander rechtshandhavingsdoel dient, wordt het gebruik van RBI-systemen in real time voor de opsporing van die persoon niet geacht met het oog op de rechtshandhaving te zijn. In dat geval zou het gebruik onder de regels van de AVG vallen. 9.3.3. Voorkomen van imminente dreigingen voor het leven van personen of terroristische aanslagen (337) Artikel 5, lid 1, punt h), ii), AI-verordening beschrijft het tweede scenario waarin het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving is toegestaan, mits dit strikt noodzakelijk is en aan de voorwaarden van artikel 5, leden 2 tot en met 7, van de AI-verordening is voldaan: affairs.ec.europa.eu/policies/internal-security/organised-crime-and-human-trafficking/together-against-trafficking-human- beings_en. 200 Op EU-niveau is niet gedefinieerd wat een “vermiste persoon” is. In de conclusies van de Raad van december 2021 over het intensiveren van de grensoverschrijdende politiële samenwerking op het gebied van vermiste personen neemt de Raad echter zowel de definitie van vermiste persoon uit Aanbeveling CM/Rec(2009)12 van de Raad van Europa als de definities uit de nationale regelgeving als referentie. Conclusies van de Raad (2021), 14808/21, punt 11, blz. 4. 201 Europese Commissie, Europees Migratienetwork, “How do EU Member States treat cases of missing unaccompanied minors?”, EMN Inform, 2020. het voorkomen van een specifieke, aanzienlijke en imminente dreiging voor het leven of de fysieke veiligheid van natuurlijke personen of een reële en actuele of reële en voorspelbare dreiging van een terroristische aanslag. a) Specifieke, aanzienlijke en imminente bedreiging voor het leven of de fysieke veiligheid van natuurlijke personen (338) Krachtens artikel 2 van het Handvest, dat het recht op leven waarborgt, moeten de Unie en haar lidstaten eenieders leven beschermen. De criteria van artikel 5, lid 1, punt h), ii), van de AI-verordening voor het gebruik van RBI-systemen in real time in openbare ruimten in geval van bedreiging voor het leven, vereisen dat er sprake is van 1) een specifieke, 2) aanzienlijke en 3) imminente dreiging voor het leven of de fysieke veiligheid van 4) natuurlijke personen. De dreiging hoeft zich niet te beperken tot geïdentificeerde personen of een specifieke groep, aangezien het gaat over natuurlijke personen in het algemeen. (339) In overweging 33 van de AI-verordening wordt verduidelijkt dat een imminente dreiging voor het leven of de fysieke veiligheid van natuurlijke personen ook een imminente dreiging voor kritieke infrastructuur kan omvatten202, “wanneer de verstoring of vernietiging van dergelijke kritieke infrastructuur zou leiden tot een imminente dreiging voor het leven of de fysieke veiligheid van een persoon, onder meer door ernstige schade aan de levering van basisvoorzieningen aan de bevolking of aan de uitoefening van de kernfunctie van de staat”. Voorbeeld203: Een ernstige verstoring en vernietiging van kritieke infrastructuur (bv. een elektriciteitscentrale, de watervoorziening of een ziekenhuis) kan leiden tot een onmiddellijke dreiging voor het leven of de fysieke veiligheid van personen wanneer basisvoorzieningen voor de bevolking ernstig worden beschadigd of buiten gebruik raken (waardoor zij gedurende een lange periode zonder elektriciteit of drinkwater komen te zitten, bv. bij erg warm of koud weer, enz.). (340) Wat een onmiddellijke dreiging voor het leven of de fysieke veiligheid van natuurlijke personen vormt, wordt uiteindelijk bepaald en beoordeeld op het niveau van de lidstaat op basis van de nationale wetgeving, in overeenstemming met het EU-recht, waarbij met name rekening moet worden gehouden met de belangrijkste elementen en de grondgedachte van artikel 5 van de AI-verordening. Dit zal moeten worden vastgelegd/gereguleerd in de wetgeving die de lidstaten moeten vaststellen om gebruik te kunnen maken van de uitzonderingen op het verbod op het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving. (341) Een imminente dreiging voor het leven of de fysieke veiligheid is een dreiging die op ieder moment werkelijkheid kan worden en waarvoor “onmiddellijk actie moet worden ondernomen”204. Een aanzienlijke dreiging voor de fysieke veiligheid betreft de mogelijkheid van ernstig lichamelijk letsel. (342) Een specifieke dreiging betekent dat de dreiging duidelijk omlijnd, doelgericht en concreet is, in die zin dat zij niet hypothetisch mag zijn en geen betrekking heeft op bepaalde gevaren in het algemeen. De politie wordt er bijvoorbeeld van op de hoogte gebracht dat een oud-student een dodelijke aanval op zijn voormalige universiteit plant omdat hij zich wil wreken op verschillende voormalige klasgenoten. De politie krijgt informatie over de dreigende aanval, de universiteit waartegen deze gericht is en de wapens die hij voornemens is te gebruiken om zijn plannen uit te voeren. (343) Een specifieke dreiging hoeft niet opzettelijk te zijn. Niet-opzettelijke handelingen kunnen ook leiden tot een dreiging voor het leven of de fysieke veiligheid. b) Een reële en actuele of reële en voorspelbare dreiging van een terroristische aanslag (344) Dit deel van het in artikel 5, lid 1, punt h), ii), van de AI-verordening beschreven tweede scenario bestaat uit verschillende elementen: het bestaan van een dreiging van een terroristische aanslag en de kenmerken van deze dreiging, die reëel en actueel of reëel en voorspelbaar moet zijn. Dreiging van een terroristische aanslag (345) Het bestaan en de ernst van de dreiging wordt beoordeeld op nationaal niveau bij de beoordeling van de feitelijke maatregelen die moeten worden genomen om de nationale veiligheid te waarborgen, en meer bepaald bij een terroristische aanslag. Het niveau van de terroristische dreiging wordt op nationaal niveau bepaald; deze niveaus verschillen per lidstaat. Zo heeft Nederland vijf dreigingsniveaus vastgesteld205, België vier206, Frankrijk drie207 en Zweden vijf208. Het begrip “reële en actuele of reële en voorspelbare dreiging”, dat in artikel 5, lid 1, punt h), ii), wordt gebruikt, is evenwel een autonoom begrip van het Unierecht en moet daarom in beginsel los van de nationale definities worden beoordeeld. De dreiging houdt geen verband met terrorisme in het algemeen, maar specifiek met een terroristische aanslag. Kenmerken van de dreiging: reëel en actueel of reëel en voorspelbaar (346) Het minimumniveau dat een dreiging moet bereiken, wil het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving toegestaan zijn, is ingegeven door de rechtspraak van het Hof over gegevensbewaring en PNR- maatregelen gericht op de bescherming van de nationale veiligheid, met name tegen terroristische aanslagen. In die gevallen, stelt het Hof, moet “een bedreiging voor de nationale veiligheid reëel en actueel of op zijn minst voorzienbaar zijn — wat onderstelt dat zich voldoende concrete omstandigheden voordoen”209. Voorkoming (347) In tegenstelling tot artikel 5, lid 1, punten i) en iii), van de AI-verordening wordt in het in artikel 5, lid 1, punt h), ii), beschreven scenario niet gespecificeerd dat het gebruik van RBI-systemen in real time is toegestaan om een concrete persoon te lokaliseren of te identificeren. Het doel is een bepaalde dreiging te voorkomen. Derhalve kan het scenario ook betrekking hebben op het gebruik van RBI-systemen in real time om “rondtrekkende terroristen” op te sporen en te volgen, d.w.z. verschillende personen die met dezelfde dreiging in verband staan, wanneer er concrete aanwijzingen zijn dat die personen van plan zijn een terroristische aanslag te plegen, hoewel niet duidelijk is waar die zal plaatsvinden. RBI in real time om een terroristische aanslag in een park te voorkomen De politie krijgt te horen dat er iemand rondloopt in een park, waar hij andere mensen met een mes wil aanvallen, terwijl hij gewelddadige extremistische slogans roept die gewoonlijk gebruikt worden bij terroristische aanslagen en door terroristische groeperingen. Indien de lidstaat het gebruik van RBI in real time heeft toegestaan in het in artikel 5, lid 1, punt h), ii), van de AI-verordening beschreven scenario, kunnen rechtshandhavingsinstanties RBI in real time gebruiken om de persoon in en rond het park te identificeren en te lokaliseren om de aanval te voorkomen, mits aan de andere voorwaarden van artikel 5, leden 2 tot en met 7, van de AI-verordening is voldaan. 9.3.4. Lokalisatie en identificatie van verdachten van bepaalde misdrijven (348) Artikel 5, lid 1, punt h), iii), van de AI-verordening staat het gebruik van RBI in real time in openbare ruimten toe voor “de lokalisatie of identificatie van een persoon die ervan wordt verdacht een strafbaar feit te hebben gepleegd, ten behoeve van een strafrechtelijk onderzoek of vervolging of tenuitvoerlegging van een straf voor in bijlage II genoemde strafbare feiten waarop in de betrokken lidstaat een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel staat met een maximumduur van ten minste vier jaar”. Bijlage II bij de AI-verordening bevat een uitputtende lijst van ernstige strafbare feiten waarvoor het gebruik van RBI in real time kan worden toegestaan voor de bovengenoemde doelstelling. Deze strafbare feiten zijn:

• terrorisme;

• mensenhandel;

• seksuele uitbuiting van kinderen en kinderpornografie; 209 Arrest van het Hof van Justitie van 20 september 2022, SpaceNet, C-793/19 (gevoegde zaken C-793/19 en C-794/19), ECLI:EU:C:2022:702, punt 93.

• illegale handel in verdovende middelen of psychotrope stoffen;

• illegale handel in wapens, munitie of explosieven;

• moord, zware mishandeling;

• illegale handel in menselijke organen of weefsels;

• illegale handel in nucleaire of radioactieve stoffen;

• ontvoering, wederrechtelijke vrijheidsberoving of gijzeling;

• misdrijven die onder de rechtsmacht van het Internationaal Strafhof vallen;

• kaping van vliegtuigen of schepen;

• verkrachting;

• milieucriminaliteit;

• georganiseerde of gewapende diefstal;

• sabotage;

• deelneming aan een criminele organisatie die betrokken is bij een of meer van de hierboven genoemde strafbare feiten. a) Lokalisatie en identificatie (349) Een lidstaat kan het gebruik van RBI in real time in openbare ruimten met het oog op de rechtshandhaving toestaan om de verdachte van een strafbaar feit op te sporen en te identificeren om een strafrechtelijk onderzoek uit te voeren, die persoon te vervolgen voor het gepleegde strafbare feit of een opgelegde straf uit te voeren. b) Verdachten en daders (350) Artikel 5, lid 1, punt h), iii), van de AI-verordening heeft betrekking op twee categorieën personen: verdachten en daders. Een verdachte is iemand ten aanzien van wie er gegronde redenen zijn om aan te nemen dat hij een strafbaar feit heeft gepleegd, en van wiens betrokkenheid bij het strafbare feit al voldoende bewijs is verzameld. Een dader is iemand die wordt beschuldigd van of veroordeeld is wegens het plegen van een strafbaar feit. Dezelfde voorwaarden (strafbaar feit vermeld in bijlage II en maximumstraf van ten minste vier jaar) gelden voor het lokaliseren of identificeren van medeplichtigen van de in bijlage II bij de AI-verordening vermelde strafbare feiten. c) Lijst van ernstige strafbare feiten (351) Alleen ernstige strafbare feiten rechtvaardigen het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving. (352) De eerste vijf strafbare feiten vermeld in bijlage II bij de AI-verordening zijn dezelfde als de “EU-misdrijven” die vermeld staan in artikel 83 VWEU; de andere strafbare feiten worden als prioritair aangemerkt bij de samenwerking op het gebied van rechtshandhaving210. Een aantal daarvan (bv. ontvoering, illegale handel in nucleaire of radioactieve stoffen) kunnen verband houden met terrorisme211. (353) Hoewel alle in bijlage II genoemde strafbare feiten aanleiding kunnen geven tot de uitvaardiging van een EAB tegen een verdachte of dader, is voor het gebruik van RBI in real time om de verdachte van een van deze ernstige strafbare feiten te lokaliseren en te identificeren niet vereist dat er een EAB wordt uitgevaardigd. (354) Bovendien moet voor dat gebruik op het desbetreffende strafbare feit in de betrokken lidstaat een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel zijn gesteld met een maximumduur van ten minste vier jaar. Tijdens een druk festival in een stad maakt de politie gebruik van technologieën voor live gezichtsherkenning om het gebied rond het festival te monitoren en gezochte personen te identificeren tegen wie aanhoudingsbevelen zijn uitgevaardigd voor illegale drugshandel en seksuele misdrijven. Bij verschillende ingangen van het festivalterrein maakt de politie live video-opnamen van mensen die voor een mobiele camera langslopen om hun gezicht te vergelijken met een observatielijst met gezichten van gezochte personen. Ten eerste, wat het type strafbare feiten betreft, mag RBI worden gebruikt in gevallen van illegale drugshandel. Seksuele misdrijven staan echter niet op de lijst van strafbare feiten, tenzij zij verband houden met seksuele uitbuiting van kinderen, materiaal van seksueel misbruik van kinderen of verkrachting. De politie mag gezichtsherkenningstechnologieën in real time niet breed en ongericht inzetten, d.w.z. in de hoop gezochte criminelen te vinden en op te pakken. De zaak ligt anders als de politie een signalement heeft ontvangen met de foto van een gezochte persoon tegen wie een EAB is uitgevaardigd wegens drugshandel en zij redenen heeft om aan te nemen dat hij op het festival aanwezig zal zijn. In die omstandigheden kan de inzet van gezichtsherkenningstechnologieën in real time om een specifieke persoon te identificeren onder artikel 5, lid 1, punt h), iii), van de AI- verordening vallen. Na een ernstige terreuraanslag op een kerstmarkt met twaalf doden gebruikt de politie gebruik van gezichtsherkenningstechnologieën in real time om de dader te identificeren en te zien via welke route hij ontsnapt. In dat verband maken zij ook gebruik van de gezichtsherkenningstechnologieën in real time die voorhanden zijn in het nabijgelegen treinstation en de stations van bestemming waarheen kort na de aanslag treinen vertrekken. In het geval van een terroristische aanslag kan een dergelijk gebruik op grond van artikel 5, lid 1, punt h), iii), van de AI-verordening toegestaan zijn. (355) Voor de strafbare feiten die onder het in artikel 5, lid 1, punt h), i), van de AI- verordening beschreven scenario vallen, kan er een verband worden gelegd tussen artikel 5, lid 1, punt h), i) en iii), van de AI-verordening. Hoewel RBI-systemen in real time kunnen worden ingezet om slachtoffers of vermiste personen te vinden, kunnen die systemen ook worden gebruikt voor het lokaliseren en identificeren van daders of verdachten van mensenhandel, seksuele uitbuiting van kinderen (zoals vermeld in bijlage II) en ontvoering (voor zover de in artikel 5, lid 1, punt h), i), van de AI- verordening bedoelde ontvoering kan worden aangemerkt als ontvoering zoals vermeld in bijlage II bij de AI-verordening). Er kan ook een verband worden gelegd tussen artikel 5, lid 1, punt h), ii) en iii), van de AI-verordening: RBI-systemen in real time kunnen worden gebruikt om een dreiging te voorkomen die binnen het toepassingsgebied van artikel 5, lid 1, punt h), ii), valt, en wanneer die dreiging zich voordoet, kunnen die systemen worden gebruikt om de rondtrekkende dader te identificeren/lokaliseren.

10. WAARBORGEN EN VOORWAARDEN VOOR DE UITZONDERINGEN

(ARTIKEL 5, LEDEN 2 TOT EN MET 7, VAN DE AI-VERORDENING)

10.1. Beoogde persoon en waarborgen (artikel 5, lid 2, van de AI-verordening)

Artikel 5, lid 2, van de AI-verordening luidt als volgt: “Het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, eerste alinea, punt h), bedoelde doelstellingen wordt ingezet voor de in dat punt bedoelde doeleinden, uitsluitend om de identiteit van de specifiek beoogde persoon te bevestigen en daarbij wordt rekening gehouden met het volgende: (a) de aard van de situatie die aanleiding geeft tot het mogelijke gebruik van het systeem, met inbegrip van de ernst, waarschijnlijkheid en omvang van de schade die zonder het gebruik van het systeem zou worden veroorzaakt; (b) de gevolgen van het gebruik van het systeem voor de rechten en vrijheden van alle betrokken personen, en met name de ernst, waarschijnlijkheid en omvang van deze gevolgen. Daarnaast moet het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, eerste alinea, punt h), genoemde doelstellingen in overeenstemming zijn met noodzakelijke en evenredige waarborgen en voorwaarden in verband met het gebruik in overeenstemming met het nationale recht dat het gebruik ervan toelaat, en met name ten aanzien van de beperking in de tijd en de geografische en persoonlijke beperkingen. Het gebruik van het systeem voor biometrische identificatie op afstand in real time in openbare ruimten wordt alleen toegestaan indien de rechtshandhavingsinstantie een in artikel 27 voorziene effectbeoordeling op het gebied van de grondrechten heeft uitgevoerd en het systeem volgens artikel 49 in de EU-databank heeft geregistreerd. In naar behoren gemotiveerde spoedeisende gevallen kan echter met het gebruik van dergelijke systemen worden begonnen zonder de systemen in de EU-databank te registreren, op voorwaarde dat die registratie zonder onnodige vertraging wordt voltooid”. (356) Het gebruik van RBI-systemen in real time voor een van de in artikel 5, lid 1, punt h), i) tot en met iii), van de AI-verordening genoemde doelstellingen is onderworpen aan bepaalde waarborgen en voorwaarden, die worden uiteengezet in artikel 5, leden 2 tot en met 7, van de AI-verordening. (357) Ten eerste is het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving alleen toegestaan om “de identiteit van de specifiek beoogde persoon te bevestigen”. Deze eerste voorwaarde vraagt om een afweging tussen de ernst van de situatie en de schade die zich kan voordoen als het systeem niet wordt gebruikt en de gevolgen voor de rechten en vrijheden van personen als de technologie wel wordt gebruikt. Beoogd wordt grootschalige bewaking te voorkomen door het gebruik van RBI in real time te beperken tot specifieke personen. Bijgevolg mag de inzet van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving alleen worden toegestaan voor beoogde personen. (358) Het gebruik van de uitdrukking “om de identiteit te bevestigen” in plaats van “voor de identificatie” is bedoeld als een aanvullende waarborg voor de grondrechten waarmee het risico van willekeurige bewaking wordt beperkt, en houdt in dat de identificatie van een persoon in de zin van artikel 5, lid 1, punt h), van de AI-verordening gericht moet zijn. Die uitdrukking moet aldus worden opgevat dat alleen mag worden overgegaan tot het gebruik van RBI in real time om specifieke personen te zoeken wanneer de rechtshandhavingsinstanties redenen hebben om aan te nemen of ervan in kennis zijn gesteld dat zij het slachtoffer zijn van de in artikel 5, lid 1, punt h), i), van de AI- verordening genoemde misdrijven of betrokken zijn bij een van de in artikel 5, lid 1, punt h), ii) of iii), van de AI-verordening beschreven scenario’s. Dit betekent in de praktijk dat in real time verzamelde gegevens worden vergeleken met de gegevens in de referentiedatabank. Wat betreft het gebruik van RBI-systemen in real time in de in artikel 5, lid 1, punt h), ii), van de AI-verordening beschreven scenario’s en voor het uitvoeren van een strafrechtelijk onderzoek in de zin van artikel 5, lid 1, punt h), iii), van de AI-verordening, hoeven rechtshandhavingsinstanties niet noodzakelijkerwijs de identiteit te kennen van de personen die zij zoeken voordat zij het systeem gebruiken. Indien zij beschikken over concrete aanwijzingen en informatie over een geplande terroristische aanslag door een terroristische groepering op een bepaald tijdstip en op een bepaalde plaats (zonder te weten wie het plan zal uitvoeren), kan het RBI-systeem worden gebruikt om de dader binnen de terroristische groepering te identificeren, mits de rechtshandhavingsinstanties een referentiedatabank hebben aangelegd met de biometrische gegevens van de personen die deel uitmaken van de terroristische groep. In alle drie de in artikel 5, lid 1, punt h), i) tot en met iii), van de AI-verordening beschreven scenario’s kan de bevestiging van de identiteit ook de lokalisatie van de betrokken persoon omvatten. (359) Ten tweede moet, alvorens het systeem te gebruiken, de aard van de situatie die aanleiding geeft tot het mogelijke gebruik - met name de ernst, de waarschijnlijkheid en de omvang van de schade voor natuurlijke personen, de samenleving en de rechtshandhaving die zou worden veroorzaakt indien het systeem niet zou worden gebruikt - worden afgewogen tegen de gevolgen van het gebruik van het systeem voor de rechten en vrijheden van de betrokken personen - met name de ernst, de waarschijnlijkheid en de omvang van die gevolgen. Hierbij moet onder meer worden nagegaan of de rechtshandhavingsinstanties of de entiteiten die namens hen optreden over minder ingrijpende alternatieve oplossingen beschikken. Rechtshandhavingsinstanties mogen bijvoorbeeld op straat geen systemen gebruiken voor gezichtsherkenning in real time met het oog op de algemene veiligheid, de preventie van criminaliteit of het voorkomen van mensenmassa’s, aangezien dit betekent dat iedereen voortdurend zou worden gemonitord en bewaakt. Ook is de maatregel niet van beperkte duur, zodat niet wordt voldaan aan de criteria voor de uitzondering op het verbod van artikel 5, lid 1, punt h), van de AI-verordening. (360) Het criterium “ernst” dat hierbij wordt toegepast op de mogelijke schade en gevolgen, houdt in dat de aantasting van de betrokken grondrechten kan variëren, wat van belang is in verband met het evenredigheidsbeginsel212. Sommige inbreuken op de grondrechten worden als ernstiger beschouwd dan andere. (361) Het criterium “omvang” heeft met name betrekking op het aantal en de categorieën personen die door de inbreuk worden getroffen (waaronder kinderen en kwetsbare of gemarginaliseerde personen). (362) Het criterium “waarschijnlijkheid”, ten slotte, betreft de waarschijnlijkheid dat een bepaalde gebeurtenis zich zal voordoen. (363) De ernst, omvang en waarschijnlijkheid van de schade en de gevolgen moeten allemaal worden beoordeeld in de effectbeoordeling op het gebied van de grondrechten (“FRIA”) die de rechtshandhavingsinstantie verplicht moet uitvoeren (zie hieronder). Deze beoordeling moet per geval worden uitgevoerd. (364) Ten derde moet het gebruik van RBI in real time duidelijk afgebakend zijn wat betreft het geografische gebied, de duur en de beoogde persoon. Dit moet ervoor zorgen dat het RBI-systeem alleen wordt gebruikt wanneer dat strikt noodzakelijk is. (365) Wat betreft de geografische beperking, kan RBI ingezet worden in een of meer geografische gebieden op basis van “objectieve en niet-discriminerende factoren”. In het geval van biometrische identificatie houdt dit in dat de geografische beperking gebaseerd moet zijn op duidelijk afgebakende grenzen waarbinnen een evenement naar verwachting zal plaatsvinden. Deze afbakening mag — onder normale omstandigheden — niet een hele stad of een heel land omvatten, maar moet gerichter zijn. (366) Een andere waarborg heeft betrekking op de personele werkingssfeer van de maatregel, d.w.z. de categorieën betrokken personen. Deze moet ongerichte, 212 Arrest van het Hof van 2 oktober 2018, Ministerio Fiscal, C-207/16, ECLI:EU:C:2018:788, punt 55, waarin het Hof verklaart dat “de […] toegangsregeling […] in verhouding moet staan tot de ernst van de inmenging in de betrokken grondrechten”. willekeurige identificatie van personen uitsluiten wanneer er geen concrete aanwijzingen voor een incident zijn. (367) Ten slotte moet de duur beperkt blijven tot wat strikt noodzakelijk is; deze kan echter in voorkomend geval worden verlengd overeenkomstig de toepasselijke regels. RBI- systemen in real time kunnen dus niet voor een onbepaalde of vaag gedefinieerde periode worden gebruikt. De periode moet worden bepaald op basis van de concrete aanwijzingen die tot het gebruik van een RBI-systeem hebben geleid. (368) Ten vierde moet de rechtshandhavingsinstantie die het RBI-systeem in real time inzet eerst een FRIA uitvoeren en het systeem in de EU-databank registreren (behalve in naar behoren gemotiveerde gevallen). 10.1.1. Effectbeoordeling op het gebied van de grondrechten (Fundamental Rights Impact Assessment, FRIA) (369) FRIA’s die worden uitgevoerd op grond van artikel 5, lid 2, van de AI-verordening, moeten voldoen aan de voorwaarden van artikel 27 van de AI-verordening. Die bepaling bevat de eisen inzake FRIA’s die van toepassing zijn op AI-systemen met een hoog risico. (370) In de periode waarin de verbodsbepalingen van artikel 5 van de AI-verordening van toepassing zijn (vanaf 2 februari 2025), maar de bepalingen inzake AI-systemen met een hoog risico nog niet (tot 2 augustus 2026), moeten gebruiksverantwoordelijken van RBI-systemen in real time die voldoen aan de voorwaarden voor toepassing van een of meer van de uitzonderingen vermeld in artikel 5, lid 1, punt h), van de AI-verordening voldoen aan de in artikel 27 van de AI-verordening vastgestelde eisen voor FRIA’s. De volgende voorlopige richtsnoeren hebben alleen betrekking op het gebruik van RBI in real time in openbare ruimten met het oog op de rechtshandhaving in de periode voordat de verplichtingen voor AI-systemen met een hoog risico van toepassing worden en de Commissie het model voor de FRIA’s vaststelt en aanvullende richtsnoeren verstrekt over de verplichtingen uit hoofde van artikel 27 van de AI-verordening. (371) Een FRIA is een nieuw soort effectbeoordeling om vast te stellen welke gevolgen bepaalde AI-systemen met een hoog risico, waaronder RBI-systemen, kunnen hebben voor de grondrechten. Een FRIA is een hulpmiddel om verantwoording af te leggen. De FRIA vervangt niet de bestaande gegevensbeschermingseffectbeoordeling (“PEB”) die verwerkingsverantwoordelijken (d.w.z. degenen die verantwoordelijk zijn voor de verwerking van persoonsgegevens) moeten uitvoeren op grond van artikel 27 van de richtlijn gegevensbescherming bij rechtshandhaving, artikel 35 AVG of artikel 39 EUVG. Een PEB moet bijvoorbeeld worden uitgevoerd wanneer biometrische gegevens worden verwerkt met behulp van nieuwe technologieën die waarschijnlijk een hoog risico inhouden voor de rechten en vrijheden van natuurlijke personen (zoals CCTV, gezichtsherkenning met AI en op het lichaam gedragen camera’s) in openbare ruimten. (372) Terwijl bij een PEB wordt gekeken naar de risico’s voor de rechten en vrijheden van personen die voortvloeien uit de verwerking van hun persoonsgegevens, heeft een FRIA betrekking op de mogelijke gevolgen van AI-systemen voor de grondrechten van personen in het algemeen. Het toepassingsgebied van een FRIA is derhalve ruimer, zowel wat de bestreken activiteiten als de beoordeelde grondrechten betreft. Wanneer het AI-systeem persoonsgegevens verwerkt (wat het geval is bij RBI-systemen), moet de PEB die door de gebruiksverantwoordelijke als verwerkingsverantwoordelijke wordt uitgevoerd met een FRIA worden aangevuld213, zonder dat daarbij aspecten worden behandeld die reeds in de PEB aan bod zijn gekomen, om overlappingen te voorkomen. De analyse van de FRIA in deze richtsnoeren beperkt zich tot het toegestane gebruik van RBI in real time en is bedoeld als voorlopige leidraad voor gebruiksverantwoordelijken in deze overgangsperiode, totdat het AI-bureau hiervoor een sjabloon ter beschikking stelt214. (373) De verplichting uit hoofde van artikel 5, lid 2, van de AI-verordening om een FRIA uit te voeren, geldt voor de gebruiksverantwoordelijken van RBI-systemen, en niet voor entiteiten, organen of anderen die namens hen optreden. Andere actoren die namens de gebruiksverantwoordelijke of rechtshandhavingsinstantie optreden, moeten met alle relevante informatie bijdragen aan de FRIA om ervoor te zorgen dat deze naar behoren wordt uitgevoerd. (374) Een FRIA moet worden uitgevoerd voordat het toegestane gebruik van een RBI- systeem in real time plaatsvindt. (375) Overeenkomstig artikel 27 van de AI-verordening moet een FRIA de volgende informatie bevatten:

• Een beschrijving van het gebruik dat van het RBI-systeem zal worden gemaakt, de processen waarvan de gebruiksverantwoordelijke daarbij gebruikmaakt, alsook het beoogde doel van het gebruik In de beschrijving moet het volgende worden opgenomen:

• de naam van de gebruiksverantwoordelijke;

• de rechtshandhavingsdoeleinden waarvoor het RBI-systeem in real time zal worden gebruikt;

• een beschrijving van de referentiedatabank waarmee de biometrische gegevens ter identificatie zullen worden vergeleken, met inbegrip van de bronnen van de biometrische gegevens (gezichtsafbeeldingen, stemmonsters enz.) die daarbij zullen worden gebruikt;

• een beschrijving van de technologie waarop het systeem is gebaseerd om de werking ervan uit te leggen (onder verwijzing naar de beschikbare documentatie die door de leverancier is verstrekt en zijn naam)215;

• de rechtsgrondslag waarop het gebruik van de RBI in real time zal worden gebaseerd. • Gebruiksduur en -frequentie Voor elk individueel gebruik van een RBI-systeem in real time voor een van de toegestane uitzonderingen moet op grond van artikel 5, lid 3, van de AI-verordening voorafgaande toestemming worden verleend door een gerechtelijke instantie of een andere onafhankelijke instantie. Voor FRIA’s moeten gebruiksverantwoordelijken daarentegen een algemene indicatie geven van de beoogde gebruiksduur en de verwachte frequentie.

• De categorieën personen en groepen die gevolgen ondervinden van het systeem Voor de toepassing van de uitzondering van artikel 5, lid 1, punt h), van de AI- verordening moet in de FRIA duidelijk gemaakt worden:

• wie de beoogde persoon is: dit kan het slachtoffer van een misdrijf, een dader of een verdachte zijn;

• de personen van wie biometrische gegevens in de referentiedatabank zijn opgenomen; en

• de categorieën personen die aanwezig zijn in de omgeving van het gebied waar het RBI-systeem zal worden ingezet. Het gebruik van RBI-systemen in real time zal niet alleen gevolgen hebben voor de grondrechten van de beoogde persoon. Het heeft ook gevolgen voor de rechten van andere personen wier biometrische gegevens voor vergelijkingsdoeleinden worden gebruikt, alsook voor die van voorbijgangers en personen die toevallig in het zoekgebied aanwezig zijn. De beschrijving van het geografische bereik van de door het RBI-systeem in real time bestreken zoekgebieden zal van invloed zijn op het aantal personen dat gevolgen ondervindt van het gebruik ervan.

• De specifieke risico’s op schade voor de getroffen personen (376) De grondrechten die kunnen worden aangetast door het gebruik van RBI in real time in openbare ruimten met het oog op de rechtshandhaving zijn met name:

• het recht op eerbiediging van het privéleven en het familie- en gezinsleven, waaronder de redelijke verwachting van mensen dat zij in openbare ruimten anoniem zijn;

• het recht op gegevensbescherming, aangezien RBI-systemen afhankelijk zijn van de verwerking van biometrische gegevens en andere persoonsgegevens (bv. namen, 215 Zodra de eisen inzake AI-systemen met een hoog risico in werking zijn getreden, kan hieraan worden voldaan door te verwijzen naar het registratienummer van het systeem in de EU-databank en de beschikbare informatie over het daarin opgenomen systeem. ID-nummers en gevoelige gegevens zoals etniciteit) om specifieke personen te kunnen identificeren;

• de vrijheid van gedachte, geweten en godsdienst, de vrijheid van meningsuiting en de vrijheid van vergadering en vereniging in de openbare ruimten die worden doorzocht, waarop het gebruik van RBI-systemen een afschrikkend effect kan hebben, waardoor personen hun rechten en vrijheden niet ten volle kunnen uitoefenen, aangezien mensen die weten dat zij worden gemonitord hun gedrag mogelijk zullen aanpassen of zichzelf er zelfs van zullen weerhouden zich op een bepaalde manier te gedragen;

• het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht;

• het recht op non-discriminatie indien het systeem met vooroordelen werkt (zoals gender-, etnische of raciale vooroordelen), wat de identificatie van een verkeerde verdachte of dader tot gevolg kan hebben;

• het recht op menselijke waardigheid, aangezien mensen het gevoel kunnen krijgen door het systeem te worden gereduceerd tot een object;

• het vermoeden van onschuld en het recht van verdediging, aangezien geen enkel bezwarend besluit uitsluitend op basis van de output van een RBI-systeem in real time mag worden genomen;

• de rechten van het kind indien het slachtoffer, de vermiste persoon of de verdachte minderjarig is;

• de rechten van ouderen in het geval van vermiste personen. Om de specifieke risico’s op schade voor de geïdentificeerde personen of groepen te beoordelen, moeten in de FRIA de grondrechten van de betrokkenen worden vastgesteld en de gevolgen voor hun grondrechten worden beoordeeld, waaronder de ernst en de omvang van deze gevolgen, rekening houdend met alle mogelijk getroffen personen. In dit deel van de FRIA moet ook beoordeeld worden of het gebruik van een RBI- systeem in real time noodzakelijk en evenredig is gezien de doelstellingen en de omstandigheden van het beoogde gebruik, alsook of er al dan niet minder ingrijpende alternatieven voorhanden zijn. De FRIA moet de prestaties en de mate van nauwkeurigheid van het systeem beschrijven aan de hand van de technische documentatie en, indien beschikbaar, de trainingsgegevens waarmee de technologie is getest en ontwikkeld om vooroordelen en discriminatie te voorkomen. In de FRIA moeten ook de gevolgen worden vastgesteld die het gebruik van een RBI- systeem in real time heeft voor de grondrechten van alle potentieel getroffen personen, met name de verdachte of dader, het gezochte slachtoffer en de andere personen die aanwezig zijn in de openbare ruimten waarin de zoekactie plaatsvindt. Indien het systeem de biometrische gegevens van deze personen verwerkt, zal hun recht op eerbiediging van het privéleven en het familie- en gezinsleven en hun recht op gegevensbescherming worden aangetast, hetgeen zal worden beoordeeld bij de PEB van de gegevensverwerking. Wat andere activiteiten in verband met het gebruik van RBI-systemen in real time en de gevolgen daarvan voor andere grondrechten betreft, vormt de FRIA een aanvulling op de PEB. Afhankelijk van de context waarin het systeem wordt ingezet, kunnen andere grondrechten van de betrokkenen worden aangetast, zoals hun recht op menselijke waardigheid, de vrijheid van gedachte, geweten en godsdienst, de vrijheid van vergadering, de vrijheid van meningsuiting, het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, het vermoeden van onschuld, het recht van verdediging, en de rechten van het kind. De FRIA moet “in abstracto” worden uitgevoerd, voordat het AI-systeem voor het eerst in gebruik wordt gesteld. De specifieke contextgebonden overwegingen die bepalend zijn voor de gevolgen in elk individueel geval waarin een RBI-systeem in real time wordt gebruikt, moeten worden uiteengezet in het individuele verzoek om toestemming dat voor elk gebruik van het RBI-systeem aan een rechterlijke instantie of een andere onafhankelijke administratieve instantie moet worden gedaan (zie punt 10.2.3.8.3).

• Maatregelen voor menselijk toezicht Overeenkomstig artikel 5, lid 3, van de AI-verordening mag geen enkel besluit dat nadelige gevolgen voor een persoon heeft, uitsluitend worden genomen op basis van de output van het RBI-systeem in real time. Bijgevolg moeten in de FRIA de procedures worden beschreven die tijdens het gebruik van het systeem zullen worden gevolgd en hoe de output bij het besluitvormingsproces zal worden geïnterpreteerd. De procedures moeten instructies bevatten voor de inzet van het RBI-systeem, de rol verduidelijken die menselijke actoren vervullen bij het verifiëren en interpreteren van de output en voorzien in trainingen voor de bediening van het systeem. De persoon die verantwoordelijk is voor het menselijk toezicht moet over afdoende “AI-geletterdheid, opleiding en autoriteit”216 beschikken om te begrijpen hoe het systeem werkt en wanneer het ondermaats of slecht functioneert. Andere maatregelen die worden genomen met betrekking tot het menselijk toezicht en de monitoring uit hoofde van de artikelen 14 en 26 van de AI-verordening zijn ook relevant en moeten worden beschreven.

• Risicobeperkende maatregelen Naast de toepassing van maatregelen voor menselijk toezicht (onder meer om discriminerende maatregelen te voorkomen) moet de gebruiksverantwoordelijke de corrigerende maatregelen toelichten die genomen kunnen worden indien een risico werkelijkheid wordt, waaronder de governanceprocedures en klachtenmechanismen (zoals in het geval van een verkeerde identificatie). 10.1.2. Registratie van de toegestane RBI-systemen (377) Artikel 5, lid 2, van de AI-verordening verplicht de gebruiksverantwoordelijke van een RBI-systeem in real time dat in openbare ruimten wordt gebruikt met het oog op de rechtshandhaving ook om het systeem te registreren in de EU-databank vermeld in artikel 49 van de AI-verordening. In geval van een naar behoren gemotiveerde noodsituatie (zoals een imminente dreiging) kan echter zelfs vóór registratie tot de inzet worden overgegaan, op voorwaarde dat de rechtshandhavingsinstantie het systeem zonder onnodige vertraging registreert. Onder “zonder onnodige vertraging” moet “zo spoedig mogelijk” worden verstaan, rekening houdend met de omstandigheden van de noodsituatie die registratie van het systeem vóór het gebruik ervan onmogelijk maakten. Of de registratie aan dit criterium voldoet, moet per geval worden beoordeeld. Hiervoor kan niet a priori een exacte termijn worden vastgesteld. De vertraging mag niet het gevolg zijn van een opzettelijke handeling. Overeenkomstig artikel 49, lid 4, van de AI- verordening worden RBI-systemen die voor rechtshandhavingsdoeleinden worden gebruikt, geregistreerd in een beveiligd niet-openbaar gedeelte van de databank, met beperkte informatie die beperkt toegankelijk is. Wanneer een rechtshandhavingsinstantie binnen 24 uur na gebruik een verzoek indient om het RBI-systeem te registreren, kan dit als een redelijke vertraging worden beschouwd wanneer het systeem werd ingezet in een situatie die een imminente bedreiging voor het leven opleverde, zoals wanneer iemand op mensen begint te schieten.

10.2. Noodzaak van voorafgaande toestemming

(378) Op grond van artikel 5, lid 3, van de AI-verordening is voorafgaande toestemming vereist voor elk individueel gebruik van een RBI-systeem in real time en is geautomatiseerde besluitvorming die uitsluitend gebaseerd is op de output van een dergelijk systeem verboden, indien deze tot nadelige rechtsgevolgen leidt. Artikel 5, lid 3, van de AI-verordening luidt als volgt: Voor de toepassing van lid 1, eerste alinea, punt h), en lid 2, wordt elk gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving afhankelijk gesteld van een voorafgaande toestemming die wordt verleend door een gerechtelijke instantie of een onafhankelijke administratieve instantie, waarvan het besluit bindend is, van de lidstaat waarin het gebruik moet plaatsvinden en die wordt gegeven op verzoek en in overeenstemming met de gedetailleerde regels van het nationale recht als bedoeld in lid 5. In een naar behoren gemotiveerde spoedeisende situatie kan echter zonder toestemming met het gebruik van een dergelijk systeem worden begonnen, op voorwaarde dat een dergelijke toestemming zonder onnodige vertraging en ten minste binnen 24 uur wordt aangevraagd. Bij weigering van die toestemming wordt het gebruik onmiddellijk gestaakt en worden alle gegevens, resultaten en outputs van dat gebruik onmiddellijk verwijderd en gewist. De bevoegde gerechtelijke instantie of onafhankelijke administratieve instantie, waarvan het besluit bindend is verleent de toestemming slechts wanneer zij op basis van objectief bewijs of duidelijke indicaties die aan haar zijn voorgelegd ervan overtuigd is dat het gebruik van het betreffende systeem voor biometrische identificatie op afstand in real time noodzakelijk is voor en evenredig is aan het bereiken van een van de in lid 1, eerste alinea, punt h), gespecificeerde doelstellingen, zoals genoemd in het verzoek en met name beperkt blijft tot wat strikt noodzakelijk is met betrekking tot de periode en de geografische en personele werkingssfeer. Bij haar beslissing over het verzoek houdt die instantie rekening met de in lid 2 bedoelde elementen. Een besluit dat nadelige rechtsgevolgen heeft voor een persoon mag niet uitsluitend worden genomen op basis van de output van het systeem voor biometrische identificatie op afstand in real time. 10.2.1. Doel (379) Het vereiste van voorafgaande toestemming voor elk gebruik van een RBI-systeem in real time in openbare ruimten met het oog op de rechtshandhaving is ingegeven door de noodzaak van een beoordeling en een besluit over de vraag of het beoogde gebruik van een dergelijk systeem voor die doeleinden:

• noodzakelijk is en in verhouding staat tot de verwezenlijking van een van de in artikel 5, lid 1, punt h), i) tot en met iii), genoemde doelstellingen, namelijk het gericht zoeken van specifieke slachtoffers, het voorkomen van specifieke dreigingen of het lokaliseren of identificeren van daders; en

• zich beperkt tot wat strikt noodzakelijk is, zowel wat de duur als de geografische en personele werkingssfeer betreft. (380) Het gevolg van deze eisen is dat er een dubbele beoordeling van de noodzakelijkheid en de evenredigheid moet plaatsvinden voordat een RBI-systeem in real time in openbare ruimten met het oog op de rechtshandhaving kan worden ingezet. Dit moet eerst door de gebruiker worden beoordeeld wanneer hij de FRIA uitvoert, zoals vereist door artikel 5, lid 2, van de AI-verordening. Vervolgens moet ook een gerechtelijke of onafhankelijke administratieve instantie overeenkomstig artikel 5, lid 3, van de AI- verordening beoordelen of het gebruik van een dergelijk systeem noodzakelijk en evenredig is, binnen de grenzen van het nationale recht dat de rechtsgrondslag voor dat gebruik vormt, rekening houdend met het Handvest en het overige Unierecht. Bijgevolg mag een dergelijk systeem alleen worden gebruikt 1) na een FRIA en 2) wanneer de bevoegde nationale autoriteit dit gebruik heeft toegestaan. (381) Artikel 5, lid 3, van de AI-verordening moet worden gelezen en uitgelegd in samenhang met artikel 5, lid 5, van de AI-verordening: om het gebruik van een RBI-systeem in real time te kunnen toestaan, moet er in de betrokken lidstaten nationaal recht bestaan dat het gebruik ervan toestaat217. Sommige lidstaten beschikken al over een systeem van voorafgaande toestemming voor het gebruik van biometrische systemen op grond van andere Unie- of nationale wetgeving, zoals de wetgeving inzake gegevensbescherming. 10.2.2. Het hoofdbeginsel: voorafgaande toestemming van een gerechtelijke instantie of een onafhankelijke administratieve instantie (382) Voor het gebruik van RBI-systemen in real time waarmee een van de in artikel 5, lid 1, punt h), i) tot en met iii), van de AI-verordening genoemde doelstellingen wordt nagestreefd en waarvoor het nationale recht van de betrokken lidstaten een rechtsgrondslag biedt, moet voorafgaand aan het gebruik toestemming worden gegeven door een gerechtelijke instantie of een onafhankelijke administratieve instantie. Dit is het hoofdbeginsel. (383) Er geldt echter een uitzondering voor spoedeisende situaties. Deze moeten naar behoren worden gemotiveerd218. Spoedeisende situaties worden omschreven als “situaties waarin het wegens de noodzaak om het betrokken AI-systeem te gebruiken, feitelijk en objectief onmogelijk is om vóór het begin van het gebruik toestemming te verkrijgen”219. In dergelijke spoedeisende situaties “moet het gebruik van het AI- systeem worden beperkt tot het absoluut noodzakelijke minimum en onderworpen zijn aan passende waarborgen en voorwaarden, zoals bepaald in de nationale wetgeving en door de rechtshandhavingsinstantie zelf vastgesteld in de context van elk afzonderlijk dringend gebruik”. 10.2.2.1. Voorafgaand en met redenen omkleed verzoek in overeenstemming met de nationale procedureregels a) Verzoek van wie? (384) Hoewel dit niet wordt gespecificeerd, mag ervan worden uitgegaan dat het verzoek normaliter zal worden ingediend door de gebruiksverantwoordelijke, d.w.z. door de bevoegde autoriteit (rechtshandhavingsinstantie). Volgens de definitie van rechtshandhavingsinstantie van artikel 3, punt 45, b), van de AI-verordening wordt “ieder ander orgaan dat of iedere andere entiteit die krachtens het recht van de lidstaten is gemachtigd openbaar gezag en openbare bevoegdheden uit te oefenen met het oog op de voorkoming van, het onderzoek naar, de opsporing en de vervolging van strafbare feiten of de uitvoering van straffen, met inbegrip van de bescherming tegen en de voorkoming van gevaren voor de openbare veiligheid” beschouwd als rechtshandhavingsinstantie en kan deze ook als “bevoegde autoriteit” verantwoordelijk zijn voor het indienen van het verzoek om voorafgaande toestemming. (385) Voor het gebruik van een RBI-systeem in real time voor activiteiten die buiten het toepassingsgebied van de AI-verordening vallen, hoeft dus geen toestemming te worden verleend op grond van artikel 5, lid 3, van de AI-verordening. Indien een dergelijk systeem vervolgens voor rechtshandhavingsdoeleinden wordt gebruikt, zou het gebruik binnen het toepassingsgebied van de AI-verordening vallen en zou toestemming vereist zijn indien aan de eisen van artikel 5, lid 1, punt h), van de AI- verordening is voldaan. b) Verzoek betreffende welk gebruik? 218 Dit betekent dat “in dergelijke situaties […] de rechtshandhavingsinstantie onverwijld en uiterlijk binnen 24 uur om dergelijke toestemming [moet] verzoeken, met opgave van de redenen waarom zij niet eerder een verzoek daartoe heeft kunnen indienen” (overweging 35 van de AI-verordening). (386) Voorafgaande toestemming is vereist voor het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving, zelfs als de systemen namens rechtshandhavingsinstanties door andere partijen worden beheerd, zoals sportclubs of winkelcentra. Voorbeelden:

• Een organisatie die middelen heeft gekregen om naar vermiste kinderen te zoeken, besluit gebruik te maken van een RBI-systeem in real time. Zij is niet gemachtigd om openbaar gezag en openbare bevoegdheden uit te oefenen, strafbare feiten te voorkomen of taken ter voorkoming van gevaren voor de openbare veiligheid uit te voeren. Een dergelijk gebruik valt niet onder het verbod van artikel 5, lid 1, punt h), van de AI-verordening, aangezien het niet met het oog op de rechtshandhaving is. Dit systeem zal echter worden aangemerkt als een “systeem met een hoog risico” (punt 1, a), van bijlage III) en op grond van artikel 36 AVG kan voorafgaande raadpleging van de toezichthoudende autoriteit voor gegevensbescherming vereist zijn. Afhankelijk van het toepasselijke nationale recht en de toepasselijkheid van een van de uitzonderingen op artikel 9, lid 1, AVG, kan voor een dergelijke verwerking ook voorafgaande toestemming vereist zijn. Indien daarentegen dezelfde organisatie door rechtshandhavingsinstanties zou worden verzocht om namens hen in een rechtshandhavingscontext en onder het toezicht en gezag van de bevoegde rechtshandhavingsinstanties te zoeken naar vermiste kinderen, zou voorafgaande toestemming vereist zijn op grond van artikel 5, lid 3, van de AI-verordening.

• Een particuliere organisatie die belast is met het verstrekken van hulpmiddelen aan personen die het slachtoffer dreigen te worden van een natuurramp220, besluit daartoe gebruik te maken van een RBI-systeem in real time. Een dergelijk gebruik valt niet onder het verbod van artikel 5, lid 1, punt h), van de AI-verordening, aangezien het niet met het oog op de rechtshandhaving is. Dit systeem zal echter worden aangemerkt als een “systeem met een hoog risico” (punt 1, a), van bijlage III) en op grond van artikel 36 AVG kan voorafgaande raadpleging van de toezichthoudende autoriteit voor gegevensbescherming vereist zijn. Afhankelijk van het toepasselijke nationale recht en de toepasselijkheid van een van de uitzonderingen op artikel 9, lid 1, AVG, kan voor een dergelijke verwerking ook voorafgaande toestemming vereist zijn. c) Wanneer? Bij “elk gebruik” (387) Overeenkomstig artikel 5, lid 3, van de AI-verordening is voorafgaande toestemming vereist voor “elk gebruik”. Dit betekent dat het bepalende moment om een dergelijke toestemming te vragen niet het moment is waarop RBI-systemen in real time worden geïnstalleerd, maar het moment waarop er een concreet gebruik van wordt gemaakt. Voorbeelden:

• De politie installeert biometrische CCTV-camera’s op het centraal station van een stad (hiervoor is geen toestemming uit hoofde van de AI-verordening nodig, maar het biometrische systeem moet voldoen aan de eisen inzake systemen met een hoog risico, vóór het de eerste keer wordt gebruikt, moet er een FRIA worden uitgevoerd en voorafgaand aan elk gebruik van het systeem moet aan een gerechtelijke of onafhankelijke administratieve instantie om individuele toestemming worden verzocht). De politie beschikt over concrete aanwijzingen dat een terrorist per trein in de stad zal arriveren (voorafgaande toestemming is nodig voor identificatie in real time). d) Met redenen omkleed verzoek (388) Op grond van artikel 5, lid 3, van de AI-verordening moet elk individueel verzoek om toestemming voor het gebruik van RBI in real time “met redenen omkleed (reasoned)” en dus onderbouwd en gemotiveerd zijn. (389) Sommige lidstaten staan toe dat deze verzoeken online worden ingediend221. Overeenkomstig artikel 5, lid 5, van de AI-verordening moeten in de nationale wetgeving eisen worden vastgesteld betreffende de exacte inhoud van het verzoek, waarbij ten volle rekening wordt gehouden met de hierboven uiteengezette eisen. Er moet onder andere voldoende informatie worden verstrekt om te bepalen of het gebruik van RBI in real time en andere relevante aspecten strikt noodzakelijk en evenredig zijn, in aanmerking genomen dat een dergelijk gebruik alleen in uitzonderlijke gevallen wordt toegestaan. 10.2.2.2. Toestemming van een gerechtelijke instantie of een onafhankelijke administratieve instantie (390) De toestemming kan alleen worden verleend door een gerechtelijke of onafhankelijke administratieve instantie waarvan de beslissing bindend is. a) Onafhankelijke instantie (391) Het Hof heeft het begrip “onafhankelijkheid” in verschillende contexten uitgelegd. In de zaak HK/Prokuratuur legde het Hof bijvoorbeeld uit dat onafhankelijkheid betekent dat de instantie “neutraal” moet zijn222. Het Hof preciseerde dat een instantie die betrokken was bij het voorafgaande onderzoek, in het betreffende geval het openbaar ministerie, in die zin niet onafhankelijk is. Vergelijkbare overwegingen gelden voor de bij artikel 5, lid 3, van de AI-verordening vereiste onafhankelijkheid, wat betekent dat de instantie die de vergunning verleent onafhankelijk moet zijn van de instantie die het RBI-systeem gebruikt. Dit zou niet alleen gelden voor de politie, maar ook voor onderzoeksrechters of openbare aanklagers die toezicht houden op het optreden van de politie en het gebruik van RBI waarvoor toestemming wordt gevraagd. (392) In de zaak Commissie/Polen, die betrekking had op de vraag wanneer een orgaan in het kader van de spoorwegveiligheid als onafhankelijk kan worden beschouwd, oordeelde het Hof dat “[w]at overheidsinstanties betreft, […] onafhankelijkheid dus normaliter een status [betekent] die waarborgt dat de betrokken instantie volledig vrij, zonder enige instructie of druk, kan handelen ten opzichte van de instanties ten aanzien waarvan zijn onafhankelijkheid moet worden gewaarborgd”223. Soortgelijke criteria kunnen worden toegepast in het kader van artikel 5, lid 3, van de AI-verordening. (393) De gerechtelijke autoriteiten in een democratische samenleving zijn in het algemeen ook onafhankelijke instanties. De rechterlijke macht speelt een belangrijke rol wanneer zij onafhankelijk is van de uitvoerende macht en de wetgever, en de toepassing van de wetgeving en de grondrechten en fundamentele vrijheden op autonome en onafhankelijke wijze kan controleren en toetsen. De onafhankelijkheid van de rechterlijke macht is een van de essentiële facetten van de rechtsstaat en wordt gewaarborgd door artikel 47 van het Handvest en artikel 6, lid 1, EVRM224. b) Instantie met bevoegdheid op de plaats waar het gebruik zal plaatsvinden (394) Het verzoek om toestemming moet worden gericht aan de instantie die bevoegd is volgens het nationale recht225. c) Toestemming wordt alleen gegeven indien het gebruik “noodzakelijk en evenredig” is gezien de in de uitzonderingen genoemde doelstellingen (395) Iedere keer als toestemming wordt verleend om RBI in real time in openbare ruimten met het oog op de rechtshandhaving te gebruiken, moet worden beoordeeld of aan de eisen van artikel 5, lid 3, van de AI-verordening is voldaan. Zeer ingrijpend (396) In de context van gegevensbescherming hebben het Europees Comité voor gegevensbescherming (“EDPB”) in zijn richtsnoeren 5/2022 en de Europese Toezichthouder voor gegevensbescherming (“EDPS”) geoordeeld dat het gebruik van biometrische gegevens, en met name gezichtsherkenningstechnologie, een aantasting vormt van verschillende grondrechten en fundamentele vrijheden. Dat standpunt wordt gedeeld door het Bureau van de Europese Unie voor de grondrechten en door de Raad van Europa226. Zowel het Hof227 als het EHRM228 hebben de gevoelige aard van de verwerking van biometrische gegevens bevestigd. (397) Elke inmenging in de grondrechten en fundamentele vrijheden moet altijd de wezenlijke inhoud van de rechten en vrijheden eerbiedigen. Dit volgt uit artikel 52, lid 1, van het Handvest. (398) Het begrip “wezenlijke inhoud” van de grondrechten en fundamentele vrijheden is ontwikkeld in de rechtspraak van het Hof en vormt een zelfstandige waarde in de 223 Arrest van het Hof van 13 juni 2018, Commissie/Polen, C-530/16, ECLI:EU:C:2018:430, punt 67. 224 Zie R. Manko, “Judicial independence in the case law of the European Court of Human Rights”, Briefing, Onderzoeksdienst van het Europees Parlement (EPRS), 2022, 12 bladzijden; X, “ECJ case law on judicial independence. A Chronological overview”, Briefing, Onderzoeksdienst van het Europees Parlement (EPRS), 2023, blz. 12. 225 Zie het arrest van het Hof van Justitie van 6 oktober 2015, Schrems, C-362/14, https://eur-lex.europa.eu/legal- content/NL/TXT/PDF/?uri=CELEX:62014CJ0362, ECLI:EU:C:2015:650, punt 44. 226 Raadgevend Comité van het Verdrag tot bescherming van personen met betrekking tot de geautomatiseerde verwerking van persoonsgegevens (CETS 108), “Guidelines on Facial Recognition”, 2021. 227 Arrest van het Hof van 26 januari 2023, Ministerstvo na vatreshnite raboti, C-205/21, ECLI:EU:C:2023:49, punten 60 tot en met 76 en 116 tot en met 134. 228 Arrest van het EHRM van 4 juli 2023, Glukhin/Rusland, verzoekschrift nr. 11519/20, ECLI:CE:ECHR:2023:0704JUD001151920, punten 88 en 90 (“het arrest Glukhin/Rusland”). rechtsorde van de Unie. Indien de wezenlijke inhoud van een grondrecht of fundamentele vrijheid niet wordt geëerbiedigd, betekent dit dat een recht of vrijheid op onrechtmatige wijze wordt aangetast door een maatregel, zodat geen voorafgaande toestemming zal worden gegeven voor de betreffende inmenging. Alleen “indien noodzakelijk en evenredig” (399) Elke inmenging in de grondrechten en fundamentele vrijheden vereist “een wet” die in beginsel overeenkomstig artikel 52 van het Handvest de noodzaak en evenredigheid in acht moet nemen (zie artikel 5, lid 5, van de AI-verordening). Artikel 5, lid 3, van de AI-verordening schrijft voor dat in de nationale wetgeving die het gebruik van RBI in real time in openbare ruimten met het oog op de rechtshandhaving toestaat, moet worden bepaald dat toestemming voor dergelijk gebruik slechts wordt verleend “wanneer [de instantie] ervan overtuigd is dat het gebruik […] noodzakelijk is voor en evenredig is aan het bereiken van een van de in lid 1, eerste alinea, punt h), gespecificeerde doelstellingen”. De nationale autoriteiten moeten nagaan of de biometrische identificatie strikt noodzakelijk is229. Deze beoordeling moet gebaseerd zijn op de FRIA, waarin voorafgaand aan elk gebruik, wanneer om toestemming wordt verzocht, al een algemene beoordeling van de noodzaak en de evenredigheid moet worden verricht, met inachtneming van de specifieke omstandigheden. 10.2.2.3. De uitzondering op de eis van voorafgaande toestemming: verzoek binnen 24 uur en gevolgen indien afgewezen (400) In spoedeisende gevallen kan een gebruiker binnen 24 uur vanaf het moment dat het RBI-systeem in real time wordt gebruikt een verzoek om toestemming indienen. In de praktijk zal dat doorgaans het moment zijn waarop camera’s die geschikt of in staat zijn biometrische gegevens te verwerken, worden “aangezet” en gebruikt, en de eerste biometrische vergelijking met het systeem wordt gemaakt. De logbestanden van de verwerkingsactiviteiten moeten ter beschikking van de bevoegde instantie worden gesteld om aan te tonen dat het verzoek tijdig is ingediend230. (401) In een dergelijk geval moet in het verzoek worden gemotiveerd waarom er geen verzoek om voorafgaande toestemming werd ingediend voordat met het gebruik van het systeem werd begonnen. 10.2.2.4. Onmiddellijke stopzetting en verwijdering van de gegevens indien het verzoek om toestemming wordt geweigerd (402) Artikel 5, lid 3, van de AI-verordening bepaalt voorts dat indien een verzoek om toestemming in spoedeisende gevallen wordt geweigerd, het gebruik van het RBI- systeem in real time met onmiddellijke ingang moet worden gestaakt. In dergelijke gevallen moeten alle gegevens, met inbegrip van de resultaten en outputs van dat 229 Zie ook in verband met gegevensverzameling: arrest van het Hof van 28 november 2024, Ministerstvo na vatreshnite raboti, C-80/23, ECLI:EU:C:2024:991. 230 Voor AI-systemen met een hoog risico moeten automatisch gegenereerde logbestanden gedurende ten minste zes maanden worden bewaard. Deze moeten in het geval van de in punt 1, a), van bijlage III vermelde systemen met een hoog risico de begin- en einddatum en -tijd van elk gebruik bevatten. Zie artikel 12, lid 3, punt a), en artikel 19 van de AI-verordening. gebruik, onmiddellijk worden verwijderd en gewist231. Artikel 5, lid 3, van de AI- verordening is in dit verband stellig; hierop zijn geen uitzonderingen mogelijk. De gebruiksverantwoordelijke beschikt over: a) Een referentiedatabank met biometrische informatie (bv. gezichtsafbeeldingen, stemmonsters enz.) en daarmee verband houdende identificatiegegevens, indien van toepassing. b) Daarmee worden verzamelde biometrische gegevens van personen die zich in de openbare ruimte bevinden, vergeleken om die personen te identificeren en aan te duiden. c) Deze vergelijking levert bepaalde resultaten op. (403) De verplichting om de verzamelde en verwerkte gegevens te verwijderen en te wissen houdt ook in dat de referentiedatabanken die voor de ongeoorloofde biometrische identificatie zijn gebruikt, moeten worden verwijderd en gewist indien deze specifiek voor de betwiste zoekactie zijn aangelegd. Alleen wanneer de rechtshandhavingsinstanties de voor identificatie gebruikte databank rechtmatig hebben opgezet en willen onderhouden voor andere legitieme doeleinden dan het ongeoorloofde gebruik van RBI in real time, kan de databank worden behouden. (404) Behalve de (onrechtmatige) databank met biometrische informatie moeten ook alle verzamelde beelden en andere persoonsgegevens, waaronder de metagegevens, technische verwerkingsgegevens (inclusief sjablonen en andere persoonsgegevens) en de overige vergelijkingsresultaten en outputgegevens die zijn verkregen tijdens het onrechtmatige gebruik van het RBI-systeem in real time, worden gewist. (405) Wanneer de rechtshandhavingsinstantie de weigering aanvecht, mogen de gegevens door een trustee worden bewaard totdat er een definitieve beslissing over het verzoek is genomen. Gedurende die periode mogen die gegevens normaliter niet ter beschikking worden gesteld aan de rechtshandhavingsinstantie310. 10.2.2.5. Geen besluitvorming uitsluitend op basis van de output van het RBI-systeem in real time (406) Overeenkomstig artikel 5, lid 3, van de AI-verordening mag een besluit dat nadelige rechtsgevolgen heeft voor een persoon, zelfs wanneer de gebruiksverantwoordelijke van een RBI-systeem in real time toestemming heeft voor het gebruik ervan, niet uitsluitend worden genomen op basis van de output van het RBI-systeem in real time. Voorbeelden:

• Iemand wordt wegens een ernstig misdrijf gearresteerd en gevangengezet, enkel op basis van identificatie door een gezichtsherkenningssysteem, zonder verdere controles. Bovendien is op grond van artikel 14 van de AI-verordening ook menselijk toezicht vereist. Bij deze controles kan bijvoorbeeld worden nagegaan of een bepaald 231 De toezichthoudende autoriteiten moeten ook de bevoegdheid hebben om dit achteraf te controleren en verifiëren. Zie artikel 5, lid 5, van de AI-verordening. persoon mogelijk elders is geweest dan wel of hij om andere redenen de gezochte persoon niet kan zijn. Eisen van artikel 14 van de AI-verordening inzake menselijk toezicht (407) Het gebruik van RBI in real time dat is toegestaan omdat hiermee een van de in artikel 5, lid 1, punt h), genoemde doelstellingen wordt nagestreefd en het voldoet aan artikel 5, leden 2 tot en met 6, van de AI-verordening, valt nog steeds onder de regels voor systemen met een hoog risico. Volgens artikel 14 van de AI-verordening “[worden] AI- systemen met een hoog risico […] zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-instrumenten, dat hierop tijdens de periode dat zij worden gebruikt, op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen”. Overeenkomstig artikel 14, lid 5, van de AI-verordening mag de gebruiksverantwoordelijke geen maatregelen treffen of beslissingen nemen op basis van de identificatie door het systeem, “tenzij deze identificatie door ten minste twee natuurlijke personen met de nodige bekwaamheid, opleiding en bevoegdheid apart is geverifieerd en bevestigd”, of tenzij “het Unierecht of het nationale recht de toepassing van dit vereiste onevenredig acht”. Artikel 4 van de AI-verordening schrijft voor dat aanbieders en gebruikers van AI-systemen maatregelen op het gebied van AI- geletterdheid moeten nemen om “een toereikend niveau van AI-geletterdheid van hun personeel en andere personen die namens hen AI-systemen exploiteren en gebruiken” te waarborgen, mede gelet op de personen ten aanzien van wie de systemen zullen worden gebruikt. (408) Zoals de EDPB in het kader van gegevensbescherming heeft verklaard, is het voor een doeltreffend menselijk toezicht van cruciaal belang “om de persoon in staat te stellen [het systeem (in dit geval voor gezichtsherkenning)] en de grenzen ervan te begrijpen en de resultaten ervan naar behoren te interpreteren. Het is ook noodzakelijk om een werkplek en organisatie op te zetten waarin de effecten van vooringenomenheid bij automatisering worden tegengegaan en wordt voorkomen dat een niet-kritische acceptatie van de resultaten wordt bevorderd, bijvoorbeeld door tijdsdruk, omslachtige procedures, mogelijke nadelige gevolgen voor de carrière enz.”232. Vergelijkbare overwegingen gelden voor de AI-verordening.

10.3. Melding aan de autoriteiten van elk gebruik van RBI-systemen in real time

in openbare ruimten met het oog op de rechtshandhaving Artikel 5, lid 4, van de AI-verordening luidt als volgt: “Onverminderd lid 3 wordt elk gebruik van een systeem voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving gemeld bij de bevoegde markttoezichtautoriteit en de nationale gegevensbeschermingsautoriteit in overeenstemming met de in lid 5 bedoelde nationale regels. Die melding bevat ten minste de in lid 6 bepaalde informatie en bevat geen gevoelige operationele gegevens.” (409) Elk gebruik van een RBI-systeem waarmee een van de in artikel 5, lid 1, punt h), i) tot en met iii), van de AI-verordening genoemde doelstellingen wordt nagestreefd, moet worden gemeld aan de bevoegde markttoezichtautoriteit en de nationale gegevensbeschermingsautoriteit. De melding moet na elk gebruik plaatsvinden zodat verslag kan worden gedaan van het aantal gevallen waarin toestemming is verleend en de resultaten daarvan. De melding mag geen gevoelige operationele gegevens bevatten. Artikel 3, punt 38, van de AI-verordening definieert “gevoelige operationele gegevens” als operationele gegevens met betrekking tot rechtshandhavingsactiviteiten (preventie, opsporing, onderzoek of vervolging van strafbare feiten) waarvan de openbaarmaking de integriteit van strafprocedures in het gedrang zou kunnen brengen. (410) Voor nadere informatie over de meldingsplicht, zie punt 10.6.

10.4. Noodzaak van nationale wetgeving die zich beperkt tot de uitzonderingen

van de AI-verordening 10.4.1. Beginsel: de nationale wetgeving moet de rechtsgrondslag bieden voor het toegestane gebruik op grond van alle of een aantal van de uitzonderingen (411) Er is nationale wetgeving nodig om het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving in de praktijk mogelijk te maken. Artikel 5, lid 5, van de AI-verordening bepaalt evenwel dat het de lidstaten vrijstaat om dergelijke nationale wetgeving vast te stellen. Indien er een nationale wet wordt vastgesteld op grond waarvan het gebruik van RBI in real time wordt toegestaan, specificeert de AI-verordening de inhoudelijke elementen die de nationale wetgeving moet bevatten om te voldoen aan de eisen van de AI-verordening. Artikel 5, lid 5, van de AI-verordening luidt als volgt: Een lidstaat kan besluiten om te voorzien in de mogelijkheid om volledig of gedeeltelijk toestemming te verlenen voor het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving binnen de grenzen en onder de voorwaarden van lid 1, eerste alinea, punt h), en de leden 2 en 3. De betrokken lidstaten leggen in hun nationale recht de noodzakelijke gedetailleerde regels vast voor het verzoek om en de afgifte en het gebruik van, evenals het toezicht en verslaglegging in verband met, de in lid 3 bedoelde vergunningen. In deze regels wordt ook gespecificeerd voor welke doelstellingen van lid 1, eerste alinea, punt h), en voor welke strafbare feiten als bedoeld in punt h), iii), daarvan de bevoegde autoriteiten deze systemen mogen gebruiken met het oog op de rechtshandhaving. De lidstaten stellen de Commissie uiterlijk dertig dagen na de vaststelling van die regels in kennis. De lidstaten kunnen in overeenstemming met het Unierecht restrictievere wetgeving inzake het gebruik van systemen voor biometrische identificatie op afstand invoeren. 10.4.2. Het nationale recht moet de grenzen en voorwaarden van artikel 5, lid 1, punt h), van de AI-verordening eerbiedigen. (412) Aangezien het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving wordt beschouwd als een inmenging in de grondrechten, is in artikel 5, lid 5, van de AI-verordening bepaald dat een dergelijk gebruik bij nationaal recht in de lidstaten moet worden bepaald. Deze nationale wetgeving vormt de rechtsgrondslag voor het gebruik van dergelijke systemen. (413) De nationale wetgeving mag de in artikel 5, lid 1, punt h), van de AI-verordening vastgestelde grenzen niet overschrijden en moet voldoen aan alle verdere daarmee verband houdende voorwaarden die in de AI-verordening zijn vastgesteld. Dit houdt in dat de lidstaten de doelstellingen waarvoor RBI in real time in openbare ruimten met het oog op de rechtshandhaving mag worden gebruikt, niet ruimer mogen formuleren dan voorzien in artikel 5, lid 1, punt h), i) tot en met iii), van de AI-verordening233. (414) De lidstaten stellen de Commissie uiterlijk dertig dagen na de vaststelling van die nationale wetgeving in kennis. Die kennisgeving vestigt geen vermoeden van overeenstemming van de wetgeving van de lidstaten met de AI-verordening. Na ontvangst van de kennisgeving stuurt het AI-bureau een ontvangstbevestiging. Voorafgaand aan de vaststelling worden de lidstaten ook aangemoedigd een voorlopige versie van de voorgestelde nationale (of regionale) wetgeving aan het AI-bureau toe te zenden. Als niet binnen de wettelijke termijn van dertig dagen na de vaststelling overeenkomstig artikel 5, lid 5, kennisgeving aan het AI-bureau wordt gedaan, kan dit betekenen dat de nationale wetgeving niet afdwingbaar is in gerechtelijke procedures, zoals in verschillende gevallen is geoordeeld234. De Commissie zal de wetgeving van de lidstaten op een openbare website publiceren. (415) De lidstaten kunnen overeenkomstig het Unierecht restrictievere wetgeving invoeren, d.w.z. wetgeving met strengere eisen dan die van artikel 5, lid 1, punt h), en artikel 5, leden 2 tot en met 7, van de AI-verordening. 10.4.3. Gedetailleerde nationale wetgeving inzake het verzoek om en de afgifte en het gebruik van de vergunning (416) De gedetailleerde regels die van toepassing zijn op het verzoek om en de afgifte en het gebruik van de vergunning moeten worden vastgesteld bij het nationale recht. Elke lidstaat die het gebruik van de betrokken systemen wenst toe te staan, moet hiertoe in zijn nationale wetgeving regels vastleggen, die ervoor moeten zorgen dat de vergunningverlenende autoriteit relevante en volledige informatie krijgt over het gebruik van RBI-systemen in real time, zodat zij kan beslissen of een dergelijk gebruik strikt noodzakelijk en evenredig is. De nationale wetgeving waarbij het gebruik van RBI-systemen in real time wordt toegestaan, kan bijvoorbeeld de volgende aspecten reguleren: 233 Arrest van het Hof van 5 april 2022, Commissioner of An Garda Síochána, C-140/20, ECLI:EU:C:2022:258, punt 54: “Om aan het evenredigheidsvereiste te voldoen, dient nationale wetgeving duidelijke en nauwkeurige regels te bevatten voor de reikwijdte en de toepassing van de betrokken maatregel en minimumeisen op te leggen […].”

• wie de bevoegde autoriteiten zijn overeenkomstig artikel 5, lid 1, punt h), van de AI- verordening en welke onafhankelijke autoriteiten in de lidstaat bevoegd zijn om een vergunning af te geven (of te weigeren);

• de exacte reikwijdte van de doelstellingen waarvoor RBI in real time in openbare ruimten kan worden gebruikt met het oog op de rechtshandhaving (waarbij de in artikel 5, lid 1, punt h), i) tot en met iii), genoemde doelstellingen niet mogen worden uitgebreid, maar wel mogen worden beperkt);

• dat aanvragen schriftelijk moeten worden gedaan en vergezeld moeten gaan van een gedetailleerde toelichting over het specifieke gebruik en het beoogde doel van het gebruik voor een specifiek strafbaar feit/specifieke omstandigheid die het gebruik ervan rechtvaardigt;

• dat het verzoek moet worden gemotiveerd en dat ondersteunend bewijsmateriaal moet worden ingediend (inclusief waar nodig een vertaling) om het gebruik van het systeem waarmee de in artikel 5, lid 1, punt h), i) tot en met iii), van de AI-verordening genoemde doelstellingen worden nagestreefd, te rechtvaardigen, met name wat betreft de plaats, de duur en de personele werkingssfeer, alsook om aan te tonen dat het gebruik strikt noodzakelijk en evenredig is, dat het gebruik van het systeem relevant, toereikend en doeltreffend is, en dat er geen minder ingrijpende middelen beschikbaar zijn;

• de beschrijving van de te gebruiken technologie en de locaties waar de gegevens worden verzameld;

• de minimale betrouwbaarheid, de gebruikte drempel en de nauwkeurigheidsgraad van de gebruikte systemen;

• de mogelijkheid om de ingediende informatie, met inbegrip van de technische details en nauwkeurigheidscriteria, te allen tijde vooraf en achteraf door de vergunningverlenende instantie te laten controleren;

• de specificatie van de gebruikte referentiedatabanken;

• de bewaartermijn voor de vastgelegde gegevens en alle andere daaraan gerelateerde gebruikte persoonsgegevens;

• de beveiligingsmaatregelen, onder meer om onrechtmatige toegang tot de gegevens te voorkomen;

• overige waarborgen (indien van toepassing);

• de beschrijving van elke vorm van samenwerking met particuliere of overheidsinstanties, ook in andere landen, en de doorgifte en uitwisseling van gegevens;

• de traceerbaarheid van het proces;

• de namen van de verantwoordelijke personen bij de gebruiksverantwoordelijken; Met betrekking tot de afgifte (overige formele aspecten)

• de mogelijkheid van een schriftelijke procedure, aangevuld met een hoorzitting;

• de gronden voor weigering;

• de rechten van de personen op wie een zoekactie gericht is, de rechten van de personen van wie gegevens worden vastgelegd, en de eventuele rechten van derden235;

• de termijnen waarbinnen de bevoegde instanties hun besluit moeten nemen;

• de eventuele noodzaak van formele kennisgeving bij de verlening/weigering van de vergunning;

• sancties wegens niet-naleving van (formele en materiële) eisen;

• het recht om beroep aan te tekenen tegen de weigering van een vergunning; Met betrekking tot het gebruik

• de registratie van het gebruik van RBI-systemen in real time in een centraal register met een samenvatting van de inhoudelijke elementen;

• mogelijke verdere meldingsverplichtingen;

• de procedure voor de verlenging of wijziging van de vergunning. 10.4.4. Gedetailleerde nationale wetgeving inzake het toezicht en de verslaglegging in verband met de vergunningen (417) Op grond van artikel 70 van de AI-verordening moeten de lidstaten “ten minste één aanmeldende autoriteit en ten minste één markttoezichtautoriteit instellen”. Artikel 74, lid 8, van de AI-verordening bepaalt dat “de lidstaten als markttoezichtautoriteiten voor de toepassing van deze verordening hetzij de bevoegde toezichthoudende autoriteiten voor gegevensbescherming krachtens Verordening (EU) 2016/679 of Richtlijn (EU) 2016/680 [aanwijzen], hetzij een andere autoriteit die is aangewezen onder dezelfde voorwaarden van de artikelen 41 tot en met 44 van Richtlijn (EU) 2016/680”. (418) Dit vormt een aanvulling op de aanwijzing van de vergunningverlenende autoriteit, die de lidstaat zal moeten instellen voordat hij toestemming kan verlenen voor het gebruik van RBI-systemen in real time voor de in artikel 5, lid 1, punt h), i) tot en met iii), van de AI-verordening genoemde doelstellingen.

10.5. Jaarverslagen van de nationale markttoezichtautoriteiten en de nationale

gegevensbeschermingsautoriteiten van de lidstaten Artikel 5, lid 6, van de AI-verordening luidt als volgt: Nationale markttoezichtautoriteiten en nationale gegevensbeschermingsautoriteiten van lidstaten die op grond van lid 4 in kennis zijn gesteld van het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, dienen bij de Commissie jaarverslagen over dat gebruik in. Daartoe verstrekt de Commissie de lidstaten en de nationale markttoezicht- en 235 Zie bv. EDPB, Richtsnoeren 05/2022 voor het gebruik van gezichtsherkenningstechnologie in het kader van rechtshandhaving, versie 2.0, 26 april 2023, blz. 24 e.v. gegevensbeschermingsautoriteiten een sjabloon, met informatie over het aantal besluiten dat is genomen door bevoegde gerechtelijke instanties of een onafhankelijke administratieve instantie, waarvan het besluit bindend is overeenkomstig lid 3, alsook het resultaat van die besluiten. (419) Nationale markttoezicht- en gegevensbeschermingsautoriteiten van lidstaten die door gebruiksverantwoordelijken in kennis zijn gesteld van het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving (zie artikel 5, lid 4), moeten bij de Commissie jaarverslagen over dat gebruik indienen. Deze verslagen moeten worden opgesteld op basis van een sjabloon dat de Commissie verstrekt. Dit sjabloon zal tijdig worden vastgesteld. (420) Wanneer de gebruiksverantwoordelijke een instelling, orgaan of instantie van de EU is, is de EDPS verplicht de Commissie jaarlijks in kennis te stellen van de RBI-systemen in real time die in openbare ruimten met het oog op de rechtshandhaving worden gebruikt. (421) Over de periode tussen 2 februari 2025 en 2 augustus 2025 zal alleen de nationale gegevensbeschermingsautoriteit verslag doen, aangezien de lidstaten op grond van de AI-verordening niet verplicht zijn om vóór die datum een nationale markttoezichtautoriteit aan te wijzen. (422) Het staat de nationale markttoezichtautoriteiten en de nationale gegevensbeschermingsautoriteiten vrij om te beslissen of zij afzonderlijke verslagen of een gezamenlijk verslag per lidstaat willen indienen.

10.6. Jaarverslagen van de Commissie

Artikel 5, lid 7, van de AI-verordening luidt als volgt: De Commissie publiceert jaarverslagen over het gebruik van systemen voor biometrische identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, op basis van geaggregeerde gegevens in de lidstaten op basis van de in lid 6 bedoelde jaarverslagen. Die jaarverslagen bevatten geen gevoelige operationele gegevens van de gerelateerde rechtshandhavingsactiviteiten. (423) Op grond van de AI-verordening moet de Commissie jaarverslagen publiceren over het gebruik van RBI-systemen in real time in openbare ruimten met het oog op de rechtshandhaving in de lidstaten en door de instellingen, agentschappen en organen van de Unie, op basis van geaggregeerde gegevens. Deze verslagen worden gebaseerd op de informatie die de nationale autoriteiten overeenkomstig artikel 5, lid 6, van de AI- verordening hebben verstrekt. (424) Het jaarverslag van de Commissie mag geen gevoelige operationele gegevens bevatten. Gevoelige operationele gegevens zijn “operationele gegevens met betrekking tot activiteiten op het gebied van preventie, opsporing, onderzoek of vervolging van strafbare feiten waarvan de openbaarmaking de integriteit van strafprocedures in het gedrang zou kunnen brengen”236. Dit kan betekenen dat gegevens die specifieke details over lopende of eerdere onderzoeken onthullen, zoals locaties of gebruikte camera’s, niet mogen worden gepubliceerd.

10.7. Praktijken die buiten het toepassingsgebied vallen

(425) RBI-systemen die zodanig worden gebruikt dat zij niet onder het verbod van artikel 5, lid 1, punt h), van de AI-verordening vallen, vallen onder de categorie AI-systemen met een hoog risico in de zin van artikel 6 en zoals vermeld in punt 1, a), van bijlage III bij de AI-verordening, mits zij binnen het toepassingsgebied van de AI-verordening vallen. (426) RBI-systemen die buiten het toepassingsgebied van het verbod van artikel 5, lid 1, punt h), van de AI-verordening vallen, omvatten biometrische verificatie- /authenticatiesystemen, alsook het gebruik achteraf van RBI-systemen in openbare ruimten met het oog op de rechtshandhaving. Zo kunnen politiediensten op grond van het nationale recht gemachtigd zijn om gezichtsherkenning achteraf toe te passen om beelden van verdachten van strafbare feiten te vergelijken met in een databank opgeslagen gezichtsafbeeldingen van verdachten van strafbare feiten237. Ander gebruik dat buiten het toepassingsgebied van het verbod valt, is het gebruik van RBI-systemen in real time met het oog op de rechtshandhaving in een privéomgeving (bijvoorbeeld bij iemand thuis) of in een onlineruimte (zoals een chatroom of een onlinespel om iemand die verdacht wordt van de verspreiding van materiaal van seksueel misbruik van kinderen te identificeren). Ten slotte valt het gebruik van RBI-systemen door particuliere actoren, zowel in real time als achteraf (zoals het gebruik van live gezichtsherkenningstechnologie door een supermarkt om bekende winkeldieven te identificeren, door een stadion om personen met een stadionverbod te identificeren, of op scholen voor veiligheidsdoeleinden en om schoolverzuim te controleren) buiten het toepassingsgebied van het verbod. (427) Behalve aan de regels die van toepassing zijn op AI-systemen met een hoog risico in het algemeen, is het gebruik achteraf van RBI-systemen met het oog op de rechtshandhaving onderworpen aan aanvullende voorwaarden en waarborgen op grond van artikel 26, lid 10, van de AI-verordening (van toepassing met ingang van 2 augustus 2026)238. (428) Het gebruik voor andere doeleinden dan rechtshandhaving moet in ieder geval in overeenstemming zijn met de regels inzake gegevensbescherming. De onderstaande gevallen illustreren de interpretatie van artikel 9, lid 2, AVG bij dergelijk gebruik en de uitzonderingen die gelden bij de verwerking van biometrische gegevens. Voorbeelden:

• Een Franse bestuursrechter oordeelde dat het testen van live gezichtsherkenningstechnologie op twee openbare scholen met het oog op toegangscontrole en beveiliging noodzakelijk noch evenredig was (op grond van de regels inzake gegevensbescherming). Er waren alternatieve oplossingen beschikbaar die minder ingrijpend waren voor de leerlingen, zoals het gebruik van badges. Bovendien was niet voldaan aan de voorwaarden voor uitdrukkelijke toestemming. Daarom kon toestemming niet worden gebruikt als geldige rechtsgrond voor het testen van gezichtsherkenningstechnologie op middelbare scholen239.

• Een supermarkt mocht geen live gezichtsherkenningstechnologie gebruiken om winkeldiefstallen in Nederland te voorkomen. Zonder uitdrukkelijke toestemming van de klant of een rechtsgrond die verwerking mogelijk maakt voor een zwaarwegend algemeen belang (zoals de veiligheid), kon de supermarkt geen biometrische gegevens verwerken en dus ook geen gezichtsherkenningstechnologie inzetten240.

• Het gebruik van live gezichtsherkenningstechnologie bij de ingang van een voetbalclub om supporters te identificeren, werd in Frankrijk verboden241; in Spanje werd het gebruik ervan om de veiligheid van toeschouwers te waarborgen, verboden242.

10.8. Voorbeelden van het gebruik

De politie installeert mobiele CCTV-camera’s die zijn uitgerust met op AI gebaseerde gezichtsherkenningstechnologieën op een politiewagen in de buurt van de hoofdingang van een voetbalstadion tijdens een EK-wedstrijd om het gebied te beveiligen en personen te identificeren wier gezichten geregistreerd staan in een ad- hoc-databank met een observatielijst van gezochte personen. Deze observatielijst bevat personen die ervan worden verdacht een misdrijf te hebben gepleegd (van ernstige misdrijven tot fraude en inbraken), personen die mogelijk van belang zijn voor inlichtingendoeleinden en kwetsbare personen met geestelijke problemen. Het gebruik door de politie van live gezichtsherkenningstechnologie houdt geen verband met informatie over de aanwezigheid van specifieke personen bij het evenement. Hoewel er waarschijnlijk mensen op de observatielijst staan voor wie het gebruik van RBI in real time zou zijn toegestaan, is deze lijst niet specifiek genoeg en houdt zij geen verband met de voetbalwedstrijd. Het gebruik ervan moet daarom worden verboden. Met een systeem voor biometrische identificatie (maar niet op afstand) wordt nagegaan of mensen recht op toegang hebben tot een kerncentrale. Wanneer iemand voor de (duidelijk zichtbare) camera gaat staan en hem de toegang door het systeem wordt geweigerd, probeert het systeem vervolgens na te gaan of de betrokken persoon op een observatielijst van terroristen staat. Het systeem werkt niet op afstand. De betrokken personen namen actief deel aan de controle om toegang tot de centrale te verkrijgen. Dit gebruik valt niet onder het verbod van artikel 5 van de AI- verordening. Het politiekorps van een drukke stad maakt gebruik van met AI uitgeruste CCTV- camera’s, die live gezichtsherkenning kunnen uitvoeren. Mogelijk worden er naast gezichtsherkenning verschillende andere functies toegevoegd, zoals objectdetectie en gedragsanalyse van mensenmassa’s. De politie installeert deze camera’s op verschillende plaatsen, waaronder gebedshuizen, een aantal plaatsen die worden bezocht door de LGBT+-gemeenschap, artsenpraktijken, apotheken en diverse restaurants en cafés. De installatie van biometrische camera’s als zodanig is niet verboden op grond van de AI-verordening. Bepaalde vormen van gebruik, waaronder de ongerichte en willekeurige identificatie van natuurlijke personen, zijn echter wel verboden. Tijdens de zomervakantie hebben er verschillende inbraken plaatsgevonden in een woonwijk. De politie krijgt van ooggetuigen een signalement van de verdachte, die zij op verschillende momenten voordat de inbraken plaatsvonden in de buurt hebben zien lopen. Om de verdachte te identificeren en te arresteren, maakt de politie tijdens een weekend op verschillende locaties in de buurt gebruik van live gezichtsherkenningstechnologie. Op basis van de aanwijzingen van ooggetuigen heeft de politie een compositietekening van de verdachte gemaakt en verschillende foto’s van personen die op de tekening lijken uit een databank van delinquenten gehaald. Zelfs wanneer de politie gezichtsherkenningstechnologie gericht gebruikt voor een specifieke verdachte en deze alleen inzet in een specifiek gebied gedurende een specifieke periode, mag het systeem niet worden ingezet wanneer het een strafbaar feit betreft dat niet is opgenomen in bijlage II bij de AI-verordening. De politie screent de emoties van fans in een voetbalstadion met een biometrisch herkenningssysteem. Het systeem signaleert mogelijke agressie en zet onmiddellijk in dat deel van het stadion RBI in real time in om hooligans te identificeren die in het verleden gewelddadig waren. De screening van emoties in het stadion is niet verboden op grond van de AI- verordening (het valt volgens de AI-verordening wel onder de categorie van systemen met een hoog risico). De toepassing van RBI in real time zou echter wel verboden zijn op grond van de AI-verordening, met name wanneer het biometrische systeem beslist of bepaalde personen moeten worden geïdentificeerd met het oog op de rechtshandhaving. De politie maakt gebruik van een CCTV-netwerk dat in de stad en de metro is geïnstalleerd om een politieke activist te identificeren die een openbare demonstratie heeft georganiseerd. In de betrokken lidstaat moeten organisatoren van demonstraties op de openbare weg en in openbare ruimten zoals straten, de gemeentelijke autoriteiten drie dagen van tevoren in kennis stellen van een geplande protestactie om verstoring van de openbare orde en geweld te voorkomen. Het nalaten van de kennisgeving is een strafbaar feit waarop een gevangenisstraf van maximaal zes maanden en een maximumboete van 8 000 EUR is gesteld. Om de demonstrant te identificeren, selecteert de politie videobeelden uit de op straat geïnstalleerde CCTV- camera’s en past zij achteraf gezichtsherkenning toe door de geëxtraheerde beelden te vergelijken met foto’s die op sociale media zijn gezet. Het gebruik achteraf van gezichtsherkenningstechnologie is volgens de AI- verordening niet verboden. Dat gebruik wordt wel als een hoog risico beschouwd en moet voldoen aan de eisen van de AI-verordening voor dergelijke systemen243. Andere voorbeelden van NIET verboden praktijken:

• Hotels die RBI in real time gebruiken om vip-gasten te herkennen. Dit valt niet onder rechtshandhaving.

• Winkelcentra die RBI in real time gebruiken om winkeldieven te vinden. Dit valt niet onder rechtshandhaving. Verboden: Een winkelcentrum dat in opdracht van de politie RBI in real time gebruikt om winkeldieven te vinden. Het systeem wordt ingezet met het oog op de rechtshandhaving, in een openbare ruimte. Het gebruik is verboden omdat het zoeken naar winkeldieven niet onder een van de uitzonderingen van artikel 5, lid 1, punt h), van de AI-verordening valt.

11. DATUM VAN TOEPASSING

(429) Overeenkomstig artikel 113 van de AI-verordening is artikel 5 van de AI-verordening van toepassing met ingang van 2 februari 2025. De verbodsbepalingen van dat artikel zijn in beginsel van toepassing op alle AI-systemen, ongeacht of zij vóór of na die datum in de handel zijn gebracht of in gebruik zijn gesteld244. (430) De hoofdstukken over governance en sancties worden op 2 augustus 2025 van toepassing. Bijgevolg zullen de bepalingen inzake sancties voor niet-naleving van de verbodsbepalingen van artikel 5 van de AI-verordening niet vóór 2 augustus 2025 van toepassing zijn. In deze overgangsperiode zullen er ook geen markttoezichtautoriteiten zijn om toezicht te houden of de verbodsbepalingen naar behoren worden nageleefd. (431) Niettemin zijn de verbodsbepalingen zelfs in deze overgangsperiode volledig van toepassing en zijn aanbieders en gebruiksverantwoordelijken van AI-systemen 243 De verwerking van biometrische gegevens met het oog op de rechtshandhaving blijft onderworpen aan artikel 10 van de richtlijn gegevensbescherming bij rechtshandhaving, dat op nationaal niveau moet worden uitgevoerd. De verwerking ervan voor het gebruik achteraf van gezichtsherkenningstechnologie mag alleen worden toegestaan indien dit strikt noodzakelijk is en gepaard gaat met passende waarborgen. Of het gebruik achteraf van gezichtsherkenningstechnologie strikt noodzakelijk is om de demonstrant te identificeren, is twijfelachtig. In het arrest Glukhin/Rusland, dat model staat voor dit voorbeeld, oordeelde het EHRM dat de opsporing van strafbare feiten weliswaar een legitiem doel kan zijn, maar dat het gebruik van gezichtsherkenningstechnologie zowel achteraf als live onevenredig was, aangezien er geen gevaar bestond voor de openbare orde of de verkeersveiligheid. Het EHRM benadrukte het “zeer ingrijpende” karakter van gezichtsherkenningstechnologieën. In die zaak concludeerde het EHRM dat het gebruik van gezichtsherkenningstechnologieën niet beantwoordde aan een dringende maatschappelijke behoefte, noch noodzakelijk was in een democratische samenleving. 244 Zie artikel 111, leden 1 en 2, van de AI-verordening, waarin wordt gespecificeerd dat de grandfatheringclausule geen afbreuk doet aan de toepassing van artikel 5 van de AI-verordening als bedoeld in artikel 113, lid 3, punt a), van de AI-verordening. verplicht zich daaraan te houden. Die operatoren moeten daarom de nodige maatregelen nemen om ervoor te zorgen dat zij geen AI-systemen in de handel brengen, in gebruik stellen of gebruiken die overeenkomstig artikel 5 van de AI-verordening verboden praktijken kunnen opleveren. Ook al worden de bepalingen inzake toezicht en geldboeten pas later van toepassing, de verbodsbepalingen zelf hebben rechtstreekse werking, zodat betrokken partijen de naleving hiervan bij de nationale rechter kunnen afdwingen en om voorlopige maatregelen tegen de verboden praktijken kunnen verzoeken.

12. EVALUATIE EN ACTUALISERING VAN DE RICHTSNOEREN VAN DE COMMISSIE

(432) Deze richtsnoeren vormen een eerste interpretatie met praktische voorbeelden van de verbodsbepalingen van artikel 5 van de AI-verordening. De Commissie zal operatoren en autoriteiten blijven helpen bij het interpreteren van de verbodsbepalingen en blijven doorgaan met het verzamelen van verdere praktijkvoorbeelden met de inbreng van aanbieders en gebruiksverantwoordelijken van AI-systemen, de AI-board en andere relevante belanghebbenden. (433) De Commissie zal deze richtsnoeren evalueren zodra dit nodig wordt geacht op grond van de praktische ervaringen die zijn opgedaan bij de toepassing van de verbodsbepalingen en het tempo van de technologische, maatschappelijke en wettelijke ontwikkelingen op dit gebied. Dit omvat ook alle relevante ervaringen met handhavingsmaatregelen in het kader van het markttoezicht en de uitlegging die het Hof geeft aan de verbodsbepalingen en andere bepalingen van de AI-verordening die in deze richtsnoeren zijn geanalyseerd. Tijdens die evaluatie kan de Commissie besluiten deze richtsnoeren in te trekken of te wijzigen. De Commissie moedigt aanbieders en gebruiksverantwoordelijken van AI-systemen, nationale markttoezichtautoriteiten (via de AI-board), het AI-adviesforum, onderzoekers en maatschappelijke organisaties aan om een bijdrage te leveren aan dit proces door deel te nemen aan toekomstige openbare raadplegingen.

---

Footnotes