Hoofdstuk II — Verboden AI-Praktijken

1. De volgende praktijken op het gebied van artificiële intelligentie zijn verboden:

(a) het in de handel brengen, in gebruik stellen of gebruiken van een AI-systeem dat subliminale technieken gebruikt waarvan personen zich niet bewust zijn om het gedrag van personen wezenlijk te verstoren op een wijze die ertoe leidt of er waarschijnlijk toe zal leiden dat deze of andere personen fysieke of psychologische schade oplopen;

(b) het in de handel brengen, in gebruik stellen of gebruiken van een AI-systeem dat gebruikmaakt van de kwetsbaarheden van een specifieke groep personen als gevolg van hun leeftijd of fysieke of geestelijke handicap om het gedrag van personen die tot deze groep behoren, wezenlijk te verstoren op een wijze die ertoe leidt of er waarschijnlijk toe zal leiden dat deze of andere personen fysieke of psychologische schade oplopen;

(c) het in de handel brengen, in gebruik stellen of gebruiken van AI-systemen door of namens overheidsinstanties voor de evaluatie of classificatie van de betrouwbaarheid van natuurlijke personen gedurende een bepaalde periode op basis van hun sociale gedrag of bekende of voorspelde persoonlijke of persoonlijkheidskenmerken, waarbij de sociale score een of beide van de volgende gevolgen heeft:

i) de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of volledige groepen personen in een sociale context die geen verband houdt met de context waarin de data oorspronkelijk werden gegenereerd of verzameld;

ii) de nadelige of ongunstige behandeling van bepaalde natuurlijke personen of volledige groepen personen die ongerechtvaardigd of onevenredig met hun sociale gedrag of de ernst hiervan is;

(d) het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving, tenzij en voor zover een dergelijk gebruik strikt noodzakelijk is voor een van de volgende doelstellingen:

i) het gericht zoeken naar specifieke potentiële slachtoffers van misdaad, waaronder vermiste kinderen;

ii) het voorkomen van een specifieke, aanzienlijke en imminente dreiging voor het leven of de fysieke gezondheid van natuurlijke personen of van een terroristische aanslag;

iii) de detectie, opsporing, identificatie of vervolging van een dader of verdachte van een strafbaar feit als bedoeld in artikel 2, lid 2, van Kaderbesluit 2002/584/JBZ van de Raad 62 , dat in de betrokken lidstaat strafbaar is met een vrijheidsstraf of een tot vrijheidsbeneming strekkende maatregel voor een maximumperiode van ten minste drie jaar, zoals bepaald in het recht van die lidstaat.

2. Bij het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, punt d), genoemde doelstellingen wordt rekening gehouden met het volgende:

(a) de aard van de situatie die aanleiding geeft tot het mogelijke gebruik van het systeem, met inbegrip van de ernst, waarschijnlijkheid en omvang van de schade die zonder het gebruik van het systeem zou worden veroorzaakt;

(b) de gevolgen van het gebruik van het systeem voor de rechten en vrijheden van alle betrokken personen, en met name de ernst, waarschijnlijkheid en omvang van deze gevolgen.

Daarnaast moet het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving voor de in lid 1, punt d), genoemde doelstellingen in overeenstemming zijn met noodzakelijke en evenredige waarborgen en voorwaarden in verband met het gebruik, en met name ten aanzien van de beperking in de tijd en de geografische en persoonlijke beperkingen.

3. Wat betreft lid 1, punt d), en lid 2, wordt elk afzonderlijk gebruik met het oog op de rechtshandhaving van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten afhankelijk gesteld van een voorafgaande toestemming die wordt verleend door een gerechtelijke autoriteit of een onafhankelijke administratieve autoriteit van de lidstaat waarin het gebruik moet plaatsvinden en die wordt gegeven op verzoek en in overeenstemming met de gedetailleerde regels van het intern recht als bedoeld in lid 4. In een naar behoren gerechtvaardigde situatie van urgentie mag het gebruik van het systeem echter zonder toestemming worden gestart en mag de toestemming tijdens of na het gebruik worden aangevraagd.

De bevoegde gerechtelijke of administratieve autoriteit verleent de toestemming slechts wanneer zij er op basis van objectief bewijs of duidelijke indicaties die aan haar zijn voorgelegd van overtuigd is dat het gebruik van het biometrische systeem voor de identificatie op afstand in real time noodzakelijk is voor en evenredig is aan het bereiken van een van de in lid 1, punt d), gespecificeerde doelstellingen, zoals genoemd in het verzoek. Bij haar beslissing over het verzoek houdt de bevoegde gerechtelijke of administratieve autoriteit rekening met de in lid 2 bedoelde elementen.

4. Een lidstaat kan besluiten om te voorzien in de mogelijkheid om volledig of gedeeltelijk toestemming te verlenen voor het gebruik van biometrische systemen voor de identificatie op afstand in real time in openbare ruimten met het oog op de rechtshandhaving binnen de grenzen en onder de voorwaarden van lid 1, punt d), en de leden 2 en 3. Deze lidstaat stelt in zijn interne recht de noodzakelijke gedetailleerde regels vast voor het verzoek om en de afgifte en het gebruik van, evenals het toezicht in verband met, de in lid 3 bedoelde vergunningen. In deze regels wordt ook gespecificeerd voor welke doelstellingen van lid 1, punt d), en voor welke strafbare feiten als bedoeld in punt iii) daarvan de bevoegde autoriteiten deze systemen mogen gebruiken met het oog op de rechtshandhaving.

TITEL III

AI-SYSTEMEN MET EEN HOOG RISICO