**Doel:** Voorstel voor een verordening — Overweging 38

## Door de Commissie voorgestelde tekst

(38) Maatregelen van rechtshandhavingsinstanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, worden gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende voorschriften wat betreft de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren. Met het oog op de aard van de activiteiten in kwestie en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door rechtshandhavingsinstanties te worden gebruikt voor individuele risicobeoordelingen , leugendetectortests en vergelijkbare instrumenten of om de gemoedstoestand van natuurlijke personen te bepalen, om “deep fakes” op te sporen, om de betrouwbaarheid van bewijs in strafprocedures te evalueren , om het plegen of opnieuw plegen van een daadwerkelijk of potentieel strafbaar feit te voorspellen op basis van de profilering van natuurlijke personen , om persoonlijkheidskenmerken of eerder crimineel gedrag van natuurlijke personen of groepen te beoordelen , voor de profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten, evenals voor misdaadanalyses met betrekking tot natuurlijke personen. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten moeten niet worden aangemerkt als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten.

(38)

(38)

## Amendement van het Europees Parlement

(38) Maatregelen van rechtshandhavingsinstanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, worden gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende voorschriften wat betreft de prestaties, de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren. Met het oog op de aard van de activiteiten in kwestie en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door of namens rechtshandhavingsinstanties of instellingen , organen of instanties van de Unie ter ondersteuning van rechtshandhavingsautoriteiten te worden gebruikt voor leugendetectortests en vergelijkbare instrumenten , voor zover het gebruik daarvan op grond van de toepasselijke Unie- of nationale wetgeving is toegestaan , om de betrouwbaarheid van bewijs in strafprocedures te evalueren , voor de profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten, evenals voor misdaadanalyses met betrekking tot natuurlijke personen. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten moeten niet worden geclassificeerd als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten. Het gebruik van AI-instrumenten door rechtshandhavings- en justitiële autoriteiten mag geen factor van ongelijkheid, sociale breuken of uitsluiting worden. De gevolgen van het gebruik van AI-instrumenten voor de rechten van verdediging van verdachten mogen niet genegeerd worden, met name het probleem om betekenisvolle informatie over de werking daarvan te verkrijgen, en het daaruit voortvloeiende probleem om de resultaten daarvan voor de rechtbank aan te vechten, met name door personen tegen wie een onderzoek loopt.

Maatregelen van rechtshandhavingsinstanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, worden gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende voorschriften wat betreft de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren. Met het oog op de aard van de activiteiten in kwestie en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door rechtshandhavingsinstanties te worden gebruikt voor individuele risicobeoordelingen , leugendetectortests en vergelijkbare instrumenten of om de gemoedstoestand van natuurlijke personen te bepalen, om “deep fakes” op te sporen, om de betrouwbaarheid van bewijs in strafprocedures te evalueren , om het plegen of opnieuw plegen van een daadwerkelijk of potentieel strafbaar feit te voorspellen op basis van de profilering van natuurlijke personen , om persoonlijkheidskenmerken of eerder crimineel gedrag van natuurlijke personen of groepen te beoordelen , voor de profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten, evenals voor misdaadanalyses met betrekking tot natuurlijke personen. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten moeten niet worden aangemerkt als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten.

Maatregelen van rechtshandhavingsinstanties waarbij bepaalde toepassingen van AI-systemen worden gebruikt, worden gekenmerkt door een aanzienlijke mate van machtsverschillen en kunnen leiden tot de controle, de arrestatie of de vrijheidsberoving van natuurlijke personen, alsook tot andere negatieve effecten voor de grondrechten die door het Handvest worden gewaarborgd. Met name wanneer het AI-systeem niet is getraind met kwalitatief hoogwaardige data, niet voldoet aan toereikende voorschriften wat betreft de prestaties, de nauwkeurigheid of robuustheid ervan of niet goed is ontworpen en getest voordat het in de handel is gebracht of anderszins in gebruik is gesteld, kan het personen op discriminerende wijze of anderszins onjuiste of onrechtvaardige wijze aanduiden. Bovendien kan de uitoefening van belangrijke procedurele grondrechten, zoals het recht op een doeltreffende voorziening in rechte en op een onpartijdig gerecht, evenals de rechten van de verdediging en het vermoeden van onschuld, worden belemmerd, met name wanneer dergelijke AI-systemen onvoldoende transparant, verklaarbaar en gedocumenteerd zijn. Het is daarom passend om een aantal AI-systemen dat bedoeld is voor gebruik in de context van rechtshandhaving, waar nauwkeurigheid, betrouwbaarheid en transparantie bijzonder belangrijk zijn om negatieve effecten te voorkomen, het vertrouwen van het publiek te behouden en de verantwoording en doeltreffende voorziening in rechte te waarborgen, als systemen met een hoog risico te classificeren. Met het oog op de aard van de activiteiten in kwestie en de hieraan gerelateerde risico’s moeten deze AI-systemen met een hoog risico met name AI-systemen omvatten die bedoeld zijn om door of namens rechtshandhavingsinstanties of instellingen , organen of instanties van de Unie ter ondersteuning van rechtshandhavingsautoriteiten te worden gebruikt voor leugendetectortests en vergelijkbare instrumenten , voor zover het gebruik daarvan op grond van de toepasselijke Unie- of nationale wetgeving is toegestaan , om de betrouwbaarheid van bewijs in strafprocedures te evalueren , voor de profilering in de loop van de opsporing, het onderzoek of de vervolging van strafbare feiten, evenals voor misdaadanalyses met betrekking tot natuurlijke personen. AI-systemen die specifiek bedoeld zijn voor gebruik voor administratieve procedures van belasting- en douaneautoriteiten moeten niet worden geclassificeerd als AI-systemen met een hoog risico die worden gebruikt door rechtshandhavingsinstanties met het oog op het voorkomen, opsporen, onderzoeken en vervolgen van strafbare feiten. Het gebruik van AI-instrumenten door rechtshandhavings- en justitiële autoriteiten mag geen factor van ongelijkheid, sociale breuken of uitsluiting worden. De gevolgen van het gebruik van AI-instrumenten voor de rechten van verdediging van verdachten mogen niet genegeerd worden, met name het probleem om betekenisvolle informatie over de werking daarvan te verkrijgen, en het daaruit voortvloeiende probleem om de resultaten daarvan voor de rechtbank aan te vechten, met name door personen tegen wie een onderzoek loopt.