**Doel:** Voorstel voor een verordening — Overweging 58 bis (nieuw)

## Door de Commissie voorgestelde tekst



(58 bis)

## Amendement van het Europees Parlement

(58 bis) Hoewel aan AI-systemen verbonden risico’s kunnen voortvloeien uit de manier waarop dergelijke systemen worden ontworpen, kunnen de risico’s ook voortvloeien uit de manier waarop dergelijke AI-systemen worden gebruikt. Exploitanten van AI-systemen met een hoog risico spelen daarom een cruciale rol bij het waarborgen van de bescherming van de grondrechten, in aanvulling op de verplichtingen van de aanbieder bij de ontwikkeling van het AI-systeem. Exploitanten zijn het best in staat om te begrijpen hoe het AI-systeem met een hoog risico concreet zal worden gebruikt en kunnen derhalve potentiële significante risico’s identificeren die niet in de ontwikkelingsfase waren voorzien, dankzij een preciezere kennis van de gebruikscontext, de mensen of groepen mensen die waarschijnlijk zullen worden geraakt, met inbegrip van gemarginaliseerde en kwetsbare groepen. Exploitanten moeten passende beheersstructuren voor dit specifieke gebruik in kaart brengen, zoals regelingen voor menselijk toezicht, klachtenprocedures en beroepsprocedures, omdat keuzes met betrekking tot de beheersstructuren een cruciale rol kunnen spelen bij de beperking van risico’s voor de grondrechten in gevallen van concreet gebruik. Om op efficiënte wijze te waarborgen dat de grondrechten worden beschermd, moet de exploitant van AI-systemen met een hoog risico daarom een effectbeoordeling op het gebied van de grondrechten uitvoeren voordat de systemen in gebruik worden gesteld. De effectbeoordeling moet vergezeld gaan van een gedetailleerd plan dat een beschrijving omvat van de maatregelen of instrumenten die de risico’s voor de grondrechten moeten helpen beperken die uiterlijk op het moment van ingebruikstelling zijn vastgesteld. Als dit plan niet kan worden vastgesteld, mag de exploitant het systeem niet in gebruik stellen. De exploitant stelt de nationale toezichthoudende autoriteit en, zo veel als mogelijk, de betrokken belanghebbenden en vertegenwoordigers van de personen of groepen die waarschijnlijk de gevolgen zullen ondervinden van het AI-systeem, op de hoogte om informatie ter zake te verzamelen die noodzakelijk wordt geacht voor de uitvoering van de effectbeoordeling. Exploitanten worden ertoe aangespoord een samenvatting van hun effectbeoordeling op het gebied van de grondrechten openbaar te maken op hun website. Deze verplichtingen mogen niet gelden voor kmo’s, waarvoor het vanwege een gebrek aan middelen moeilijker kan zijn om een dergelijke raadpleging uit te voeren. Zij moeten er evenwel naar streven bovengenoemde vertegenwoordigers bij het proces te betrekken wanneer zij hun effectbeoordeling op het gebied van de grondrechten uitvoeren. Voorts moeten exploitanten van AI-systemen met een hoog risico die overheidsinstanties of instellingen, organen of instanties van de Unie zijn, alsmede exploitanten die ondernemingen zijn die op grond van Verordening (EU) 2022/1925 zijn aangewezen als poortwachter, met het oog op de potentiële gevolgen en de noodzaak van democratisch toezicht en democratische controle, het gebruik van AI-systemen met een hoog risico in een openbare databank registreren. Andere exploitanten kunnen zich vrijwillig registreren.

Hoewel aan AI-systemen verbonden risico’s kunnen voortvloeien uit de manier waarop dergelijke systemen worden ontworpen, kunnen de risico’s ook voortvloeien uit de manier waarop dergelijke AI-systemen worden gebruikt. Exploitanten van AI-systemen met een hoog risico spelen daarom een cruciale rol bij het waarborgen van de bescherming van de grondrechten, in aanvulling op de verplichtingen van de aanbieder bij de ontwikkeling van het AI-systeem. Exploitanten zijn het best in staat om te begrijpen hoe het AI-systeem met een hoog risico concreet zal worden gebruikt en kunnen derhalve potentiële significante risico’s identificeren die niet in de ontwikkelingsfase waren voorzien, dankzij een preciezere kennis van de gebruikscontext, de mensen of groepen mensen die waarschijnlijk zullen worden geraakt, met inbegrip van gemarginaliseerde en kwetsbare groepen. Exploitanten moeten passende beheersstructuren voor dit specifieke gebruik in kaart brengen, zoals regelingen voor menselijk toezicht, klachtenprocedures en beroepsprocedures, omdat keuzes met betrekking tot de beheersstructuren een cruciale rol kunnen spelen bij de beperking van risico’s voor de grondrechten in gevallen van concreet gebruik. Om op efficiënte wijze te waarborgen dat de grondrechten worden beschermd, moet de exploitant van AI-systemen met een hoog risico daarom een effectbeoordeling op het gebied van de grondrechten uitvoeren voordat de systemen in gebruik worden gesteld. De effectbeoordeling moet vergezeld gaan van een gedetailleerd plan dat een beschrijving omvat van de maatregelen of instrumenten die de risico’s voor de grondrechten moeten helpen beperken die uiterlijk op het moment van ingebruikstelling zijn vastgesteld. Als dit plan niet kan worden vastgesteld, mag de exploitant het systeem niet in gebruik stellen. De exploitant stelt de nationale toezichthoudende autoriteit en, zo veel als mogelijk, de betrokken belanghebbenden en vertegenwoordigers van de personen of groepen die waarschijnlijk de gevolgen zullen ondervinden van het AI-systeem, op de hoogte om informatie ter zake te verzamelen die noodzakelijk wordt geacht voor de uitvoering van de effectbeoordeling. Exploitanten worden ertoe aangespoord een samenvatting van hun effectbeoordeling op het gebied van de grondrechten openbaar te maken op hun website. Deze verplichtingen mogen niet gelden voor kmo’s, waarvoor het vanwege een gebrek aan middelen moeilijker kan zijn om een dergelijke raadpleging uit te voeren. Zij moeten er evenwel naar streven bovengenoemde vertegenwoordigers bij het proces te betrekken wanneer zij hun effectbeoordeling op het gebied van de grondrechten uitvoeren. Voorts moeten exploitanten van AI-systemen met een hoog risico die overheidsinstanties of instellingen, organen of instanties van de Unie zijn, alsmede exploitanten die ondernemingen zijn die op grond van Verordening (EU) 2022/1925 zijn aangewezen als poortwachter, met het oog op de potentiële gevolgen en de noodzaak van democratisch toezicht en democratische controle, het gebruik van AI-systemen met een hoog risico in een openbare databank registreren. Andere exploitanten kunnen zich vrijwillig registreren.