**Doel:** Voorstel voor een verordening — Overweging 37

## Door de Commissie voorgestelde tekst

(37) Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. In het bijzonder moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dit doel worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. Gezien de zeer beperkte omvang van de gevolgen en de op de markt beschikbare alternatieven, is het passend om AI-systemen voor de beoordeling van de kredietwaardigheid en kredietscore uit te sluiten wanneer zij door kleine aanbieders voor eigen gebruik in gebruik worden gesteld . Natuurlijke personen die openbare uitkeringen en diensten van overheidsinstanties aanvragen of ontvangen, zijn normaal gesproken afhankelijk van deze uitkeringen en diensten en verkeren in een kwetsbare positie ten opzichte van de verantwoordelijke instanties. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, kunnen zij aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte. Deze systemen moeten daarom als systemen met een hoog risico worden geclassificeerd. De verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die zou profiteren van een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Tot slot moeten AI-systemen die worden gebruikt om hulpdiensten uit te sturen of hierbij voorrang te verlenen, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen wanneer het leven en de gezondheid van personen en hun eigendom zich in zeer kritieke situaties bevinden.

(37)

(37)

## Amendement van het Europees Parlement

(37) Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten , waaronder de gezondheidszorg en essentiële diensten, met inbegrip van, maar niet beperkt tot huisvesting, elektriciteit, verwarming/koeling en internet, en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. In het bijzonder moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dit doel worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, gender, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. AI-systemen waarin het Unierecht voorziet om fraude bij het aanbieden van financiële diensten op te sporen, mogen echter niet worden beschouwd als AI-systemen met een hoog risico uit hoofde van deze verordening. Natuurlijke personen die openbare uitkeringen en diensten van overheidsinstanties aanvragen of ontvangen, waaronder gezondheidszorg en essentiële diensten, met inbegrip van, maar niet beperkt tot huisvesting, elektriciteit, verwarming/koeling en internet, zijn normaal gesproken afhankelijk van deze uitkeringen en diensten en verkeren in een kwetsbare positie ten opzichte van de verantwoordelijke instanties. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, kunnen zij aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte. Evenzo kunnen AI-systemen die bedoeld zijn om te worden gebruikt om beslissingen te nemen of besluiten wezenlijk te beïnvloeden over de vraag of natuurlijke personen in aanmerking komen voor een ziektekosten- en levensverzekering, aanzienlijke gevolgen hebben voor het levensonderhoud van personen en hun grondrechten schenden, bijvoorbeeld door de toegang tot gezondheidszorg te beperken of door discriminatie op grond van persoonlijke kenmerken te bestendigen. Deze systemen moeten daarom als systemen met een hoog risico worden geclassificeerd. De verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die zou profiteren van een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Tot slot moeten AI-systemen die worden gebruikt voor het evalueren en classificeren van noodoproepen van natuurlijke personen of om hulpdiensten uit te sturen of hierbij voorrang te verlenen, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen wanneer het leven en de gezondheid van personen en hun eigendom zich in zeer kritieke situaties bevinden.

Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. In het bijzonder moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dit doel worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. Gezien de zeer beperkte omvang van de gevolgen en de op de markt beschikbare alternatieven, is het passend om AI-systemen voor de beoordeling van de kredietwaardigheid en kredietscore uit te sluiten wanneer zij door kleine aanbieders voor eigen gebruik in gebruik worden gesteld . Natuurlijke personen die openbare uitkeringen en diensten van overheidsinstanties aanvragen of ontvangen, zijn normaal gesproken afhankelijk van deze uitkeringen en diensten en verkeren in een kwetsbare positie ten opzichte van de verantwoordelijke instanties. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, kunnen zij aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte. Deze systemen moeten daarom als systemen met een hoog risico worden geclassificeerd. De verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die zou profiteren van een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Tot slot moeten AI-systemen die worden gebruikt om hulpdiensten uit te sturen of hierbij voorrang te verlenen, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen wanneer het leven en de gezondheid van personen en hun eigendom zich in zeer kritieke situaties bevinden.

Een ander gebied waarop het gebruik van AI-systemen bijzondere aandacht verdient, is de toegang tot en het gebruik van bepaalde essentiële particuliere en openbare diensten , waaronder de gezondheidszorg en essentiële diensten, met inbegrip van, maar niet beperkt tot huisvesting, elektriciteit, verwarming/koeling en internet, en uitkeringen die noodzakelijk zijn voor de volledige deelname van personen aan de samenleving of voor het verbeteren van de levensstandaard. In het bijzonder moeten AI-systemen die worden gebruikt om de kredietscore of de kredietwaardigheid van natuurlijke personen te evalueren, worden geclassificeerd als AI-systemen met een hoog risico, aangezien zij bepalend zijn voor de toegang van deze personen tot financiële middelen of essentiële diensten zoals huisvesting, elektriciteit en telecommunicatiediensten. AI-systemen die voor dit doel worden gebruikt, kunnen leiden tot de discriminatie van personen of groepen en historische patronen van discriminatie in stand houden, bijvoorbeeld op basis van raciale of etnische afkomst, gender, handicap, leeftijd of seksuele gerichtheid, of leiden tot nieuwe soorten discriminerende effecten. AI-systemen waarin het Unierecht voorziet om fraude bij het aanbieden van financiële diensten op te sporen, mogen echter niet worden beschouwd als AI-systemen met een hoog risico uit hoofde van deze verordening. Natuurlijke personen die openbare uitkeringen en diensten van overheidsinstanties aanvragen of ontvangen, waaronder gezondheidszorg en essentiële diensten, met inbegrip van, maar niet beperkt tot huisvesting, elektriciteit, verwarming/koeling en internet, zijn normaal gesproken afhankelijk van deze uitkeringen en diensten en verkeren in een kwetsbare positie ten opzichte van de verantwoordelijke instanties. Wanneer AI-systemen worden gebruikt om te bepalen of dergelijke uitkeringen en diensten moeten worden geweigerd, beperkt, ingetrokken of teruggevorderd door de instanties, kunnen zij aanzienlijke effecten hebben op het levensonderhoud van personen en in strijd zijn met hun grondrechten, zoals het recht op sociale bescherming, non-discriminatie, menselijke waardigheid of een doeltreffende voorziening in rechte. Evenzo kunnen AI-systemen die bedoeld zijn om te worden gebruikt om beslissingen te nemen of besluiten wezenlijk te beïnvloeden over de vraag of natuurlijke personen in aanmerking komen voor een ziektekosten- en levensverzekering, aanzienlijke gevolgen hebben voor het levensonderhoud van personen en hun grondrechten schenden, bijvoorbeeld door de toegang tot gezondheidszorg te beperken of door discriminatie op grond van persoonlijke kenmerken te bestendigen. Deze systemen moeten daarom als systemen met een hoog risico worden geclassificeerd. De verordening mag echter niet leiden tot een belemmering van de ontwikkeling en het gebruik van innovatieve benaderingen bij de overheid, die zou profiteren van een breder gebruik van conforme en veilige AI-systemen, mits deze systemen geen hoog risico met zich meebrengen voor rechtspersonen en natuurlijke personen. Tot slot moeten AI-systemen die worden gebruikt voor het evalueren en classificeren van noodoproepen van natuurlijke personen of om hulpdiensten uit te sturen of hierbij voorrang te verlenen, ook worden geclassificeerd als systemen met een hoog risico, omdat zij besluiten nemen wanneer het leven en de gezondheid van personen en hun eigendom zich in zeer kritieke situaties bevinden.