**Doel:** Voorstel voor een verordening — Overweging 16

## Door de Commissie voorgestelde tekst

(16) Het in de handel brengen, in bedrijf stellen of gebruiken van bepaalde AI-systemen die bedoeld zijn om het menselijk gedrag te verstoren, waardoor lichamelijke of psychische schade kan ontstaan, moet worden verboden. Dergelijke AI-systemen maken gebruik van subliminale componenten die personen niet kunnen waarnemen, of buiten kwetsbaarheden van kinderen en mensen die een gevolg zijn van hun leeftijd of hun fysieke of mentale onbekwaamheid, uit. Zij doen dit met de bedoeling het gedrag van een persoon wezenlijk te verstoren en op een manier die deze persoon of een andere persoon schade berokkent of dreigt te berokkenen. De intentie mag niet worden verondersteld indien de verstoring van het menselijk gedrag het gevolg is van factoren buiten het AI-systeem waarover de aanbieder of de gebruiker geen controle heeft. Onderzoek voor legitieme doeleinden met betrekking tot dergelijke AI-systemen mag niet door het verbod worden belemmerd, voor zover dat onderzoek niet neerkomt op het gebruik van het AI-systeem in mens-machinerelaties waardoor natuurlijke personen aan schade worden blootgesteld, en indien dat onderzoek wordt verricht met inachtneming van erkende ethische normen voor wetenschappelijk onderzoek.

(16)

(16)

## Amendement van het Europees Parlement

(16) Het in de handel brengen, in bedrijf stellen of gebruiken van bepaalde AI-systemen met de bedoeling of het effect om het menselijk gedrag wezenlijk te verstoren, waardoor lichamelijke of psychische schade kan ontstaan, moet worden verboden. Deze beperking moet worden opgevat als zijnde van toepassing op onder meer neurotechnologieën die worden ondersteund door AI-systemen die worden gebruikt om neurale gegevens die via hersen-computerinterfaces zijn verzameld, te monitoren, te gebruiken of te beïnvloeden, voor zover zij het gedrag van een natuurlijke persoon wezenlijk verstoren op een wijze die die persoon of een andere persoon ernstige schade berokkent of waarschijnlijk zal berokkenen. Dergelijke AI-systemen maken gebruik van subliminale componenten die personen niet kunnen waarnemen, of buiten kwetsbaarheden van individuen en specifieke groepen personen die een gevolg zijn van hun bekende of voorspelde persoonlijkheidskenmerken, leeftijd of hun fysieke of mentale onbekwaamheid, sociale of economische situatie, uit. Zij doen dit met de bedoeling of het effect dat het gedrag van een persoon wezenlijk wordt verstoord en op een manier die deze persoon of een andere persoon , of groepen personen, aanzienlijke schade berokkent of dreigt te berokkenen , met inbegrip van schade die zich na verloop van tijd opbouwt . De intentie om het gedrag te verstoren, mag niet worden verondersteld indien de verstoring het gevolg is van factoren buiten het AI-systeem waarover de aanbieder of de gebruiker geen controle heeft , zoals factoren die redelijkerwijs niet kunnen worden voorzien en beperkt door de aanbieder of de exploitant van het AI-systeem. In ieder geval is het niet vereist dat de aanbieder of de exploitant de intentie heeft de lichamelijke of psychische schade te veroorzaken, zolang deze schade het gevolg is van op AI gebaseerde manipulatieve of uitbuitingspraktijken. Het verbod op dergelijke AI-praktijken vormt een aanvulling op de bepalingen van Richtlijn 2005/29/EG, op grond waarvan oneerlijke handelspraktijken verboden zijn, ongeacht of zij worden uitgevoerd met behulp van AI-systemen of anderszins. In een dergelijke context mogen legale handelspraktijken, bijvoorbeeld op het gebied van reclame, die in overeenstemming zijn met het Unierecht, op zichzelf beschouwd niet als een inbreuk op het verbod worden beschouwd. Onderzoek voor legitieme doeleinden met betrekking tot dergelijke AI-systemen mag niet door het verbod worden belemmerd, voor zover dat onderzoek niet neerkomt op het gebruik van het AI-systeem in mens-machinerelaties waardoor natuurlijke personen aan schade worden blootgesteld, en indien dat onderzoek wordt verricht met inachtneming van erkende ethische normen voor wetenschappelijk onderzoek en op basis van specifieke geïnformeerde toestemming van de personen die aan dergelijke AI-systemen worden blootgesteld of in voorkomend geval van hun wettelijke voogd .

Het in de handel brengen, in bedrijf stellen of gebruiken van bepaalde AI-systemen die bedoeld zijn om het menselijk gedrag te verstoren, waardoor lichamelijke of psychische schade kan ontstaan, moet worden verboden. Dergelijke AI-systemen maken gebruik van subliminale componenten die personen niet kunnen waarnemen, of buiten kwetsbaarheden van kinderen en mensen die een gevolg zijn van hun leeftijd of hun fysieke of mentale onbekwaamheid, uit. Zij doen dit met de bedoeling het gedrag van een persoon wezenlijk te verstoren en op een manier die deze persoon of een andere persoon schade berokkent of dreigt te berokkenen. De intentie mag niet worden verondersteld indien de verstoring van het menselijk gedrag het gevolg is van factoren buiten het AI-systeem waarover de aanbieder of de gebruiker geen controle heeft. Onderzoek voor legitieme doeleinden met betrekking tot dergelijke AI-systemen mag niet door het verbod worden belemmerd, voor zover dat onderzoek niet neerkomt op het gebruik van het AI-systeem in mens-machinerelaties waardoor natuurlijke personen aan schade worden blootgesteld, en indien dat onderzoek wordt verricht met inachtneming van erkende ethische normen voor wetenschappelijk onderzoek.

Het in de handel brengen, in bedrijf stellen of gebruiken van bepaalde AI-systemen met de bedoeling of het effect om het menselijk gedrag wezenlijk te verstoren, waardoor lichamelijke of psychische schade kan ontstaan, moet worden verboden. Deze beperking moet worden opgevat als zijnde van toepassing op onder meer neurotechnologieën die worden ondersteund door AI-systemen die worden gebruikt om neurale gegevens die via hersen-computerinterfaces zijn verzameld, te monitoren, te gebruiken of te beïnvloeden, voor zover zij het gedrag van een natuurlijke persoon wezenlijk verstoren op een wijze die die persoon of een andere persoon ernstige schade berokkent of waarschijnlijk zal berokkenen. Dergelijke AI-systemen maken gebruik van subliminale componenten die personen niet kunnen waarnemen, of buiten kwetsbaarheden van individuen en specifieke groepen personen die een gevolg zijn van hun bekende of voorspelde persoonlijkheidskenmerken, leeftijd of hun fysieke of mentale onbekwaamheid, sociale of economische situatie, uit. Zij doen dit met de bedoeling of het effect dat het gedrag van een persoon wezenlijk wordt verstoord en op een manier die deze persoon of een andere persoon , of groepen personen, aanzienlijke schade berokkent of dreigt te berokkenen , met inbegrip van schade die zich na verloop van tijd opbouwt . De intentie om het gedrag te verstoren, mag niet worden verondersteld indien de verstoring het gevolg is van factoren buiten het AI-systeem waarover de aanbieder of de gebruiker geen controle heeft , zoals factoren die redelijkerwijs niet kunnen worden voorzien en beperkt door de aanbieder of de exploitant van het AI-systeem. In ieder geval is het niet vereist dat de aanbieder of de exploitant de intentie heeft de lichamelijke of psychische schade te veroorzaken, zolang deze schade het gevolg is van op AI gebaseerde manipulatieve of uitbuitingspraktijken. Het verbod op dergelijke AI-praktijken vormt een aanvulling op de bepalingen van Richtlijn 2005/29/EG, op grond waarvan oneerlijke handelspraktijken verboden zijn, ongeacht of zij worden uitgevoerd met behulp van AI-systemen of anderszins. In een dergelijke context mogen legale handelspraktijken, bijvoorbeeld op het gebied van reclame, die in overeenstemming zijn met het Unierecht, op zichzelf beschouwd niet als een inbreuk op het verbod worden beschouwd. Onderzoek voor legitieme doeleinden met betrekking tot dergelijke AI-systemen mag niet door het verbod worden belemmerd, voor zover dat onderzoek niet neerkomt op het gebruik van het AI-systeem in mens-machinerelaties waardoor natuurlijke personen aan schade worden blootgesteld, en indien dat onderzoek wordt verricht met inachtneming van erkende ethische normen voor wetenschappelijk onderzoek en op basis van specifieke geïnformeerde toestemming van de personen die aan dergelijke AI-systemen worden blootgesteld of in voorkomend geval van hun wettelijke voogd .