**Doel:** Voorstel voor een verordening — Overweging 26 quater (nieuw)

## Door de Commissie voorgestelde tekst



(26 quater)

## Amendement van het Europees Parlement

(26 quater) Er zijn ernstige zorgen over de wetenschappelijke basis van AI-systemen die gericht zijn op het detecteren van emoties, fysieke of fysiologische kenmerken zoals gezichtsuitdrukkingen, bewegingen, polsfrequentie of stem. Emoties of uitingen van emoties en percepties daarvan variëren aanzienlijk tussen culturen en situaties, en zelfs bij een en dezelfde persoon. De belangrijkste tekortkomingen van dergelijke technologieën zijn de beperkte betrouwbaarheid (categorieën emoties zijn noch betrouwbaar uit te drukken aan de hand van en worden noch ondubbelzinnig geassocieerd met een gemeenschappelijke reeks fysieke of fysiologische bewegingen), het gebrek aan specificiteit (fysieke of fysiologische uitdrukkingen stemmen niet perfect overeen met categorieën emoties) en de beperkte algemeenheid (de effecten van context en cultuur worden onvoldoende in aanmerking genomen). Problemen met betrouwbaarheid en bijgevolg grote risico’s op misbruik kunnen zich met name voordoen bij de invoering van het systeem in situaties in de praktijk op het gebied van rechtshandhaving en grensbeheer, op de werkplek en bij onderwijsinstellingen. Daarom moet het in de handel brengen, in gebruik stellen of gebruiken van AI-systemen die bedoeld zijn om in deze context te worden gebruikt om de emotionele toestand van personen op te sporen, worden verboden.

Er zijn ernstige zorgen over de wetenschappelijke basis van AI-systemen die gericht zijn op het detecteren van emoties, fysieke of fysiologische kenmerken zoals gezichtsuitdrukkingen, bewegingen, polsfrequentie of stem. Emoties of uitingen van emoties en percepties daarvan variëren aanzienlijk tussen culturen en situaties, en zelfs bij een en dezelfde persoon. De belangrijkste tekortkomingen van dergelijke technologieën zijn de beperkte betrouwbaarheid (categorieën emoties zijn noch betrouwbaar uit te drukken aan de hand van en worden noch ondubbelzinnig geassocieerd met een gemeenschappelijke reeks fysieke of fysiologische bewegingen), het gebrek aan specificiteit (fysieke of fysiologische uitdrukkingen stemmen niet perfect overeen met categorieën emoties) en de beperkte algemeenheid (de effecten van context en cultuur worden onvoldoende in aanmerking genomen). Problemen met betrouwbaarheid en bijgevolg grote risico’s op misbruik kunnen zich met name voordoen bij de invoering van het systeem in situaties in de praktijk op het gebied van rechtshandhaving en grensbeheer, op de werkplek en bij onderwijsinstellingen. Daarom moet het in de handel brengen, in gebruik stellen of gebruiken van AI-systemen die bedoeld zijn om in deze context te worden gebruikt om de emotionele toestand van personen op te sporen, worden verboden.