1. AI-systemen met een hoog risico worden zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-instrumenten, dat hierop tijdens de periode dat het AI-systeem wordt gebruikt, op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen.

2. Het menselijk toezicht is gericht op het voorkomen of beperken van de risico’s voor de gezondheid, veiligheid of grondrechten die zich kunnen voordoen wanneer een AI-systeem met een hoog risico wordt gebruikt in overeenstemming met het beoogde doel ervan of in een situatie van redelijkerwijs te voorzien misbruik, met name wanneer dergelijke risico’s blijven bestaan ondanks de toepassing van andere voorschriften van dit hoofdstuk.

3. Het menselijk toezicht wordt gewaarborgd door middel van een of alle van de volgende maatregelen:

(a) door de aanbieder bepaald en, waar technisch haalbaar, ingebouwd in het AI-systeem met een hoog risico voordat dit systeem in de handel wordt gebracht of in gebruik wordt gesteld;

(b) door de aanbieder bepaald voordat het AI-systeem met een hoog risico in de handel wordt gebracht of in gebruik wordt gesteld en die passend zijn om door de gebruiker te worden uitgevoerd.

4. De in lid 3 bedoelde maatregelen stellen de personen die verantwoordelijk zijn voor het menselijk toezicht in staat om het volgende te doen, zoals passend gezien de omstandigheden:

(a) de capaciteiten en beperkingen van het AI-systeem met een hoog risico volledig begrijpen en de werking ervan naar behoren kunnen monitoren, zodat tekenen van onregelmatigheden, storingen en onverwachte prestaties zo snel mogelijk kunnen worden gedetecteerd en aangepakt;

(b) zich bewust blijven van de mogelijke neiging om automatisch of te veel te vertrouwen op de output van een AI-systeem met een hoog risico (de zogenaamde “automation bias”), met name voor AI-systemen met een hoog risico die worden gebruikt om informatie of aanbevelingen te verstrekken voor beslissingen die door natuurlijke personen moeten worden genomen;

(c) de output van het AI-systeem met een hoog risico juist interpreteren, in het bijzonder rekening houdend met de kenmerken van het systeem en de beschikbare instrumenten en methoden voor interpretatie;

(d) in alle specifieke situaties kunnen besluiten om het AI-systeem met een hoog risico niet te gebruiken of de output van het AI-systeem met een hoog risico op andere wijze te negeren, terzijde te schuiven of terug te draaien;

(e) ingrijpen in de werking van het AI-systeem met een hoog risico of het systeem onderbreken door middel van een stopknop of een vergelijkbare procedure.