AI-assistent moet zich bekendmaken, zegt de EU

De Europese AI-Act bereikt de digitale winkelvloer: sinds 2 augustus moet een chatbot zich eerst netjes voorstellen.

De AI-Act, officieel Verordening (EU) 2024/1689, stelt regels aan het ontwikkelen, aanbieden en gebruiken van AI-systemen. De verordening raakt niet alleen chatbots, maar ook chatwidgets, winkelassistenten, digitale verkopers, retourhulpjes, webshopteksten en realistische AI-productpresentaties. 

Bescherming van de consument

Brussel wil met de wet ruimte houden voor innovatie, maar tegelijk de risico’s voor gebruikers beperken. Een computerstem die een retour afhandelt of een widget die een zonnepaneel adviseert: steeds vaker begint de klantreis bij zo’n virtuele medewerker.

Het verschil met iemand die wél op de loonlijst staat, is soms niet eens merkbaar. Precies daarom zijn sinds 2 augustus de transparantieregels van toepassing.

Alleen ‘converserende’ AI

De transparantieverplichting is in essentie simpel: artikel 50 van de AI-Act bepaalt dat een AI-systeem dat rechtstreeks met mensen communiceert, zo moet zijn ontworpen dat de klant vanaf het begin van de eerste interactie weet dat hij met AI praat. Een webshop met een klantenservice-chatbot moet aan het begin van de ‘klantreis’ dus een duidelijke waarschuwing tonen.

Niet ieder algoritme of iedere bot valt onder de verplichting. De Europese Commissie verduidelijkt dat het om een ‘uitwisseling’ moet gaan, om een conversatie. In meer functionele bewoordingen: 'een systeem dat invoer of vragen verwerkt en daar zelfstandig op reageert, zodat een echte tweezijdige uitwisseling ontstaat'.

‘Toets 1 voor uw bestelling’ wordt dus niet bedoeld. Hetzelfde geldt voor een FAQ die alleen vooraf vastgelegde antwoorden toont of vertelt. Ook de situatie waarbij een echte helpdeskmedewerker op de achtergrond een AI-agent raadpleegt maar zelf het antwoord beoordeelt en doorgeeft, valt niet onder de verplichting. 

Breed toepasselijk

De verplichting beperkt zich niet tot de klantenservice. Ook AI die vóór de aankoop met de klant praat, kan onder de AI-Act vallen. Bijvoorbeeld een reisplanner of elektronicawijzer, of een kledingadviseur die naar maat en gelegenheid vraagt. En onder bepaalde voorwaarden ook een kookhulp of een boodschappen-assistent. Een paar voorbeelden:

Klantenservice en aftersales

Hier zijn veel direct herkenbare toepassingen te vinden:

• een chatbot die vragen over bestellingen beantwoordt;
• een retour- of omruilassistent;
• een bezorgassistent waarmee de klant een tijdvak of afleveradres wijzigt;
• een AI-helpdesk in WhatsApp, Messenger of een widget in een webshop.

Verkoop en productkeuze

Zodra een systeem op basis van gewone geschreven of gesproken taal informatie verzamelt, vervolgvragen stelt en producten voorstelt, gedraagt de AI-assistent zich als een digitale verkoper:

• een digitale kledingadviseur die naar stijl, maat en gelegenheid vraagt;
• een reisassistent die vluchten, hotels en aanvullende diensten combineert;
• een configurator voor een fiets, keuken, thuisbatterij of een energiecontract; 

Emotieherkenning

Sommige contactcenters laten hun medewerkers software gebruiken die uit een stem of gezichtsuitdrukking kan afleiden of een klant boos, gespannen of tevreden is. Ook virtuele paskamers kunnen zulke functies hebben.

Speciaal voor die toepassing kent artikel 50 een informatieplicht voor emotieherkenning op basis van biometrische gegevens. Ook in dit geval moet de webshop of het contactcenter de klant vooraf informeren dat zo’n systeem wordt gebruikt. Dat geldt ook als de klant met een menselijke medewerker praat of videobelt, terwijl AI op de achtergrond diens stemgeluid of gezichtsuitdrukking analyseert.

Shopping assistants

In het Logimerce.nl-artikel ‘Boodschappenassistenten: het einde van de supermarkt?’ passeerden een paar shopping assistants de revue. Enkele daarvan zouden zeker in aanmerking komen voor de transparantieverplichting.

De Kroger-assistent voert een gesprek met de gebruiker, verwerkt opdrachten en foto’s, bedenkt maaltijden en geeft productsuggesties. Functioneel is dit precies het soort AI-agent of chatbot waarop de verplichting is gericht. Voor zover Kroger de toepassing uitsluitend in de Verenigde Staten aanbiedt en de output niet in de EU wordt gebruikt, valt het buiten het bereik van de AI-verordening.

Steijn van Albert Heijn doet klanten voorstellen op basis van hun voorkeuren. Zodra de klant daadwerkelijk met Steijn kan overleggen in de trant van ‘bedenk drie vegetarische maaltijden voor minder dan 25 euro’, is er sprake van een directe, tweezijdige AI-interactie. Van een conversatie. In dat geval moet vooraf duidelijk gemaakt zijn dat Steijn een AI-assistent is. 

Bij Knuspr begint de boodschappenreis in ChatGPT. De klant kan in gewone taal of met een foto recepten zoeken, maaltijden plannen en een ingrediëntenlijst laten maken. Dat is onmiskenbaar een directe AI-interactie. Maar omdat de klant zich bewust en zichtbaar binnen ChatGPT bevindt, zal meestal al duidelijk zijn dat hij of zij met AI communiceert. De AI-Act kent voor zulke evidente gevallen een uitzondering. Verschijnt de Knuspr-assistent echter vanaf het begin of in de loop van de reis in een Knuspr-jasje, dat er ook nog eens uitziet als een normale klantenservice of menselijke voedingsadviseur, dan is een expliciete AI-melding uiteraard wel nodig. 

Webshopcontent

De transparantieplicht geldt ook voor teksten, vooral als het gaat om ‘ongecontroleerde publicaties over onderwerpen van openbaar belang’. Een automatisch gepubliceerd bericht over een veiligheidsrisico bijvoorbeeld, of over een terugroepactie. Ook een volledig automatisch geschreven en gepubliceerd artikel over EU-regelgeving zou het label ‘AI-gegenereerd’ moeten krijgen.

Een automatisch gegenereerde productomschrijving of reclametekst hoeft op grond van artikel 50 niet standaard het label ‘AI-gegenereerd’ te krijgen. Ook als er sprake is van redactie, vervalt de verplichting. Dus als AI helpt met onderzoek, ordening en zelfs met een concept, is volgens artikel 50 geen verplicht AI-label nodig. 

De voorwaarde is dan wel dat de inhoud door een deskundige redacteur wordt beoordeeld c.q. onder daadwerkelijke redactionele controle staat én dat een persoon of organisatie de verantwoordelijkheid voor de publicatie draagt.

Afbeeldingen bij de content

Een zichtbare labelplicht is absoluut vereist zodra er sprake is van een zgn. ‘deepfake’: een realistisch AI-beeld van een situatie die ‘authentiek kan lijken’. Dat is een brede definitie, die al snel van toepassing kan zijn op een afbeelding op een webshop, in een nieuwsbrief of op social media. Een realistische, maar verzonnen ‘foto’ van een distributiecentrum of een bedrijfssituatie kan dus mogelijk onder de transparantieplicht vallen. 

Virtuele modellen, influencers en productvideo’s

E-commercebedrijven gebruiken steeds vaker:

• synthetische fotomodellen;
• kunstmatig gemaakte winkels, hotelkamers of vakantielocaties;
• video’s waarin een echt persoon iets lijkt te zeggen wat hij nooit heeft gezegd. 

Hier geldt hetzelfde als bij gewone afbeeldingen: een label conform artikel 50 is vooral verplicht bij een deepfake. Maar een duidelijk fictieve achtergrond, of een duidelijk kunstmatig fotomodel, is niet automatisch een deepfake. 

Ook voor kleine bedrijven

Voor de AI-Act is de toepassing en het risiconiveau relevant, niet de bedrijfsgrootte. Ook een kleine webshop is daarom aan de transparantieverplichting gebonden. Veel kleine webshops zullen in de praktijk weinig extra hoeven te doen wanneer AI alleen achter de schermen wordt gebruikt, bijvoorbeeld voor voorraadprognoses of gewone productaanbevelingen.

Verantwoordelijkheid

De verplichting om een AI-systeem zo te ontwerpen dat het zich als AI bekendmaakt, ligt volgens artikel 50 van de AI-verordening primair bij de aanbieder. Dat is meestal de softwareleverancier.

Laat een retailer de assistent echter ontwikkelen en brengt hij die onder zijn eigen naam of merk op de markt, dan kan de retailer zelf als aanbieder gelden. Bij een ingekocht systeem doet de webshop er daarom goed aan te controleren of de AI-melding uiterlijk bij het eerste klantcontact daadwerkelijk verschijnt.

De AI-verordening geldt ook voor partijen die buiten Europa gevestigd zijn, maar die zich richten op klanten binnen de EU. 

Overtreding van artikel 50 kan uiteindelijk leiden tot een boete van maximaal 15 miljoen euro of 3 procent van de wereldwijde jaaromzet.

Geen jurisprudentie

De grenzen van de transparantieverplichting zijn niet overal scherp. Begrippen als ‘rechtstreeks communiceren’, ‘uitwisseling’, ‘deepfake’ en ‘redactionele controle’ laten ruimte voor interpretatie. Ook geldt een uitzondering wanneer voor een redelijk oplettende gebruiker al evident is dat hij met AI praat. Maar ja, wat is 'redelijk oplettend' en wat is 'evident'?

De Europese Commissie heeft de begrippen al wel (enigszins) uitgewerkt in richtsnoeren bij artikel 50, maar richtinggevende rechtspraak of een vaste handhavingspraktijk ontbreken nog. Bij twijfel is het duidelijk vermelden dat AI wordt gebruikt, de veiligste route.

Verder lezen

De Autoriteit Persoonsgegevens wees er enkele weken geleden al op, dat het vanaf 2 augustus duidelijk moet zijn wanneer iemand met een AI-chatbot communiceert. 

Thuiswinkel.org heeft al langer een kennisartikel over de transparantieverplichting voor webshops. Dat artikel dateert echter van maart 2024 en behandelt nog niet de nieuwe generatie AI-boodschappen- en verkoopassistenten die nu trending zijn. 

Een ‘must read’ is het artikel van Marc Diks, specialist in AI-strategie: ‘EU AI Act, de complete gids voor organisaties’.