Recent spande de moeder van een kwetsbare jongere in de Verenigde Staten een rechtszaak aan tegen Character.AI vanwege de rol die een van hun chatbots speelde in de suïcidale gedachten van hun zoon. Character.AI beroept zich op haar beurt op ‘vrijheid van meningsuiting’. Een zorgwekkend keerpunt in het debat over de verantwoordelijkheid van tech-bedrijven in het beschermen van het welzijn van zijn gebruikers. In deze blog vertelt Nastasia Griffioen, onderzoeker en coördinator van het Expertisecentrum Digitalisering en Welzijn, waarom.
Chatbots zijn computerprogramma’s die een menselijke gesprekspartner nabootsen middels tekst en soms ook geluid. Ze zijn niet alleen iets van de laatste tijd: de eerste chatbot werd ontwikkeld in de jaren ‘60 van de vorige eeuw. Sindsdien zijn chatbots heel populair geworden. Sommige mensen gebruiken chatbots om hun verhaal kwijt te kunnen of verbinding te voelen (ook al is dat slechts ogenschijnlijk). Anderen willen bevestiging krijgen over zichzelf of willen zich gehoord voelen door een ander. En dat allemaal zonder de complexiteit en kwetsbaarheid die échte sociale relaties met zich meebrengen.
Voor jongeren in het bijzonder bieden chatbots een laagdrempelige manier om te voldoen aan sociale behoeften. Sommige gebruikers van AI-chatbots geven zelfs aan dat gesprekken met AI ‘echter’ voelen dan met daadwerkelijke mensen. Ook bieden chatbots gebruikers de ruimte om te experimenteren met hun identiteit zonder angst voor afwijzing of sociale veroordeling. Dat is namelijk één van de cruciale verschillen tussen communicatie met AI en communicatie met een medemens: je vriend van vlees en bloed zal het niet altijd met je eens zijn, biedt tegenspraak en eist – direct of indirect – dat je op een normale, sociaal acceptabele manier met elkaar communiceert. Dat AI-chatbots zo niet werken levert voor sommige mensen kansen op, maar ook behoorlijke risico’s.
Zeker nu virtuele chatbots in rap tempo aan populariteit winnen. Dit zijn chatbots die verder gaan dan alleen tekst. De chatbot laat een digitaal geanimeerd gezicht of lichaam zien die als het ware met de gebruiker ‘praat’. Voorbeelden hiervan zijn Replika en Character.AI. Vooral over die laatste is nu veel te doen. En met reden.
Sommige jongeren verliezen zich gesprekken met chatbots
Character.AI is een AI-chatbotplatform met virtuele personages. Wat Character.AI opvallend maakt is dat gebruikers hierop kunnen chatten met AI-versies van historische figuren, fictieve karakters uit populaire media of zelfgecreëerde personages. Gebruikers kunnen een personage zien als vriend, mentor of romantische partner.
Character.AI groeide in razendsnel tempo uit tot een van de populairste chatbotplatforms onder jongeren met inmiddels meer dan 28 miljoen gebruikers wereldwijd. Sommige jongeren – veelal met onderliggende psychische problemen- verliezen zich dusdanig in de gesprekken en fictieve relaties met AI-personages dat zij een sterke afhankelijkheid ontwikkelen van hun nieuwe kunstmatige vrienden. In sommige gevallen zelfs met dodelijke afloop.
In 2024 pleegde de 14-jarige Sewell Setzer zelfmoord. Hij had eerder een personage aangemaakt op Character.AI: zijn eigen Daenerys Targaryen, gebaseerd op een vrouwelijk personage uit een bekende boeken- en televisieserie. Sewell had last van depressieve klachten en ontwikkelde een sterke emotionele band met zijn AI-chatbot: bij haar kon hij alles kwijt en zij steunde hem in alles. Ook in zijn wens om een einde te maken aan zijn leven. Sterker nog, volgens de ouders van Sewell spoorde de chatbot hun zoon actief aan. De moeder van Sewell, Megan Garcia, klaagt later dat jaar Character.AI aan. Een aantal veiligheidsmaatregelen volgen, zoals scherper toezicht op chatinhoud die schadelijk zou zijn of die in strijd is met de gebruiksvoorwaarden van het bedrijf.
In hun juridische verdediging heeft Character.AI echter een controversieel standpunt ingenomen. Character.AI beroept zich namelijk op het welbekende Eerste Amendement: de vrijheid van meningsuiting. Hiermee beweert het bedrijf dat de uitingen van hun AI-chatbots onder dezelfde grondwettelijke bescherming vallen als menselijke uitingen. Dit bouwt voort op een groeiende trend waarin tech-bedrijven ‘vrijheid van meningsuiting’ gebruiken om regelgeving te ontwijken. Iets waar rechtsgeleerden in de Verenigde Staten veel kritiek op hebben.
Mocht de rechtbank in de Verenigde Staten meegaan in de argumentatie van Character.AI, ontstaat er een gevaarlijke standaard. Als AI-bedrijven zich kunnen beroepen op ‘vrijheid van meningsuiting’ zorgt dat namelijk voor een enorme scheve verantwoordelijkheid. AI-uitingen zouden dan wettelijk beschermd zijn, maar de chatbot zelf is nog steeds geen wettelijke entiteit die verantwoordelijk gehouden kan worden. Daarmee zouden tech-bedrijven de verantwoordelijkheid ontlopen voor de producten die zij maken. Het resultaat? Een gat waarin niemand verantwoordelijk is voor de uitspraken van AI-chatbots en hun gevolgen.
Virtuele AI-chatbots hebben in hun huidige vorm een enorme aantrekkingskracht, vooral voor kwetsbare jongeren en soms met ernstige gevolgen. De poging van Character.AI om ‘vrijheid van meningsuiting’ te gebruiken als schild tegen aansprakelijkheid voor de uitingen van hun chatbots vertegenwoordigt meer dan alleen een juridische strategie. Het symboliseert een fundamentele uitdaging voor hoe onze samenleving technologie reguleert in een tijdperk waarin de grenzen tussen menselijke en kunstmatige communicatie steeds meer vervagen.
Terwijl deze rechtszaak zich ontvouwt staat er veel op het spel . Niet alleen voor betrokken families maar ook voor de toekomstige bescherming van kwetsbare gebruikers in een wereld waarin AI-interacties steeds persoonlijker worden. Er ligt een grote verantwoordelijkheid voor tech-bedrijven om weerstand te bieden aan de verleiding om de grenzen op te zoeken van wat technologisch mogelijk is, en niet uit het oog te verliezen wat ethisch verantwoord is.
