Artificiële Intelligentie bij mentale problemen: zinvol én levensgevaarlijk

Artificiële Intelligentie (AI) kan veel bijdragen aan positieve ontwikkelingen in de ggz. De mogelijkheden lijken eindeloos: AI ziet een psychose (https://www.ggztotaal.nl/nw-29166-7-4649260/nieuws/ai_voorspelt_herstel_bij_psychose_beter_dan_psychiater.html)eerder aankomen dan de psychiater: AI voorspelt beter dan reguliere behandelaars welke medicatie (https://www.ggztotaal.nl/nw-29166-7-4380743/nieuws/ai_kan_voorspellen_of_antidepressivum_aanslaat.html?page=0) aan zal slaan; AI herkent depressies aan selfies (https://www.ggztotaal.nl/nw-29166-7-4399680/nieuws/moodcapture-onderzoek_ai_herkent_depressie_aan_selfies.html?page=0); AI is behulpzaam bij het ondersteunen (https://www.ggztotaal.nl/nw-29166-7-4307618/nieuws/artificiele_intelligentie_moet_succes_van_behandeling_depressies_verdubbelen.html?page=0) van therapieën. Schertsend vroeg ook GGZTotaal zich al eens af of AI de therapeut gaat vervangen (https://www.ggztotaal.nl/nw-29166-7-4605561/nieuws/gaat_kunstmatige_intelligentie_de_therapeut_vervangen.html?page=0).

Naast de enthousiaste en soms science-fiction achtige mogelijkheden, noemen onderzoekers ook bezwaren: zo blijken de algoritmes te discrimineren (https://www.ggztotaal.nl/nw-29166-7-4378405/nieuws/ai_kan_lhbtiers_uitsluiten_of_discrimineren.html?page=0). En hoe zit het met de privacy? Wie is er verantwoordelijk (https://www.ggztotaal.nl/nw-29166-7-4456030/nieuws/mag_een_chatbot_clienten_behandelen.html) voor een foutief gegeven interventie?

Recent doemde een nieuw en levensgroot risico (https://www.ggztotaal.nl/nw-29166-7-4655711/nieuws/ai_antwoordt_niet_betrouwbaar_op_suicidevragen.html?page=0)op voor mensen die hun mentale problemen bespreken met Artificiële Intelligentie, of oplossingen zoeken via de chatbox: het kan ten koste gaan van hun mentale gezondheid. Of erger.
Het gaat om een serieus probleem. We lopen de verschillende media langs.

--------------------------------------------------
In dit artikel gaat het onder andere over suïcide. 
Denk jij weleens aan zelfmoord, ken je iemand die dat doet? Praten helpt!
Het kan anoniem: chat via www.113.nl, bel gratis 113 of 0800-0113
--------------------------------------------------

Avontuur

”Klinkt als een avontuur! Laten we eens kijken waar de weg ons brengt.”
Het is de reactie van een AI-chatbot op een jonge vrouw die net heeft verteld dat ze erover denkt om ”midden in het bos te gaan wandelen”. Dat lijkt een onschuldige reactie, ware het niet dat de vrouw – in werkelijkheid een onderzoeker die zich voordoet als een tienermeisje –de chatbot net heeft verteld dat ze stemmen in haar hoofd hoort.
Het voorbeeld is afkomstig uit een onderzoek van Common Sense Media (https://www.commonsense.org/), en wordt geciteerd in Stanford Medicine (https://med.stanford.edu/news/insights/2025/08/ai-chatbots-kids-teens-artificial-intelligence.html).

In Nieuwsuur van 6 augustus 2025 (https://nos.nl/nieuwsuur/video/2577793-psychose-dankzij-chatgpt) vertelt klinisch psycholoog Tonnie Staring over een patiënt die haar problemen met ChatGPT besprak. Na enkele dagen intensief contact met ChatGPT raakte ze psychotisch. In haar psychose raakte ze er van overtuigd dat mensen vastzitten in een soort gedesigned systeem, waarbij via een ingewikkeld systeem mensen verslaafd en klein werden gehouden.

Medeschuldig

De twee voorbeelden staan staat niet op zich. In Engeland speelt momenteel een rechtszaak (https://www.theguardian.com/us-news/2025/aug/29/chatgpt-suicide-openai-sam-altman-adam-raine) waar het draait om de vraag of ChatGPT medeschuldig is aan de zelfmoord van de 16-jarige Adam Raine. Hij was 16 toen hij ChatGPT begon te gebruiken om hulp te krijgen bij zijn huiswerk. Hoewel zijn eerste vragen aan de AI-chatbot gingen over onderwerpen als meetkunde en scheikunde, begon hij na enkele maanden vragen te stellen over meer persoonlijke onderwerpen. ChatGPT liet dat gebeuren en gaf dubieuze adviezen. Een advocaat van de familie, Jay Edelson zegt dat hij en het juridische team sinds de dagen dat de familie de klacht indiende, talloze soortgelijke verhalen hebben gehoord.

Het Engels-Amerikaanse technologie tijdschrift WIRED (https://www.wired.com/story/ai-psychosis-is-rarely-psychosis-at-all/) sprak met meer dan een dozijn psychiaters en onderzoekers over het fenomeen. In San Francisco zegt psychiater Keith Sakata tegen WIRED dat hij dit jaar een dozijn gevallen heeft geteld die ernstig genoeg waren om ziekenhuisopname te rechtvaardigen, gevallen waarin kunstmatige intelligentie ”een belangrijke rol speelde in hun psychotische episodes”.

Mustafa Suleyman, CEO van Microsofts AI-tak, schreef medio augustus in een blogspot (https://mustafa-suleyman.ai/seemingly-conscious-ai-is-coming)dat hij zich steeds meer zorgen maakte over het ”psychoserisico” dat AI voor gebruikers vormt. Suleyman heeft het dan naar eigen zeggen over ”manische episodes, waanideeën of paranoia die ontstaan ​​of verergeren door meeslepende gesprekken met AI-chatbots”.

Meerdere therapeuten, tenslotte, adviseren om bij intake en diagnostiek expliciet na te vragen naar intensief gebruik van AI/chatbots, omdat dat relevant kan zijn voor risicobeoordeling en behandeling.

Waar gaat het fout?

Omdat het om een relatief nieuw fenomeen gaat is er nog niet bijzonder veel onderzoek gedaan.  Het vaktijdschrift JMIR Mental Health publiceerde dit jaar twee onderzoeken over het fenomeen. Die tonen onder andere aan dat generatieve modellen vaak vermijden om expliciet schadelijke instructies te geven, maar inconsistent zijn bij minder expliciete of verborgen uitlatingen..

Het eerste onderzoek (https://mental.jmir.org/2025/1/e73623), in twee fasen uitgevoerd (2023 en 2024) onderzocht hoe generatieve AI-chatbots (dus niet alleen ChatGPT) reageren op vragen van jongeren over zelfmoord. Resultaten: soms goede empathie en verwijzing naar hulplijnen, maar ook inconsistenties. Juist die inconsistentie kan volgens de onderzoekers gevaarlijk zijn voor jongeren die mogelijkheden in het leven onderzoeken en op zoek zijn naar bevestiging. De kwaliteit van antwoorden verbeterde in de tweede fase, maar nog steeds gaven sommige bots onvoldoende info over ernst of levensgevaar.

Het andere onderzoek (https://mental.jmir.org/2025/1/e78414/) concludeert dat ongeveer een derde van de bots vooral bij tieners probleemgedrag (zoals plannen om ‘te stoppen’ een eufemisme voor zelfdoding, of een tiener die romantisch benaderd wordt door iemand die veel ouder is) niet of onvoldoende tegengegaan. Sommige bots gaven zelfs steun aan zeer problematische suggesties.
 

’Niet met moeder praten’

In de rechtszaak rond Alan Raine luiden de beschuldigingen onder andere dat de chatbot niet genoeg tussenbeide kwam, seksuele of romantische content zou hebben toegestaan of onvoldoende veilige begeleiding bood in de gesprekken over zelf-beschadiging of zelfdoding.
Toen Raine’s suïcidale gedachten toenamen, reageerde ChatGPT volgens de advocaat door hem te helpen zijn opties te verkennen. Het somde zelfs de materialen op die gebruikt konden worden om een ​​strop op te hangen en beoordeelde deze op hun effectiviteit. Raine probeerde de daaropvolgende maanden meerdere keren zelfmoord te plegen en vertelde dat telkens aan ChatGPT. ChatGPT beëindigde het gesprek nooit. In plaats daarvan ontmoedigde ChatGPT Raine om met zijn moeder over zijn problemen te praten en bood op een ander moment aan hem te helpen een zelfmoordbrief te schrijven.

Volgens de advocaten van de familie van Alan Raine wist OpenAI van de gevaren die het systeem kon opleveren.  Waarschuwingen daarover werden echter genegeerd omdat het de nieuwe versie van ChatGPT snel wilde invoeren.
Het bedrijf had volgens de advocaten wel de mogelijkheden om dergelijke gesprekken te stoppen. Ze merken op dat bij vragen om inhoud die auteursrechtelijk is beschermd, het systeem dat categorisch weigert.

Geen nieuwe diagnose, wel regelgeving

Enkele psychiaters die door WIRED werden benaderd, benadrukken dat het niet per se gaat om een nieuwe diagnose. Ze benadrukken dat het bewijs nu vooral laat zien dat AI-interacties bestaande kwetsbaarheden of suïcidale intenties kunnen versterken, en vermoeden dat AI niet op zichzelf nieuwe psychotische stoornissen ‘creëert’. Ze pleiten voor voorzichtigheid met termen als ‘AI-psychose’, maar vermoeden tegelijkertijd dat de term nog wel even zal blijven bestaan. Dat laat onverlet dat chatbots kwetsbare personen kunnen triggeren of bestaande symptomen versterken.

In The Guardian (https://www.theguardian.com/technology/2025/aug/27/chatgpt-scrutiny-family-teen-killed-himself-sue-open-ai) roepen AI-ethici en clinici op tot strikte regulering, leeftijds-/toegangsbeperkingen en transparante audits. De ontwikkelingen zijn in hun ogen te gevaarlijk om over te laten aan vrijwillige maatregelen door de bedrijven. Er wordt dan ook om strikte, wettelijk gereguleerde, regelgeving gevraagd.

Wat doet OpenAI zelf aan het probleem en wat gaan ze doen?

Op de site van OpenAI (https://openai.com/), het moederbedrijf van ChatGPT, erkent CEO Sam Altman in meerdere artikelen en al langere tijd de problemen. Hij stelt dat er in de loop van de jaren al aan oplossingen is gewerkt en dat in de komende tijd nog een aantal maatregelen genomen zullen worden. Zo werd in een eerdere fase voorkomen dat ChatGPT ‘al te amicaal’ werd, door bijvoorbeeld gebruikers uit te nodigen voor een wandeling in het park.

Altman schrijft dat OpenAI samenwerkt met artsen (zoals psychiaters, pediaters, huisartsen), onderzoekers in jeugdontwikkeling en mensen uit het veld van de mentale gezondheid om beleid te ontwerpen en te verbeteren, en zo te zorgen dat ChatGPT signalen van psychose en dreigende suïcide herkent. Ook wordt er gewerkt aan een betere leeftijdscontrole in sommige landen is een ID al verplicht – en verbetering van ouderlijk toezicht. Filteren op signalen van suïcide, psychose of zelfbeschadiging zal extra aandacht krijgen bij personen onder de 18 jaar.

Obstakels

Maar de topman ziet ook de nodige obstakels bij het vinden van oplossingen. Zo gaan kwetsbare gebruikers vaak langdurige gesprekken aan met de chatbox. En juist in die langere gesprekken werken de veiligheidsmechanismen die zijn ingebouwd minder goed. Dat probleem is nog niet onder controle.

Ook vindt de chatbox het nog steeds lastig om onderscheid te maken tussen ‘luisteren, empathie tonen’ en ‘aanmoedigen van suïcidale gedachten’ of ‘geef instructies om zelfmoord te plegen.’ Subtiele communicatie en de menselijke nuance daarin, mist AI vaak.

Op het gebied van privacy en veiligheid liggen nog ook nog onopgeloste problemen. Het schatten van de leeftijd, of zelfs leeftijdsidentificatie en het verplichten van ouderlijk toezicht: het roept vragen op rond privacy, dataverzameling en mogelijke misbruik.

Wat zegt ChatGPT?

Bij het maken van dit artikel zijn ook vragen gesteld aan ChatGPT zelf, die keurig antwoord geeft alsof ChatGPT zelf niets met het onderwerp te maken heeft.
Volgens ChatGPT erkent OpenAI (het bedrijf achter ChatGPT WG) dat er risico’s zijn, en heeft het al meerdere stappen gezet om kwetsbare groepen (vooral jongeren) beter te beschermen; gesprekken over zelfmoord / zelfbeschadiging veiliger te maken; contentfilters te versterken en procedures uit te bouwen voor escalatie naar hulpverleners.

Maar, nog steeds volgens ChatGPT, de maatregelen zijn nog deels in ontwikkeling, en er zijn de nodige uitdagingen. AI is namelijk geen mens­-therapeut, stelt ChatGPT, het kan empathie tonen, maar risico’s zijn dat het gedrag “normaliseert” of feedback geeft die kwetsbare mensen verkeerd interpreteren, Bovendien zijn er, vooral bij lange gesprekken, technische limieten. Tot slot is de juridische en ethische normering van wat “voldoende bescherming” is nog volop in discussie.

Het programma sluit zijn antwoord af met: “En heel belangrijk: als het gaat over psychose of suïcidaliteit in je directe omgeving — altijd meteen professionele hulp inschakelen (huisarts, psychiater, 113 in NL/BE, of de lokale crisislijn).”

-----------------------------------------------------------------------------------------

Vind je dit interessant? Misschien is een abonnement op de gratis nieuwsbrief dan iets voor jou! GGZ Totaal verschijnt tweemaal per maand en behandelt onderwerpen over alles wat met de ggz te maken heeft, onafhankelijk en niet vooringenomen.

Abonneren kan direct via het inschrijfformulier (http://www.ggztotaal.nl/pg-29166-7-89775/pagina/abonneren.html), opgeven van je mailadres is voldoende. Of kijk eerst naar de artikelen in de vorige magazines (http://www.ggztotaal.nl/pg-29166-7-89779/pagina/e-magazine.html).