AI Psykose: Teknologiledere opfordrer til sikkerhedsforanstaltninger for at forhindre chatbots i at validere vrangforestillinger

Adfærdsmæssige advarselsflag

De første dokumenterede fund om “AI-psykose” begyndte at dukke op offentligt i midten af 2025, og siden da er der blevet offentliggjort flere rapporter og undersøgelser om mentale sundhedsproblemer forbundet med brugen af AI. Microsoft AI CEO Mustafa Suleyman gik så langt som at kalde AI-psykose for en “reel og fremvoksende risiko.”

Denne tilstand siges at opstå, når skellet mellem menneske- og maskininteraktioner bliver uklart, hvilket gør det svært for individer at skelne mellem den ægte og digitale verden. Selvom det endnu ikke er en formel klinisk diagnose, er der stigende bekymring blandt medicinske og teknologiske eksperter om de psykologiske effekter af AI, især med chatbots, der validerer og forstærker overbevisninger, inklusive illusionstænking, uden at tilbyde nødvendige virkelighedstjek.

De mest udsatte inkluderer socialt isolerede individer, dem med eksisterende mentale sundhedsproblemer eller dem, der er tilbøjelige til magisk tænkning. Validering fra AI kan forstærke illusioner, hvilket fører til negative konsekvenser i den virkelige verden såsom beskadigede relationer og tab af job.

Nogle eksperter advarer om, at selv dem uden eksisterende tilstande er i fare. De har navngivet flere vigtige adfærdsmæssige advarselsflag, som AI-brugere bør være opmærksomme på. Et advarselsflag er, når en person udvikler et obsessivt forhold til en chatbot og konstant interagerer med den for at forstærke sine egne idéer og overbevisninger.

Denne adfærd inkluderer ofte, at AI’en fodres med overdreven personlige detaljer i et forsøg på at “træne” den og opbygge en følelse af gensidig forståelse. Et andet advarselsflag er, når en person begynder at overlade simple, daglige beslutninger til AI, fra sundhed og penge til personlige forhold.

Virksomheders ansvar og sikkerhedsforanstaltninger

Selvom de ikke er forpligtet til at kontrollere, hvordan AI bruges, kan virksomhederne bag nogle af de kraftfulde chatbots implementere sikkerhedsforanstaltninger, der forhindrer samtaleagenter i at forstærke illusionstænkning. Mau Ledford, medejer og administrerende direktør for Sogni AI, diskuterede indlejring af software, der modvirker sådan tænkning.

“Vi skal bygge AI, der er venligt uden at kolludere. Det betyder klare påmindelser om, at det ikke er menneske, nægtelse af at validere illusioner, og hårde stop, der skubber folk tilbage mod menneskelig støtte,” fastslog Ledford.

Roman J. Georgio, CEO og medejer af Coral Protocol, opfordrede AI-udviklere til at undgå at gentage sociale mediers fejl ved at inkludere indbyggede friktionspunkter, der minder brugerne om, at AI ikke er menneske.

“Jeg tror, det starter med design. Optimer ikke bare for fastholdelse og klæbrighed; det er at gentage sociale mediers fejl,” forklarede Georgio. “Indbyg friktionspunkter, hvor AI’en bremser tingene eller gør det klart: ‘Jeg er ikke menneske.’ Detektion er en anden del. AI kunne markere mønstre, der ligner illusionære spiraler, såsom konspirationssløjfer eller fixeringer på ‘specielle beskeder.’”

Coral Protocols medstifter insisterede på, at der også er brug for reguleringer, der styrer databeskyttelse, og argumenterede for, at uden dem vil “virksomheder bare jage engagement, selvom det skader folk.”

Debatten om menneskelignende AI

Indtil videre er der tilsyneladende begrænset data om “AI-psykose” til at informere beslutningstagere og regulatorer om, hvordan de skal reagere. Dette har dog ikke forhindret AI-udviklere i at lancere menneskelignende og empatiske AI-agenter. I modsætning til basale chatbots, der følger et stift manuskript, kan disse agenter forstå kontekst, genkende følelser og svare med en tone, der føles empatisk. Dette har fået nogle observatører til at opfordre AI-industrien til at tage føringen i at sikre, at menneskelignende modeller ikke ender med at udviske linjen mellem menneske og maskine.

Michael Heinrich, CEO for 0G Labs, fortalte Bitcoin.com News, at mens disse agenter er nyttige i visse scenarier og ikke bør afvises fuldstændigt, er det afgørende, at de “forbliver neutrale og undgår at vise for mange følelser eller andre menneskelige træk.” Dette, argumenterede han, hjælper brugerne med at forstå, at AI-agenten er “bare et værktøj og ikke en erstatning for menneskelig interaktion.”

Mariana Krym, en AI-produkt og kategoriarkitekt, sagde, at det er afgørende at gøre agenten mere ærlig og ikke mere menneskelig.

“Du kan skabe en AI-oplevelse, der er hjælpsom, intuitiv, endda følelsesmæssigt responsiv—uden at lade som om den er bevidst eller i stand til at tage sig af,” argumenterede Krym. “Faren begynder, når et værktøj er designet til at udføre forbindelse i stedet for at facilitere klarhed.”

Ifølge Krym handler ægte empati i AI ikke om at efterligne følelser, men om at respektere grænser og tekniske begrænsninger. Det er også at vide, hvornår man skal hjælpe og hvornår man ikke skal blande sig. “Nogle gange er den mest menneskelige interaktion at vide, hvornår man skal tie stille,” fastslog Krym.

Plejeforpligtelse

Alle eksperter, der blev interviewet af Bitcoin.com News, var enige om behovet for, at teknologiselskaber hjælper sårbare individer, men de var uenige om, hvor meget de burde gøre dette. Ledford mener, at “Big Tech har en plejeforpligtelse” og kan bevise dette ved at levere “sikkerhedsnet—kriseforbindelser, brugsadvarsler og gennemsigtighed—så sårbare brugere ikke efterlades alene med deres illusioner.”

Georgio gentog disse synspunkter og opfordrede Big Tech til at arbejde sammen med klinikere for at skabe henvisningsveje, i stedet for at lade folk sidde fast på egen hånd.

Krym insisterede på, at teknologiselskaber “har et direkte ansvar—ikke bare for at reagere, når noget går galt, men for at designe på måder, der reducerer risiko i første omgang.” Hun mener dog også, at brugerinddragelse er afgørende.

“Og vigtigst,” argumenterede Krym, “brugere skal inviteres til selv at sætte deres grænser, og få en advarsel, når disse grænser overskrides. For eksempel, ønsker de deres synspunkter valideret mod typiske mønstre, eller er de åbne for, at deres bias bliver udfordret? Sæt målene. Behandl mennesket som den ansvarlige—ikke det værktøj, de interagerer med.”