Psihoza AI: Liderii din domeniul tehnologiei solicită măsuri de siguranță pentru a preveni chatbot-urile să valideze iluziile

Semnale Comportamentale de Avertizare

Primele constatări documentate despre “psihoza AI” au început să apară public în mijlocul anului 2025 și de atunci, au fost publicate mai multe rapoarte și studii despre problemele de sănătate mintală legate de utilizarea AI. CEO-ul AI al Microsoft, Mustafa Suleyman, a ajuns să eticheteze psihoza AI ca un “risc real și emergent.”

Se spune că această condiție apare atunci când distincția dintre interacțiunile umane și cele ale mașinii se estompează, făcând dificil pentru indivizi să diferențieze între lumea reală și cea digitală. Deși nu este încă un diagnostic clinic formal, există o preocupare crescândă printre experții medicali și de tehnologie cu privire la efectele psihologice ale AI, în special cu chat-urile care validează și amplifică credințele, inclusiv gândirea delirantă, fără a oferi verificări necesare ale realității.

Cei mai expuși riscului includ persoanele izolate social, cei cu probleme de sănătate mintală preexistente sau cei predispuși la gândirea magică. Validarea din partea AI poate întări delirurile, ducând la consecințe negative în lumea reală, cum ar fi relații deteriorate și pierderea locului de muncă.

Unii experți avertizează că chiar și cei fără condiții preexistente sunt în pericol. Au numit mai multe semnale de avertizare comportamentale cheie pe care utilizatorii AI ar trebui să le aibă în vedere. Un semnal de avertizare este atunci când o persoană dezvoltă o relație obsesivă cu un chatbot și interacționează constant cu acesta pentru a-și întări propriile idei și credințe.

Acest comportament include adesea alimentarea AI cu detalii personale excesive într-o încercare de a-l “antrena” și de a construi un sentiment de înțelegere reciprocă. Un alt semnal de avertizare este atunci când o persoană începe să delege decizii simple, zilnice AI-ului, de la sănătate și bani la relații personale.

Responsabilitatea Corporativă și Măsuri de Siguranță

Deși nu sunt obligați să controleze cum este utilizat AI, companiile din spatele unor chat-uri puternice pot implementa măsuri de siguranță care să împiedice agenții conversaționali să întărească gândirea delirantă. Mau Ledford, co-fondator și CEO al Sogni AI, a discutat despre integrarea unui software care descurajează astfel de gândire.

“Trebuie să construim AI care să fie amabil fără să conlucreze. Asta înseamnă reamintiri clare că nu este uman, refuzul de a valida deluziile și oprirea fermă care împinge oamenii înapoi către suportul uman,” a afirmat Ledford.

Roman J. Georgio, CEO și co-fondator al Coral Protocol, a îndemnat dezvoltatorii AI să evite repetarea greșelilor rețelelor sociale incluzând puncte de fricțiune încorporate care să reamintească utilizatorilor că AI nu este uman.

“Cred că începe cu designul. Nu optimizați doar pentru retenție și aderență; asta înseamnă repetarea greșelilor rețelelor sociale,” a explicat Georgio. “Construiește puncte de fricțiune unde AI încetinește lucrurile sau clarifică: ‘Nu sunt uman.’ Detectarea este o altă parte. AI ar putea semnala modele care arată ca spirale delirante, cum ar fi bucle de conspirație sau fixări pe ‘mesaje speciale.’”

Co-fondatorul Coral Protocol a insistat că sunt necesare reglementări privind confidențialitatea datelor, argumentând că fără acestea, “companiile vor urmări doar angajamentul, chiar dacă acesta dăunează oamenilor.”

Dezbaterea despre AI de Tip Uman

Până acum, există date limitate aparent despre “psihoza AI” care să informeze factorii de decizie și reglementatorii despre cum să răspundă. Totuși, asta nu i-a oprit pe dezvoltatorii AI de la a dezvălui agenți AI de tip uman și empatici. Spre deosebire de chat-urile de bază care urmează un script rigid, acești agenți pot înțelege contextul, recunoaște emoțiile și răspunde cu un ton care se simte empatic. Acest lucru a determinat unii observatori să îndemne industria AI să preia conducerea pentru a se asigura că modelele de tip uman nu ajung să estompeze linia dintre om și mașină.

Michael Heinrich, CEO al 0G Labs, a declarat pentru Bitcoin.com News că, deși acești agenți sunt utili în anumite scenarii și nu ar trebui respinși complet, este imperativ să rămână “neutri și să evite afișarea prea multor emoții sau alte trăsături umane.” Acest lucru, a argumentat el, ajută utilizatorii să înțeleagă că agentul AI este “pur și simplu un instrument și nu un înlocuitor pentru interacțiunea umană.”

Mariana Krym, arhitect de produs și categorie AI, a spus că a face agentul mai onest și nu mai uman este ceea ce contează.

“Poți crea o experiență AI care este utilă, intuitivă, chiar și receptivă emoțional—fără a pretinde că este conștientă sau capabilă de grijă,” a argumentat Krym. “Pericolul începe atunci când un instrument este conceput pentru a performa conexiunea în loc să faciliteze claritatea.”

Potrivit lui Krym, adevărata empatie în AI nu este despre a mima sentimente, ci despre a respecta limitele și limitările tehnice. Este, de asemenea, despre a ști când să ajute și când să nu intervină. “Uneori, cea mai umană interacțiune este să știi când să taci,” a afirmat Krym.

Datoria de Îngrijire

Toți experții intervievați de Bitcoin.com News au fost de acord cu necesitatea ca companiile de tehnologie să ajute indivizii aflați în pericol, dar au avut opinii diferite asupra măsurii în care ar trebui să facă acest lucru. Ledford crede că “Big tech are o datorie de îngrijire” și poate demonstra asta prin oferirea de “plase de siguranță—recomandări de criză, avertismente de utilizare și transparență—astfel încât utilizatorii vulnerabili să nu fie lăsați singuri cu iluziile lor.”

Georgio a rezonat cu aceste sentimente și a îndemnat Big Tech să colaboreze cu clinicienii pentru a crea căi de recomandare, în loc să lase oamenii blocați pe cont propriu.

Krym a insistat că companiile de tehnologie “au o responsabilitate directă—nu doar să răspundă când ceva merge prost, ci să proiecteze în moduri care să reducă riscul de la început.” Cu toate acestea, ea consideră că implicarea utilizatorilor este, de asemenea, crucială.

“Și, important,” a argumentat Krym, “utilizatorii ar trebui să fie invitați să își stabilească propriile limite și, de asemenea, să fie avertizați când aceste limite sunt depășite. De exemplu, vor să fie punctul lor de vedere validat în raport cu modelele tipice sau sunt deschiși să li se provoace părtinirea? Stabiliți obiectivele. Tratați omul ca fiind cel în control—nu instrumentul cu care interacționează.”