AI Psychóza: Vedoucí technologických společností naléhají na opatření, která zabrání chatbotům potvrzovat bludy

Behaviorální varovné signály

První zdokumentovaná zjištění o “AI psychóze” se začala veřejně objevovat v polovině roku 2025, a od té doby bylo publikováno několik zpráv a studií o otázkách duševního zdraví spojených s používáním AI. Generální ředitel společnosti Microsoft AI Mustafa Suleyman dokonce označil AI psychózu za “skutečné a vznikající riziko.”

Tento stav údajně vzniká, když se stírá rozdíl mezi interakcemi lidí a strojů, což ztěžuje jednotlivcům rozlišit mezi reálným a digitálním světem. I když ještě není formální klinickou diagnózou, mezi lékařskými a technologickými odborníky panuje rostoucí znepokojení ohledně psychologických účinků AI, zejména u chatbotů, které validují a zesilují přesvědčení, včetně bludného myšlení, aniž by poskytovaly nezbytné kontrolní mechanismy reality.

Mezi nejvíce ohrožené patří sociálně izolovaní jedinci, ti s již existujícími problémy duševního zdraví nebo ti se sklony k magickému myšlení. Validace od AI může posilovat bludy, což vede k negativním důsledkům v reálném světě, jako je poškození vztahů a ztráta zaměstnání.

Někteří odborníci varují, že i lidé bez předchozích podmínek jsou ohroženi. Uvedli několik klíčových behaviorálních varovných signálů, na které by si uživatelé AI měli dávat pozor. Jedním z těchto signálů je, když si jedinec vyvine obsesivní vztah s chatbotem a neustále s ním interaguje, aby posílil své vlastní myšlenky a přesvědčení.

Toto chování často zahrnuje poskytování AI nadměrných osobních detailů ve snaze ji “trénovat” a budovat pocit vzájemného porozumění. Dalším varovným signálem je, když jedinec začíná přenechávat jednoduchá každodenní rozhodnutí AI, od zdraví a peněz po osobní vztahy.

Odpovědnost firem a ochranná opatření

I když nejsou povinny kontrolovat, jak je AI používáno, společnosti za některými výkonnými chatboti mohou zavést opatření, která zabrání konverzačním agentům ve zvyšování bludného myšlení. Mau Ledford, spoluzakladatel a generální ředitel Sogni AI, diskutoval o zakomponování softwaru, jenž takové myšlení znevažuje.

“Musíme vytvořit AI, která je laskavá, aniž by se zapletla. To znamená jasná připomenutí, že není člověk, odmítnutí validace bludů a pevné hranice, které lidi vrací k lidské podpoře,” prohlásil Ledford.

Roman J. Georgio, generální ředitel a spoluzakladatel Coral Protocol, vyzval vývojáře AI, aby se vyvarovali opakování chyb sociálních medií tím, že zahrnou vestavěné body tření, které připomenou uživatelům, že AI není člověk.

“Myslím, že to začíná designem. Neoptimalizujte jen pro retenci a přilnavost; to opakuje chybu sociálních médií,” vysvětlil Georgio. “Zahrňte body tření, kde AI věci zpomalí nebo jasně řekne: ‚Nejsem člověk.‘ Detekce je další část. AI by mohla označovat vzory, které vypadají jako bludné spirály, jako konspirační smyčky nebo fixace na ‚speciální zprávy.‘”

Spoluzakladatel Coral Protocol trval na tom, že jsou také potřeba regulace upravující ochranu dat, a argumentoval, že bez nich “firmy budou prostě honit zapojení, i když to lidem škodí.”

Debata o lidskopodobné AI

Doposud existuje jen omezené množství dat o “AI psychóze,” které by informovalo tvůrce politik a regulátory, jak reagovat. To však nezastavilo vývojáře AI při odhalování lidskopodobných a empatických AI agentů. Na rozdíl od základních chatbotů, které dodržují pevný skript, tito agenti mohou pochopit kontext, rozpoznávat emoce a reagovat tónem, který působí empaticky. To vedlo některé pozorovatele k vyzvání AI průmyslu, aby se ujal vedení ve snaze zajistit, že lidskopodobné modely nakonec nebudou stírat hranici mezi člověkem a strojem.

Michael Heinrich, generální ředitel 0G Labs, řekl Bitcoin.com News, že i když jsou tito agenti užiteční v určitých scénářích a neměli by být úplně odmítnuti, je nutné, aby “zůstali neutrální a vyvarovali se přílišného projevování emocí nebo jiných lidských rysů.” To, jak argumentoval, pomáhá uživatelům pochopit, že AI agent je “jednoduše nástroj a ne náhražka lidské interakce.”

Mariana Krym, architektka AI produktů a kategorií, řekla, že je důležité, aby agent byl spíše více čestný než více lidskopodobný.

“Můžete vytvořit AI zážitek, který je užitečný, intuitivní, dokonce emocionálně reagující—aniž by předstíral, že je vědomý nebo schopný pečovat,” tvrdila Krym. “Nebezpečí začíná, když je nástroj navržen k vytváření spojení namísto usnadňování jasnosti.”

Podle Krym skutečná empatie v AI není o napodobování pocitů, ale o respektování hranic a technických omezení. Je to také vědět, kdy pomoci a kdy se nevměšovat. “Někdy je nejhumánnější interakce vědět, kdy zůstat ticho,” tvrdila Krym.

Povinnost péče

Všichni odborníci zpovídaní Bitcoin.com News souhlasili s potřebou, aby technologické společnosti pomohly ohroženým jedincům, ale lišili se v rozsahu, do jakého by to měly dělat. Ledford věří, že “Velká technologie má povinnost péče” a může to doložit poskytováním “bezpečnostních sítí—odkazy na krizovou pomoc, varování o používání a transparentnost—aby zranitelní uživatelé nezůstali sami se svými bludy.”

Georgio zopakoval tyto pocity a vyzval Velkou technologii, aby spolupracovala s kliniky na vytváření cest pro odkazy, místo aby nechávala lidi sami.

Krym trvala na tom, že technologické společnosti “mají přímou odpovědnost—nejen reagovat, když se něco pokazí, ale navrhovat tak, aby minimalizovaly riziko.” Věří však, že zapojení uživatele je také zásadní.

“A důležité,” tvrdila Krym, “uživatelé by měli být vyzváni, aby nastavili své vlastní hranice a byli upozorněni, když jsou tyto hranice překročeny. Například, chtějí, aby jejich pohled byl validován proti typickým vzorům, nebo jsou otevření výzvám svým předsudkům? Nastavte cíle. Zacházejte s člověkem jako s tím, kdo má rozhodující slovo—ne s nástrojem, se kterým interagují.”