Психоз ИИ: Лидеры технологий призывают к мерам предосторожности, чтобы предотвратить подтверждение заблуждений чат-ботами

Поведенческие тревожные сигналы

Первоначальные документированные результаты по “психозу ИИ” начали появляться в середине 2025 года, и с тех пор были опубликованы несколько отчетов и исследований по проблемам психического здоровья, связанным с использованием ИИ. Генеральный директор Microsoft AI Мустафа Сулейман даже заявил, что психоз ИИ является “реальным и нарастающим риском”.

Считается, что это состояние возникает, когда граница между человеческими и машинными взаимодействиями размывается, затрудняя для людей различие между реальным и цифровым мирами. Хотя это еще не формальный клинический диагноз, среди медицинских и технических экспертов растет обеспокоенность психологическими эффектами ИИ, особенно чат-ботов, которые подтверждают и усиливают убеждения, в том числе бредовые мысли, без необходимых проверок реальности.

В группу наибольшего риска входят социально изолированные люди, люди с уже существующими проблемами психического здоровья или склонные к магическому мышлению. Подтверждение со стороны ИИ может усиливать заблуждения, приводя к отрицательным последствиям в реальном мире, таким как испорченные отношения и потеря работы.

Некоторые эксперты предупреждают, что даже те, у кого нет предшествующих состояний, находятся в группе риска. Они назвали несколько ключевых поведенческих тревожных сигналов, на которые пользователи ИИ должны обращать внимание. Один из сигналов — это когда человек развивает навязчивые отношения с чат-ботом и постоянно взаимодействует с ним для подтверждения своих идей и убеждений.

Такое поведение часто включает в себя передачу ИИ избыточных личных данных в попытке “обучить” его и выстроить чувство взаимопонимания. Другим тревожным сигналом является то, что человек начинает доверять ИИ простые, повседневные решения, касающиеся здоровья, денег и личных отношений.

Корпоративная ответственность и меры защиты

Хотя компании не обязаны контролировать использование ИИ, компании, стоящие за мощными чат-ботами, могут реализовывать меры защиты, предотвращая усиление бредового мышления. Соучредитель и генеральный директор Sogni AI Мау Ледфорд обсудил внедрение программного обеспечения, препятствующего такому мышлению.

“Нам нужно создавать ИИ, который будет добрым, но не будет соучаствующим. Это означает четкие напоминания о том, что он не человек, отказ подтверждать заблуждения и жесткие остановки, которые возвращают человека к поддержке со стороны людей”, — заявил Ледфорд.

Роман Дж. Георгио, генеральный директор и соучредитель Coral Protocol, призвал разработчиков ИИ избегать повторения ошибок социальных сетей, добавляя встроенные точки трения, которые напоминают пользователям, что ИИ не является человеком.

“Я думаю, что все начинается с дизайна. Не просто оптимизируйте для удержания и привязанности; это повторение ошибки социальных сетей,” — объяснил Георгио. “Добавляйте точки трения, где ИИ замедляется или делает ясным: ‘Я не человек.’ Обнаружение — это еще одна часть. ИИ мог бы отмечать паттерны, которые выглядят как бредовые спирали, такие как конспиративные циклы или фиксации на ‘особых сообщениях’.”

Соучредитель Coral Protocol настаивал на том, что также необходимы регламенты, регулирующие конфиденциальность данных, утверждая, что без них “компании просто будут гнаться за вовлеченностью, даже если это вредит людям.”

Дебаты о человекоподобном ИИ

На данный момент, казалось бы, ограниченные данные о “психозе ИИ” для информирования политиков и регуляторов о том, как реагировать. Однако это не помешало разработчикам ИИ представлять человекоподобных и эмпатичных агентов ИИ. В отличие от простых чат-ботов, которые действуют по жесткому сценарию, эти агенты могут понимать контекст, распознавать эмоции и отвечать с тоном, который кажется эмпатичным. Это побудило некоторых наблюдателей призвать ИИ-индустрию взять на себя ведущую роль в обеспечении того, чтобы человекоподобные модели не размывали границу между человеком и машиной.

Майкл Хайнрих, генеральный директор 0G Labs, сообщил Bitcoin.com News, что хотя эти агенты полезны в определенных сценариях и их нельзя полностью отвергнуть, важно, чтобы они “оставались нейтральными и избегали демонстрации чрезмерных эмоций или других человеческих черт.” Это, по его словам, помогает пользователям понять, что агент ИИ “просто инструмент, а не замена для общения с людьми.”

Мариана Крым, архитектор продуктов и категорий ИИ, заявила, что важно, чтобы агент был более честным, а не более человечным.

“Вы можете создавать опыт ИИ, который полезен, интуитивно понятен, даже эмоционально отзывчив — без притворства, что он сознателен или способен к заботе,” — утверждала Крым. “Опасность начинается тогда, когда инструмент предназначен для создания связи вместо облегчения ясности.”

По мнению Крым, настоящая эмпатия в ИИ состоит не в подражании чувствам, а в уважении границ и технических ограничений. Это также знать, когда оказать помощь, а когда не вмешиваться. “Иногда самый человечный взаимодействие — это знать, когда молчать,” — заявила Крым.

Обязанность заботы

Все эксперты, опрошенные Bitcoin.com News, согласны с необходимостью помощи уязвимым людям со стороны технологических компаний, но разошлись во мнениях относительно степени того, как это следует делать. Ледфорд считает, что “Большая Технология обязана заботиться” и может это доказать, предоставляя “сети безопасности — кризисные направления, предупреждения о использовании и прозрачность — чтобы уязвимые пользователи не оставались наедине со своими заблуждениями.”

Георгио поддержал эти чувства и призвал Большую Технику работать с клиницистами для создания направительных путей, вместо того чтобы оставлять людей застрявшими.

Крым настаивала, что технологические компании “имеют прямую ответственность — не только реагировать, когда что-то идет не так, но и разрабатывать способы снижения рисков в первую очередь.” Однако она считает, что вовлеченность пользователя также крайне важна.

“И важно,” — утверждала Крым, — “пользователи тоже должны быть приглашены установить свои собственные границы, и их следует предупреждать, когда эти границы пересекаются. Например, они хотят, чтобы их точка зрения проверялась на соответствие типичным паттернам, или они открыты для того, чтобы их предвзятость подверглась вызову? Установите цели. Обращайтесь с человеком как с главным, а не с инструментом, с которым он взаимодействует.”