Psychose de l'IA : les leaders technologiques appellent à des mesures de protection pour empêcher les chatbots de valider les délires

Signaux d’alerte comportementaux

Les premières constatations documentées sur la “psychose IA” ont commencé à émerger publiquement au milieu de l’année 2025, et depuis lors, plusieurs rapports et études ont été publiés sur les problèmes de santé mentale liés à l’utilisation de l’IA. Le PDG d’IA de Microsoft, Mustafa Suleyman, est allé jusqu’à qualifier la psychose IA de “risque réel et émergent.”

Cette condition est censée surgir lorsque la distinction entre les interactions humaines et machines s’estompe, rendant difficile pour les individus de différencier les mondes réel et numérique. Bien qu’il ne s’agisse pas encore d’un diagnostic clinique formel, les experts médicaux et technologiques s’inquiètent de plus en plus des effets psychologiques de l’IA, en particulier avec les chatbots qui valident et amplifient les croyances, y compris les pensées délirantes, sans offrir les vérifications de la réalité nécessaires.

Les personnes les plus à risque incluent celles socialement isolées, celles ayant des problèmes de santé mentale préexistants ou celles enclines à la pensée magique. La validation par l’IA peut renforcer les délires, entraînant des conséquences négatives dans le monde réel comme des relations endommagées et la perte d’emploi.

Certains experts avertissent que même ceux sans conditions préexistantes sont à risque. Ils ont nommé plusieurs signaux d’alerte comportementaux clés dont les utilisateurs d’IA devraient être vigilants. Un signal d’alerte est lorsqu’un individu développe une relation obsessionnelle avec un chatbot et interagit constamment avec lui pour renforcer ses propres idées et croyances.

Ce comportement inclut souvent de nourrir l’IA avec des détails personnels excessifs dans le but de “l’entraîner” et de construire un sentiment de compréhension mutuelle. Un autre signal d’alerte est lorsqu’un individu commence à reporter les décisions quotidiennes simples à l’IA, qu’il s’agisse de santé, de finances ou de relations personnelles.

Responsabilité d’entreprise et mesures de protection

Bien qu’elles ne soient pas obligées de contrôler comment l’IA est utilisée, les entreprises derrière certains des chatbots puissants peuvent mettre en place des mesures de protection qui empêchent les agents conversationnels de renforcer les pensées délirantes. Mau Ledford, co-fondateur et PDG de Sogni AI, a discuté de l’intégration de logiciels qui découragent une telle pensée.

“Nous devons construire une IA qui soit bienveillante sans collusion. Cela signifie des rappels clairs qu’elle n’est pas humaine, un refus de valider les délires, et des interruptions forcées qui ramènent les gens vers un soutien humain,” a affirmé Ledford.

Roman J. Georgio, PDG et co-fondateur de Coral Protocol, a exhorté les développeurs d’IA à éviter de répéter les erreurs des réseaux sociaux en incluant des points de friction intégrés qui rappellent aux utilisateurs que l’IA n’est pas humaine.

“Je pense que cela commence par la conception. Ne vous contentez pas d’optimiser pour la rétention et l’adhérence ; c’est répéter l’erreur des réseaux sociaux,” a expliqué Georgio. “Intégrez des points de friction où l’IA ralentit les choses ou les rend claires : ‘Je ne suis pas humain.’ La détection est une autre partie. L’IA pourrait signaler des schémas qui ressemblent à des spirales délirantes, comme des boucles de conspiration ou une fixation sur des ‘messages spéciaux.’”

Le co-fondateur de Coral Protocol a insisté sur le fait que des réglementations régissant la protection des données sont également nécessaires, arguant que sans elles, “les entreprises ne feront que poursuivre l’engagement, même si cela nuit aux gens.”

Le débat sur l’IA humanisée

Jusqu’à présent, il existe apparemment peu de données sur la “psychose IA” pour informer les décideurs et les régulateurs sur la façon de réagir. Cependant, cela n’a pas empêché les développeurs d’IA de dévoiler des agents IA humanisés et empathiques. Contrairement aux chatbots basiques qui suivent un script rigide, ces agents peuvent comprendre le contexte, reconnaître les émotions et répondre avec un ton qui semble empathique. Cela a incité certains observateurs à exhorter l’industrie de l’IA à prendre les devants pour s’assurer que les modèles humanisés ne finissent pas par brouiller la ligne entre l’humain et la machine.

Michael Heinrich, PDG de 0G Labs, a déclaré à Bitcoin.com News que bien que ces agents soient utiles dans certains scénarios et ne doivent pas être rejetés complètement, il est impératif qu’ils “restent neutres et évitent de montrer trop d’émotions ou d’autres traits humains.” Selon lui, cela aide les utilisateurs à comprendre que l’agent IA est “simplement un outil et non un substitut à l’interaction humaine.”

Mariana Krym, une architecte produit et catégorie IA, a déclaré qu’il est important de rendre l’agent plus honnête et non plus humain.

“Vous pouvez créer une expérience IA qui soit utile, intuitive, même émotionnellement réactive—sans prétendre qu’elle est consciente ou capable de soin,” a affirmé Krym. “Le danger commence lorsqu’un outil est conçu pour simuler la connexion au lieu de faciliter la clarté.”

Selon Krym, la véritable empathie dans l’IA n’est pas de mimer des sentiments mais de respecter les limites et les contraintes techniques. C’est aussi savoir quand aider et quand ne pas s’immiscer. “Parfois, l’interaction la plus humaine est de savoir quand rester silencieux,” a affirmé Krym.

Devoir de protection

Tous les experts interviewés par Bitcoin.com News étaient d’accord sur la nécessité pour les entreprises technologiques d’aider les individus à risque, mais différaient sur l’étendue de ce qu’elles devraient faire. Ledford croit que “les grandes entreprises technologiques ont un devoir de protection” et peuvent le prouver en fournissant des “filets de sécurité—références en cas de crise, avertissements d’utilisation, et transparence—afin que les utilisateurs vulnérables ne soient pas laissés seuls avec leurs délires.”

Georgio a fait écho à ces sentiments et a exhorté les grandes entreprises technologiques à travailler avec les cliniciens pour créer des parcours de référence, au lieu de laisser les gens bloqués seuls.

Krym a insisté sur le fait que les entreprises technologiques “ont une responsabilité directe—non seulement pour réagir lorsque quelque chose tourne mal, mais pour concevoir des manières qui réduisent les risques dès le départ.” Cependant, elle pense que l’implication de l’utilisateur est cruciale également.

“Et surtout,” a argumenté Krym, “les utilisateurs devraient également être invités à définir leurs propres limites, et être signalés lorsque ces limites sont franchies. Par exemple, veulent-ils que leur point de vue soit validé par rapport à des schémas typiques, ou sont-ils ouverts à ce que leur biais soit remis en question ? Fixez les objectifs. Traitez l’humain comme celui qui est en charge—et non l’outil avec lequel ils interagissent.”