Impulsado por
News

Psicosis de IA: Líderes tecnológicos instan a establecer salvaguardias para evitar que los chatbots validen delirios

El concepto de psicosis AI emergió públicamente a mediados de 2025, destacando problemas de salud mental vinculados al uso de la IA. Aunque las empresas tecnológicas no están obligadas a controlar el uso de la IA, aún pueden implementar salvaguardas para evitar que los chatbots refuercen el pensamiento delirante. Los expertos coinciden en la necesidad de que las empresas tecnológicas apoyen a las personas en riesgo, aunque las opiniones varían sobre el alcance de esta responsabilidad.

ESCRITO POR
COMPARTIR
Psicosis de IA: Líderes tecnológicos instan a establecer salvaguardias para evitar que los chatbots validen delirios

Señales de alerta conductuales

Los primeros hallazgos documentados sobre la “psicosis AI” comenzaron a aparecer públicamente a mediados de 2025, y desde entonces, se han publicado varios informes y estudios sobre problemas de salud mental relacionados con el uso de la IA. Mustafa Suleyman, CEO de Microsoft AI, llegó a calificar la psicosis AI como un “riesgo real y emergente”.

Se dice que esta condición surge cuando la distinción entre las interacciones humanas y las de máquinas se difumina, haciendo que sea difícil para las personas diferenciar entre los mundos real y digital. Aunque aún no es un diagnóstico clínico formal, existe una creciente preocupación entre expertos médicos y tecnológicos sobre los efectos psicológicos de la IA, especialmente con los chatbots que validan y amplifican creencias, incluyendo el pensamiento delirante, sin ofrecer los controles de realidad necesarios.

Las personas más en riesgo incluyen individuos socialmente aislados, aquellos con problemas de salud mental preexistentes o propensos al pensamiento mágico. La validación de la IA puede reforzar las ilusiones, conduciendo a consecuencias negativas en el mundo real como relaciones dañadas y pérdida de empleo.

Algunos expertos advierten que incluso aquellos sin condiciones preexistentes están en riesgo. Han identificado varias señales de alerta conductuales clave que los usuarios de IA deberían observar. Una señal de alerta es cuando un individuo desarrolla una relación obsesiva con un chatbot e interactúa constantemente con él para reforzar sus propias ideas y creencias.

Este comportamiento a menudo incluye proporcionar a la IA detalles personales excesivos en un intento de “entrenarla” y crear un sentido de comprensión mutua. Otra señal de alerta es cuando un individuo comienza a delegar decisiones simples y cotidianas a la IA, desde temas de salud y dinero hasta relaciones personales.

Responsabilidad corporativa y salvaguardas

Aunque no están obligadas a controlar cómo se usa la IA, las empresas detrás de algunos de los chatbots poderosos pueden implementar salvaguardas que eviten que los agentes conversacionales refuercen el pensamiento delirante. Mau Ledford, cofundador y director ejecutivo de Sogni AI, discutió la incorporación de software que desaliente tal pensamiento.

“Necesitamos construir IA que sea amable sin coludir. Eso significa recordatorios claros de que no es humana, rechazo a validar ilusiones y límites claros para empujar a las personas de regreso hacia el apoyo humano”, aseguró Ledford.

Roman J. Georgio, CEO y cofundador de Coral Protocol, instó a los desarrolladores de IA a evitar repetir los errores de las redes sociales incluyendo puntos de fricción integrados que recuerden a los usuarios que la IA no es humana.

“Creo que comienza con el diseño. No solo optimices para retención y adhesividad; eso es repetir el error de las redes sociales”, explicó Georgio. “Incorpora puntos de fricción donde la IA desacelera las cosas o deja en claro: ‘No soy humano’. La detección es otra parte. La IA podría marcar patrones que parecen espirales delirantes, como bucles de conspiración o fijaciones en ‘mensajes especiales’”.

El cofundador de Coral Protocol insistió en que también se necesitan regulaciones que gobiernen la privacidad de los datos, argumentando que sin ellas, “las empresas solo perseguirán el compromiso, incluso si afecta a las personas”.

El debate sobre la IA similar a la humana

Hasta ahora, hay aparentemente datos limitados sobre la “psicosis AI” para informar a los responsables políticos y reguladores sobre cómo responder. Sin embargo, esto no ha impedido que los desarrolladores de IA presenten agentes de IA similares a los humanos y empáticos. A diferencia de los chatbots básicos que siguen un guion rígido, estos agentes pueden entender el contexto, reconocer emociones y responder con un tono que siente empático. Esto ha llevado a algunos observadores a urgir a la industria de la IA a liderar en asegurar que los modelos similares a los humanos no terminen difuminando la línea entre humano y máquina.

Michael Heinrich, CEO de 0G Labs, dijo a Bitcoin.com News que aunque estos agentes son útiles en ciertos escenarios y no deben ser rechazados completamente, es imperativo que “permanezcan neutrales y eviten mostrar demasiada emoción u otros rasgos humanos”. Esto, argumentó, ayuda a los usuarios a entender que el agente de IA es “simplemente una herramienta y no un reemplazo para la interacción humana”.

Mariana Krym, arquitecta de productos y categorías de IA, dijo que hacer que el agente sea más honesto y no más humano es lo que importa.

“Se puede crear una experiencia de IA que sea útil, intuitiva, incluso emocionalmente receptiva, sin pretender que es consciente o capaz de cuidar”, argumentó Krym. “El peligro comienza cuando una herramienta está diseñada para realizar una conexión en lugar de facilitar la claridad”.

Según Krym, la verdadera empatía en la IA no se trata de imitar sentimientos, sino de respetar límites y limitaciones técnicas. También es saber cuándo ayudar y cuándo no entrometerse. “A veces la interacción más humana es saber cuándo quedarse callado”, afirmó Krym.

Deber de cuidado

Todos los expertos entrevistados por Bitcoin.com News coincidieron en la necesidad de que las empresas tecnológicas ayuden a individuos en riesgo, pero difirieron en el grado en que deberían hacerlo. Ledford cree que “Big Tech tiene un deber de cuidado” y puede demostrarlo proporcionando “redes de seguridad: referencias de crisis, advertencias de uso y transparencia, para que los usuarios vulnerables no se queden solos con sus ilusiones”.

Georgio estuvo de acuerdo con estos sentimientos y urgió a Big Tech a trabajar con clínicos para crear rutas de referencia, en lugar de dejar a las personas atrapadas por sí solas.

Krym insistió en que las empresas tecnológicas “tienen responsabilidad directa, no solo para responder cuando algo sale mal, sino para diseñar de maneras que reduzcan el riesgo desde el principio”. Sin embargo, cree que la participación del usuario también es crucial.

“Y lo que es importante”, argumentó Krym, “los usuarios también deberían ser invitados a establecer sus propios límites y ser advertidos cuando estos límites se crucen. Por ejemplo, ¿quieren que su punto de vista sea validado contra patrones típicos, o están abiertos a que se desafíe su sesgo? Establece las metas. Trata al humano como el que está a cargo, no a la herramienta con la que interactúan”.

Etiquetas en esta historia