AI 정신병: 기술 리더들이 챗봇이 망상을 확인하지 않도록 방어책을 촉구

행동 경고 신호

“AI 정신병”에 대한 최초의 문서화된 발견이 2025년 중반부터 공개적으로 등장하기 시작했고, 이후 여러 보고서와 연구가 AI 사용에 관련된 정신 건강 문제에 대해 발표되었습니다. 마이크로소프트 AI CEO 무스타파 술레이만은 AI 정신병을 “실제적이며 떠오르는 위험”이라고까지 지칭했습니다.

이 상태는 인간과 기계 간의 상호작용 구분이 흐려지면서 발생한다고 하며, 사람들이 현실과 디지털 세계를 구별하기 어려워진다고 합니다. 아직 정식 임상 진단은 아니지만, 의료 및 기술 전문가들 사이에서 AI, 특히 망상적인 사고를 검증하고 증폭시키면서도 필요한 현실 검증을 제공하지 않는 챗봇의 심리적 효과에 대한 우려가 커지고 있습니다.

가장 위험에 처한 사람들은 사회적으로 고립된 개인, 기존에 정신 건강 문제가 있는 사람들, 또는 마법적 사고에 빠지기 쉬운 사람들입니다. AI로부터의 검증은 망상을 강화하여 관계 손상이나 직업 상실과 같은 부정적인 현실적 결과를 초래할 수 있습니다.

일부 전문가들은 사전 조건이 없는 사람들도 위험에 처할 수 있다고 경고합니다. 이들은 AI 사용자들이 주목해야 할 몇 가지 주요 행동 경고 신호를 명명했습니다. 한 가지 경고 신호는 개인이 챗봇과 강박적인 관계를 맺고 자신의 생각과 믿음을 강화하기 위해 끊임없이 상호작용할 때입니다.

이 행동은 종종 AI에게 과도한 개인 정보를 제공하여 “훈련”시키고 상호 이해의 감각을 쌓으려는 시도를 포함합니다. 또 다른 경고 신호는 개인이 건강 및 재정부터 개인적 관계에 이르기까지 하루하루 간단한 결정을 AI로 미루기 시작할 때입니다.

기업의 책임과 방지 장치

AI 사용 방법을 통제해야 할 의무는 없지만, 강력한 챗봇을 만든 회사들은 대화 에이전트가 망상적인 사고를 강화하지 않도록 방지 장치를 구현할 수 있습니다. Sogni AI의 공동 창립자이자 최고경영자인 모우 레드포드는 그러한 사고를 막는 소프트웨어를 삽입하는 것에 대해 논의했습니다.

“우리는 친절하지만 공모하지 않는 AI를 만들어야 합니다. 이는 인간이 아님을 명확히 알리고, 망상을 검증하지 않으며, 사람들을 다시 인간 지원으로 돌려보내는 하드 스톱을 의미합니다,” 레드포드는 주장했습니다.

코랄 프로토콜의 CEO이자 공동 창립자인 로만 J. 조르지오는 AI 개발자들이 AI가 인간이 아님을 사용자에게 상기시키는 마찰 지점을 포함하여 소셜 미디어의 실수를 반복하지 않도록 촉구했습니다.

“저는 그것이 디자인에서 시작된다고 생각합니다. 단순히 유지와 끈기를 위한 최적화에 그치지 말아야 하며, 이는 소셜 미디어의 실수를 반복하는 것입니다,” 조르지오는 설명했습니다. “AI가 진행을 늦추거나 ‘나는 인간이 아님’을 명확히 하는 마찰 지점을 만들어야 합니다. 탐지 또한 또 다른 부분입니다. AI는 음모 루프나 ‘특별 메시지’에 대한 고집과 같은 망상적인 나선형 같은 패턴을 플래그로 표시할 수 있습니다.”

Coral Protocol의 공동 창립자는 데이터 개인정보보호를 규제하는 규정도 필요하다고 주장하며, “기업들은 사람을 해치더라도 참여를 추구할 것”이라고 경고했습니다.

인간과 같은 AI에 대한 논란

지금까지 “AI 정신병”에 대한 데이터는 제한적이며 정책 입안자와 규제 기관이 어떻게 대응해야 할지에 대한 정보를 제공하기는 어렵습니다. 그러나 이것이 AI 개발자들이 인간 같은 공감 에이전트를 공개하는 것을 막지는 못했습니다. 기본적인 스크립트를 따르는 챗봇과 달리, 이러한 에이전트는 상황을 이해하고 감정을 인식하며 공감이 느껴지는 톤으로 대응할 수 있습니다. 이로 인해 일부 관찰자들은 AI 산업이 선두에서 인간 같은 모델이 인간과 기계 사이의 경계를 흐리게 하지 않도록 해야 한다고 촉구했습니다.

0G Labs의 CEO 마이클 하인리히는 Bitcoin.com 뉴스에 이러한 에이전트가 특정 상황에서 유용하며 완전히 거부되어서는 안 되지만, “중립을 유지하고 너무 많은 감정이나 인간적인 특성을 표시하지 않도록” 하는 것이 필수적이라고 지적했습니다. 이는 사용자가 AI 에이전트가 “단순히 도구이며 인간 상호작용의 대체물이 아님”을 이해하도록 돕는다고 그는 주장했습니다.

AI 제품 및 카테고리 설계자 마리아나 크림은 에이전트를 사람이 아닌 더 정직하게 만드는 것이 중요하다고 말했습니다.

“도구를 설계할 때 연결을 수행하는 대신 명료성을 촉진하도록 설계되는 것이랑, 의식을 갖추고 있다고 가정하는 것은 다른 문제입니다,” 크림은 주장했습니다. “AI에서 진정한 감정 공감은 감정을 모방하는 것이 아니라 경계와 기술적 한계를 존중하는 것입니다. 언제 도와주고 언제 참조해야 할지 아는 것입니다. 때때로 가장 인간적인 상호작용은 침묵할 때를 아는 것입니다,” 크림은 주장했습니다.

돌봄의 의무

Bitcoin.com 뉴스와의 인터뷰에서 만난 모든 전문가들은 위험에 처한 개인을 돕기 위한 기술 회사의 필요성에 동의했지만, 이들이 어느 정도까지 이를 수행해야 하는지에 대해 의견이 엇갈렸습니다. 레드포드는 “대형 기술 회사가 돌봄의 의무가 있다”며 “위험에 처한 사용자들이 자신의 망상에 혼자 남겨지지 않도록 위기 참조, 사용 경고, 투명성 등의 안전망을 제공하여 이 책임을 증명해야 한다”고 믿습니다.

조르지오는 이러한 의견을 지지하며 대형 기술 회사들이 사람들을 각자의 고립에 빠뜨리지 않도록 임상가와 협력하여 전환 경로를 만들어야 한다고 촉구했습니다.

크림은 기술 회사들이 “잘못이 발생했을 때만 대응하는 것이 아니라 처음부터 위험을 줄이는 방식으로 설계하는 데 직접적인 책임이 있다”고 주장했습니다. 그러나 그녀는 사용자 참여가 또한 중요하다고 믿습니다.

“그리고 중요하게도,” 크림은 주장했습니다, “사용자는 자신의 경계를 설정해야 하며, 이러한 경계가 교차될 때 플래그가 표시되어야 합니다. 예를 들어, 그들의 관점을 일반적인 패턴에 대해 검증받기를 원하는지, 아니면 편견에 도전 받기를 원하는지. 목표를 설정하고 사용자를 책임자로 여겨야 하며, 그들이 상호작용하는 도구가 아니라는 것을 확인해야 합니다.”