집단은 왜 알면서도 멈추지 않는가 — 인간의 비합리성과 AI의 진단 범위
인간 집단은 정보를 처리하는 체계이면서 동시에 사실을 채택하는 규칙을 스스로 바꾸는 체계다. 여기서 사실의 기준 조정이란, 반례가 들어왔을 때 판단을 수정하는 대신 어떤 자료를 증거로 인정할지, 어떤 보고를 신뢰할지, 어떤 경고를 배제할지를 집단의 자기보존에 맞춰 재배열하는 과정을 뜻한다. 이 이중성이 집단 파국의 핵심 구조를 이루고, AI의 예측 능력이 높아질수록 오히려 선명해지는 한계를 만든다. AI는 손실 누적의 조기 신호를 감지하고, 보고 체계와 원자료 사이의 괴리를 탐지하며, 반복되는 실패 패턴을 표면화할 수 있다. 그러나 집단이 정체성과 서사를 지키기 위해 사실의 기준을 조정하는 순간, 가장 정밀한 경고조차 처리되지 않는 신호로 밀려난다.
예측하는 기계 앞에서도 파국은 반복된다
오늘날 집단의 오류를 줄이는 해법으로 분석 도구의 정밀화가 꾸준히 제안된다. 더 많은 데이터, 더 강한 계산력, 더 정교한 예측 모델이 인간 집단의 비합리성을 줄여줄 것이라는 기대다. 이 기대에는 근거가 있다. 개인 수준에서 인간은 대체로 손익을 따지고, 실패를 수정하며, 명백한 손실 앞에서 후퇴할 수 있다. 정보가 충분할수록 판단의 질이 개선된다는 연구 축적도 존재한다.
그러나 집단 파국의 결정적 국면에는 이 논리가 작동하지 않는 패턴이 반복된다. 충분한 정보가 존재하는 상황에서도, 때로는 정보가 과잉인 상황에서도, 집단은 자신을 무너뜨리는 현실을 수용하는 대신 그 현실을 설명하는 체계를 바꾼다. 집단은 분석 도구의 결과를 거부하는 데서 멈추지 않고, 결과를 수용할 내부 절차와 권한 배치까지 조정할 수 있다. 이 움직임이 어떤 구조로 작동하는지를 묻는 것이 분석 도구의 정밀도를 높이는 것보다 더 근본적인 질문이다.
합리적 분석은 어디서 무너지는가
집단을 이해하는 데 통용되는 분석 도구는 대략 세 가지다. 합리적 행위자 가정, 인과적 단선 추적, 데이터 기반 예측이다. 이 세 도구는 개인 수준에서 설명력이 높지만, 집단 파국의 핵심 국면에서는 설명력이 떨어진다.
합리적 행위자 가정은 집단이 안정된 효용 함수에 따라 움직인다고 전제한다. 그러나 집단 내부에서는 목표 자체가 계속 변형된다. 침묵보다 고발이 안전하고, 의심보다 확신이 공동체 소속을 보장하는 상황에서는, 개인의 판단이 현실 적합성보다 집단 내 위치 안정성에 종속된다. 각 개인의 선택이 국지적으로 합리적이어도 집단 전체의 방향은 자기파괴적이 된다.
인과적 단선 추적은 원인 A가 결과 B를 낳는 구조를 전제한다. 그러나 집단 파국은 결과가 다시 원인을 강화하는 재귀 구조로 전개된다. 소문이 공포를 낳고, 공포가 고발을 부르며, 고발과 처벌이 다시 공포를 키운다. 위기가 군사 동원을 낳고, 동원이 상대의 위협 인식을 강화하며, 강화된 위협 인식이 추가 동원을 부른다. 이 재귀 구조 안에서는 원인과 결과를 단선으로 분리하는 분석 자체가 현실을 빗나간다.
데이터 기반 예측은 이미 발생한 패턴을 읽는다. 그러나 인간 집단은 관측되는 순간 스스로를 바꾼다. 찰스 굿하트(Charles Goodhart)가 통화정책의 맥락에서 지적한 문제처럼, 통제 지표가 정책 목표로 고정되면 기존 통계적 관계는 관리 행위의 압력 아래 흔들린다. 위기 상황에서는 이 왜곡이 더 빠르게 진행된다. 불리한 정보는 보고 과정에서 약화되고, 위험 경보는 조직이 허용하는 우선순위에 맞춰 재배열되며, AI가 내보내는 신호도 그것을 처리하는 제도 내부에서 다시 가공된다.
집단을 파국으로 이끄는 세 가지 힘
합리적 분석의 설명력이 약해지는 자리에는 다른 힘이 작동한다. 단기 신호 과민성은 즉각적으로 주목을 끄는 위협·모욕·배신의 신호가 장기 손실 계산을 밀어내는 상태를 뜻한다. 집단 정체성의 생존 압도는 사실 판단이 집단 소속과 자기상 보존의 압력을 먼저 받는 상태다. 내러티브 기반 현실 왜곡은 이미 형성된 집단 서사가 새로운 자료의 의미와 증거 지위를 선별하는 상태를 가리킨다.
인간 집단은 장기적 손실 계산보다 즉각적인 사회적 신호에 강하게 반응한다. 감정, 명예, 모욕, 배신감은 미래 손실보다 빠르게 행동을 촉발한다. 정보 캐스케이드 이론은 사람들이 선행 행위를 관찰한 뒤 자신의 사적 정보를 뒤로 미루고 다수의 선택을 추종하는 메커니즘을 설명한다. 이 글은 그 메커니즘을, 위기 국면에서 빠르게 부상한 사회적 신호가 판단의 프레임을 조기에 고정하는 현상과 접속해 읽는다. 단기 신호 과민성은 정보 캐스케이드 자체의 직접 결론이라기보다, 집단이 즉시 읽히는 신호에 판단 순서를 종속시키는 더 넓은 구조를 설명하는 개념이다.
인간 집단은 생물학적 생존 외에 정체성 보존을 위해서도 움직인다. 자신이 속한 집단의 의미 체계가 붕괴한다는 신호가 오면 개인은 생존 이익보다 정체성 보존을 우선할 수 있다. 국가, 종교, 민족, 혁명, 이념이감정의 조직 원리로 기능할 때, 패배 인정은 자기 세계의 붕괴로 받아들여진다. 후퇴는 배신으로 느껴진다.
인간은 복잡한 현실을 이야기 형태로 압축한다. 이 이야기가 현실을 설명하는 데서 멈추지 않고 무엇을 사실로 간주할지 결정하는 기준이 될 때 문제가 발생한다. 집단 서사가 형성되면 새로운 정보는 독립적으로 평가되지 않고, 기존 서사를 강화하거나 위협하는 자료로 먼저 분류된다. 티무르 쿠란(Timur Kuran)이 선호 위장(preference falsification) 개념으로 분석했듯, 집단 안에서는 내면의 판단과 외부 표현이 분리되면서 오류 체계가 더 오래, 더 광범위하게 유지된다.
오류가 결속의 연료가 되는 두 장면
이 세 힘이 어떻게 결합해 작동하는지는 두 역사적 사례에서 구체화된다.
1692년 매사추세츠 세일럼의 마녀사냥은 공동체 갈등이 사실 판단의 조건을 어떻게 바꾸는지 보여준다. 폴 보이어(Paul Boyer)와 스티븐 니선바움(Stephen Nissenbaum)은 세일럼의 고발 양상이 마을 내부의 경제적·종교적 분열과 맞물려 있었다고 분석했다. 이 관점에서 보면 고발은 단순한 사실 전달을 넘어, 이미 균열된 공동체가 자신과 타자를 분류하는 갈등의 매개로 기능했다. 고발이 축적될수록 공동체는 사건의 진위를 분별하는 절차보다 자신이 이미 채택한 의심의 질서를 유지하는 데 더 큰 압력을 받았다.
의심 → 고발 → 처벌 → 공포 확대 → 침묵 비용 상승 → 더 많은 고발. 이 루프 안에서는 각 개인이 완전히 비합리적이지 않아도 전체 체계가 비합리적으로 장기간 유지된다. AI에게 가장 어려운 지점은 오류가 공동체의 분류 체계와 결속 압력 속에서 재생산된다는 사실이다. 잘못된 믿음이 집단 정체성과 결합하는 순간, 사실 검증은 신념 충성의 시험으로 변형된다.
두 번째는 1914년 여름이다. 6월 28일 오스트리아-헝가리 황태자 부부가 사라예보에서 암살된 뒤 37일 만에 유럽 주요 열강이 전면전에 돌입했다. 크리스토퍼 클라크(Christopher Clark)는 『몽유병자들』(The Sleepwalkers, 2012)에서 각 행위자가 자신의 선택을 방어적이고 합리적인 것으로 해석했지만, 그 총합이 파국을 낳는 과정을 추적했다. 동맹은 억지 장치였지만 위기에서 자동 연쇄 장치가 되었다. 독일의 슐리펜 계획(Schlieffen Plan)은 군사 안보 구조였지만 외교 시간을 압박하는 제약으로 작동했다. 국가 명예는 후퇴 비용을 높이는 심리적 장치가 되었다.
평시에 안정성을 보장하던 요소가 위기에서 불안정성을 증폭했다. 합리적으로 설계된 조각들이 결합해 집합적으로 파국을 만들었다. 시스템은 붕괴 직전까지 자기 자신을 안정적이라고 오판했다.
AI의 탐지 가능성과 구조적 한계
AI는 집단 파국의 전조 신호를 상당 부분 탐지할 수 있다. 손실 누적과 의사결정 왜곡을 조기에 포착하고, 보고 체계와 원자료 사이의 괴리를 식별하며, 정당화 서사와 경험적 근거 사이의 간극을 추적할 수 있다. 정당화 서사란 이미 선택된 방향을 보존하기 위해 실패 신호를 예외, 외부 탓, 충성 시험으로 재해석하는 설명 체계다. AI는 이 서사가 손실 누적과 어떤 간격을 보이는지 지속적으로 비교할 수 있고, 단기 신호에 압도된 조직이 장기 결과를 다시 검토하도록 만드는 외부 검토 장치로 기능할 수 있다.
이 목록은 AI의 역할을 과소평가하는 것처럼 보일 수 있다. AI 시스템이 의사결정 경로에 구조적으로 개입하고 핵심 정보를 강제로 투명화한다면 집단 오류의 상당 부분을 미리 차단할 수 있다는 반론은 타당성이 있다. 그러나 AI가 작동하는 경로는 데이터 입력, 경고 우선순위, 해석 권한, 실행 권한이라는 네 층위로 분절된다. 어떤 자료가 모델에 들어가는지, 어떤 위험이 상위 경보로 분류되는지, 누가 결과를 해석하는지, 그 결과가 실제 결정을 바꿀 권한을 갖는지가 각각 달라질 수 있다. 집단이 사실의 기준을 조정하는 단계에 이르면 이 네 층위가 모두 서사의 압력을 받는다.
그 결과 AI의 출력은 세 방식으로 약화된다. 첫째, 불편한 자료가 입력 단계에서 주변화되면 모델은 왜곡된 현실을 정교하게 재현한다. 둘째, 조직이 위험 경보의 우선순위를 다시 배치하면 중요한 신호가 기술적으로는 존재해도 제도적으로는 보이지 않게 된다. 셋째, 해석자와 의사결정자가 이미 특정 결론을 방어하는 위치에 놓이면 AI의 분석은 기존 선택을 합리화하는 장치로 전환된다. AI는 조직이 어떤 사실을 경고로 인정할지 드러내는 시험지가 되는 셈이다.
세일럼의 마녀사냥에 외부 감사 체계가 있었더라도, 그 결과를 판정하는 권위가 공동체의 의심 질서 안에서 작동했다면 효력은 제한되었을 것이다. 현대 조직에서도 같은 문제가 반복된다. AI가 수집한 반례, 탐지한 보고 왜곡, 식별한 실패 패턴은 결정권 구조가 이를 수용할 때만 조직을 바꾼다. 집단이 사실의 기준을 정치화하면 AI의 출력은 서사 경쟁의 자원으로 편입된다. 이 한계는 기술의 계산 능력에서 오지 않고, 계산 결과를 처리하는 집단의 수용 구조에서 발생한다.
현실 수용 거부가 파국의 핵심 구조다
전쟁이 패색 짙어졌는데도 계속되는 이유, 조직이 실패 지표를 숨기고 낙관적 보고를 유지하는 이유, 공동체가 반례를 제거하고 내러티브를 보존하는 이유는 공통 구조를 가진다. 어떤 사실을 받아들이면 집단의 자기상이 붕괴한다는 공포가 작동한다. 이 공포는 지식에도 불구하고 작동한다.
인간 집단의 가장 위험한 특징은 비합리성을 합리성의 언어로 포장하고, 정체성의 형식으로 안정화하며, 서사의 구조 안에 장기간 봉인하는 능력이다. 이 능력은 집단의 자기유지 구조에서 나온다. 집단이 자신을 지탱하는 서사를 보호하는 것은 집단으로 기능하기 위한 조건이기도 하다. 문제는 이 보호 기제가 임계점을 넘으면 현실 적응 능력 자체를 약화시킨다는 데 있다.
AI는 이 구조 안에서 오류가 서사로 전환되는 순간을 탐지하는 도구로 기능한다. 손실 누적, 보고 왜곡, 정당화 서사와 경험적 근거 사이의 간극을 계속 추적하고 표면화할 수 있다. 탐지 결과를 수용하는 것은 그 결과를 처리하는 집단의 내부 구조 문제다. AI는 파국이 어떤 구조로 작동하는지를 더 선명하게 드러내는 진단 장치다. 그 장치의 신호를 처리할 수 있는 내부 구조가 집단 안에 형성되는가가, 파국이 반복되는지를 결정한다.
참고자료
- Paul Boyer and Stephen Nissenbaum, Salem Possessed: The Social Origins of Witchcraft, Harvard University Press, 1974.
- Christopher Clark, The Sleepwalkers: How Europe Went to War in 1914, Allen Lane, 2012.
- Charles A. E. Goodhart, “Problems of Monetary Management: The U.K. Experience,” in Papers in Monetary Economics, vol. 1, Reserve Bank of Australia, 1975.
- Timur Kuran, Private Truths, Public Lies: The Social Consequences of Preference Falsification, Harvard University Press, 1995.
- Sushil Bikhchandani, David Hirshleifer, and Ivo Welch, “A Theory of Fads, Fashion, Custom, and Cultural Change as Informational Cascades,” Journal of Political Economy, vol. 100, no. 5, 1992, pp. 992–1026.
인포그래픽
작성일: 2026년 5월 17일