Skip to content

읽히지 않는 것들: 행간, 가치, 몸의 통합

인간은 말해진 것보다 말해지지 않은 것을 더 많이 읽으며, 그 능력은 추상적 의식이 아니라 맥락을 감지하고 가치를 느끼며 몸으로 응답하는 통합에서 나온다.

손이 떨리는데 "괜찮아"라고 말할 때

어떤 장면을 생각해 보자. 오래된 친구가 전화를 받는다. 목소리는 평탄하고, 말은 정확하며, 내용은 아무 이상이 없다. 그런데 수화기 너머로 무언가가 전해진다. 말끝이 0.2초쯤 더 짧게 끊기고, 숨이 문장 사이가 아니라 문장 안에서 들어오며, 습관처럼 붙던 웃음소리가 없다. 듣는 사람은 물어본다. "진짜 괜찮아?" 그 질문은 내용을 분석해서 나온 것이 아니다. 무언가를 감지했기 때문에 나온 것이다.

인간이 말 너머를 읽는다는 것은 추상적 주장이 아니라 매일 반복되는 장면이다. 회의실에서 발표를 하는 사람의 오른손이 미세하게 떨린다. 말은 유창하고, 슬라이드는 완성도가 높으며, 내용에 논리적 결함이 없다. 그런데 옆에 앉은 동료는 안다. 저 사람이 지금 확신보다 버팀으로 저기 서 있다는 것을. 그것은 정보도 분위기도 아니라 몸에서 몸으로 전해지는 무언가다.

AI는 이 장면에서 무엇을 읽는가. 텍스트라면 단어와 문장의 의미를 처리한다. 음성이라면 파형과 주파수와 포즈를 분석한다. 영상이라면 표정 근육의 움직임과 손의 위치 변화를 추적한다. 모두 정확하다. 그러나 그 정확함이 읽어내는 것은 개별 신호의 값이지, 그 신호들이 하나의 사람 안에서 어떻게 긴장하고 있는지가 아니다.

말해진 것의 외부에 있는 의미

관계가 깊을수록 말의 내용은 더 적은 정보를 운반한다. 오랜 연인 사이에서 나누는 짧은 대화를 보자. "요즘 좀 어때?" "그냥 바빠." 이 두 문장의 정보량은 거의 없다. 그러나 그 관계에서 "그냥 바빠"는 말의 뜻이 아니라 말의 방향이 전달된다. 이 사람이 지금 거리를 두고 싶은지, 위로를 원하지만 표현하지 못하는지, 아니면 정말 신경 쓰이는 것이 없는지. 그 구분은 내용에서 오지 않는다. 어떤 맥락에서, 어떤 톤으로, 어떤 타이밍에 그 말이 나왔는지에서 온다.

인간이 서로를 읽는 방식은 언어의 의미 처리가 아니라 의미의 총체적 복원이다. 말해진 내용, 말해지지 않은 내용, 말이 나오기 전의 침묵, 말이 끝난 뒤의 여백, 그것이 놓인 관계의 역사, 지금 이 시점의 신체 상태. 이것들이 하나의 장면으로 통합될 때 비로소 이해가 생긴다.

이런 통합은 주의가 필요한 것이 아니다. 속도가 느린 것이 아니다. 자동으로 일어난다. 상대방의 표정이 바뀌기도 전에 무언가를 느끼고, 상대가 입을 열기 전에 무슨 말이 나올지를 예감하며, 누군가가 방에 들어오는 순간 그 사람의 상태를 감지한다. 그 감지는 항상 정확한 것이 아니다. 인간은 타인의 감정 상태를 잘못 읽고, 침묵을 오해하며, 관계의 무게를 잘못 배분한다. 그러나 틀리는 것도 이 통합 안에서 일어난다. 신호를 분류하지 못해서가 아니라, 맥락 전체를 하나의 장면으로 구성하는 과정에서 특정 요소에 잘못된 무게를 두기 때문이다.

AI의 처리 방식은 이와 다른 방향을 향한다. 더 많은 신호를 처리함으로써 더 정확한 예측을 만드는 것이다. 표정 분석의 정확도를 높이고, 어휘 선택의 감정적 가중치를 정교하게 설정하며, 대화 패턴에서 이탈을 감지한다. 성능은 실제로 개선된다. 그러나 개선되는 것은 개별 신호의 정확한 분류이지, 그 신호들이 하나의 살아 있는 사람의 상태로 통합되는 방식이 아니다.

몸이 판단에 개입하는 방식

신체 기반 판단은 의식적 분석에 앞선다. 한 의사가 응급실에서 환자를 처음 본다. 차트에는 수치들이 있다. 혈압, 심박수, 체온, 산소 포화도. 그런데 숙련된 의사는 차트를 보기 전에 이미 무언가를 느낀다. 환자의 얼굴 색깔, 호흡의 리듬, 피부의 질감, 시선의 초점. 이것들은 의식적으로 체크리스트를 거쳐 처리되지 않는다. 몸이 먼저 응답하고, 뇌가 그것을 의식으로 올린다.

신경과학자 안토니오 다마시오(Antonio Damasio)는 몸의 상태 변화가 의사결정과 사회적 판단에 본질적으로 개입한다는 것을 보였다. 그가 연구한 복내측 전전두피질(vmPFC) 손상 환자들은 인지 기능은 보존되었지만, 실생활에서의 판단 능력이 현저히 저하되었다. 이유는 몸의 신호가 판단에 개입하는 경로가 손상되었기 때문이다. 감정을 느끼지 못하면 판단도 제대로 작동하지 않는다는 것이다. 인간의 이성적 판단은 신체적 감각과 분리된 순수한 연산이 아니다. 몸의 상태가 판단의 입력값이다.

이것은 의사 결정뿐 아니라 타인 이해에도 적용된다. 누군가가 슬프다는 것을 인식할 때 인간의 뇌는 슬픔과 관련된 신체 상태를 일부 재현한다. 비토리오 갈레제(Vittorio Gallese)와 자코모 리촐라티(Giacomo Rizzolatti)의 거울 뉴런 연구는 타인의 행위와 표정을 관찰할 때 관찰자의 뇌에서 유사한 운동 패턴이 활성화된다는 것을 보였다. 고통을 목격할 때 우리가 움츠러드는 것은 은유가 아니다. 신경 수준에서 타인의 상태가 나의 몸 안에서 반향된다. 이 반향이 이해의 기반이 된다. 그리고 이 반향은 가치 판단과 분리되지 않는다. 타인의 고통이 나의 몸에서 재현될 때, 그 재현은 "이 상황이 나쁘다"는 판단을 논리적 추론 이전에 이미 발생시킨다. 가치는 감지되는 것이지 추론되는 것이 아니다. 다마시오가 보인 것처럼, 이 신체 기반 가치 감지가 손상되면 추론 능력이 온전해도 실제 판단이 무너진다. 다만 신체 표지 가설과 거울 뉴런-공감 연결은 각각 적용 범위와 인과 해석을 둘러싼 논쟁이 있으며, 여기서의 논점은 이 이론들의 완전한 옳음이 아니라 신체 상태가 판단과 이해에 개입한다는 방향성이다.

AI 시스템은 신체를 갖지 않는다. 이것은 결핍이기 전에 구조의 차이다. 언어 모델은 슬픔을 표현하는 패턴을 학습하고 그것을 재생산할 수 있다. 그러나 슬픔이 무엇인지를 몸의 상태로 아는 것이 아니라, 슬픔과 연결된 텍스트 패턴으로 안다. 이 두 앎은 기능적으로 유사한 출력을 만들 수 있지만, 그 앎이 작동하는 기반이 다르다.

AI가 읽는 것과 읽지 못하는 것 사이

이 지점에서 반론을 정리해야 한다. AI가 몸을 갖지 않는다 해도, 행동 데이터와 언어 패턴에서 인간보다 더 정확하게 감정 상태를 예측할 수 있다는 주장이 있다. 일부 연구에서 통제된 조건 안에서는 그것이 사실로 확인된다. 표정·음성·생체 신호 기반 AI 시스템이 레이블된 임상 환경에서 우울증 선별 지표를 향상시킨 사례가 있고, 심박 변이 분석이 특정 실험 조건에서 자기 보고보다 스트레스 예측력이 높다는 연구가 보고된 바 있다. 그러나 이 성능은 표준화된 신호와 명확한 레이블이 전제된 조건에 한정되며, 일상적 사회적 상호작용으로 일반화되지 않는다. 감정 인식 AI 성능에 대한 체계적 검토(Khare et al., 2024)와 얼굴 표정-감정 추론의 한계에 관한 연구(Barrett et al., 2019)는 이 조건 의존성을 공통적으로 지적한다.

더 강한 반론도 있다. 기능적으로 적절한 응답을 생성할 수 있다면, 그 응답이 신체 기반 이해에서 나왔는지 패턴 기반 생성에서 나왔는지는 중요하지 않다는 것이다. 출력이 같다면 기반의 차이는 실천적으로 무의미하지 않은가. 이 반론은 진지하게 다뤄야 한다.

두 가지 지점에서 이 반론의 범위를 좁힐 수 있다. 첫째, 인간의 비언어 감지 자체가 높은 오류율을 가진다는 점이다. 리사 펠드먼 배럿(Lisa Feldman Barrett)의 연구는 얼굴 표정만으로 감정 상태를 정확히 추론하기 어렵다는 것을 보여준다. 인간도 자주 틀린다. 그러나 인간이 틀리는 방식은 AI가 틀리는 방식과 다르다. 인간은 관계의 역사, 직전 대화의 무게, 자신이 같은 상황에서 느꼈던 것을 과잉 적용하거나 잘못 배분해서 틀린다. AI는 학습된 패턴에 없는 맥락에서 신호의 범주 귀속 자체가 불안정해진다. 틀리는 이유의 구조가 다르다.

둘째, 체화된 AI나 로봇 시스템이 신체 감각을 갖게 되면 이 논증이 약화되는 것 아닌가. 이것은 현실적인 경계 질문이다. 그러나 현재 상용 또는 연구 단계의 체화 AI 시스템, 즉 외부 센서를 통해 환경 신호를 입력으로 처리하지만 내수용감각(interoception)을 갖지 않는 시스템은 신체 신호를 입력으로 처리하지, 신체 상태의 변화를 판단의 입력값으로 통합하지 않는다. 다마시오가 기술한 신체 표지 체계(somatic marker)는 몸의 상태가 의식 이전에 이미 선택지를 사전 평가하는 구조다. 신체 신호를 분석하는 것과, 신체 상태가 판단 구조 안에 내장되어 작동하는 것은 다르다. 이 구분이 유지되는 한, 기능적 등가성 반론은 현재 기술 수준에서는 성립하기 어렵다.

친구의 목소리에서 무언가를 감지하는 것은 그 목소리가 어느 감정 범주에 속하는지를 판단하는 것이 아니다. 이 사람이 지금 어디에 있는지를 느끼는 것이다. 그리고 그 느낌은 이 사람과 나 사이의 역사, 내가 같은 상황에서 어떤 상태였는지의 기억, 지금 이 대화가 어떤 무게를 가지고 있는지를 동시에 끌어들인다. 이것이 복원이다. 파편화된 신호에서 하나의 통합된 상태를 재구성하되, 재구성의 재료가 신호 외부에 있는 관계·역사·신체 기억이라는 점에서 분류와 구별된다.

현재의 언어 모델은 이 복원 과정에 필요한 재료를 갖추고 있지 않다. 발화자의 몸이 지금 어떤 상태인지를, 그 몸이 이 말을 하기 위해 어떤 긴장을 감수했는지를, 이 문장이 끝난 뒤 그 사람의 어깨가 어떻게 내려앉을지를 처리 대상으로 가지고 있지 않다. 그리고 그것을 처리하지 않으면서도 언어적으로는 매우 정확한 응답을 생성할 수 있다. 이것이 AI 언어 능력의 범위이자 그 능력이 작동하는 층위다.

맥락을 읽고 가치를 느끼며 몸으로 응답하는 능력

앞에서 축적된 장면들은 하나의 방향을 가리킨다. 인간이 서로를 이해하는 능력은 단일한 기능이 아니다. 행간을 읽는 능력, 관계의 무게를 감지하는 능력, 가치 판단이 감정으로 현시되는 능력, 타인의 상태가 내 몸에서 반향되는 능력. 이것들이 분리되어 있지 않고 하나의 통합된 작동으로 움직인다.

이 통합의 핵심에 가치 감지가 있다. 가치는 여기서 윤리적 명제가 아니라 신체 기반의 즉각적 평가를 가리킨다. 친구의 목소리에서 뭔가 잘못되었다고 느끼는 것, 회의실의 긴장이 평소와 다르다고 알아채는 것, 누군가의 침묵이 거절인지 두려움인지를 몸이 먼저 구분하는 것. 이 평가들은 논리적으로 도출되는 것이 아니라, 맥락과 관계와 신체 상태가 통합되는 순간 발생한다. 다마시오의 체계에서 이것은 신체 표지(somatic marker)로 작동한다. 선택지에 신체 기반 가치가 이미 붙어 있고, 그것이 판단의 방향을 미리 설정한다.

이 통합 능력은 훈련으로 향상된다. 타인을 세밀하게 관찰한 경험, 자신의 감정과 몸의 상태에 주의를 기울여온 시간, 이해에 실패하고 다시 시도한 관계의 역사가 이 통합을 정교하게 만든다. 그 정교함은 발달 초기부터 신체에 새겨진 기반 위에서 쌓인다. 인간은 언어를 배우기 전에 이미 타인의 표정과 목소리 톤을 읽는다.

인간의 이해는 타인의 상태가 자신의 신체 상태를 변화시키고, 그 반향이 가치 감지와 맥락 복원으로 이어지는 과정에서 형성된다. 타인의 고통과 긴장은 외부 신호로만 주어지는 것이 아니라, 관계의 역사와 몸의 반응 속에서 하나의 장면으로 통합된다. 이 통합이 인간이 행간과 가치와 몸을 함께 읽는 방식이다.

참고자료

  • Damasio, Antonio. Descartes' Error: Emotion, Reason, and the Human Brain. Putnam, 1994. — §3 vmPFC 손상 연구 및 신체 표지 개념의 근거.
  • Damasio, Antonio. The Feeling of What Happens: Body and Emotion in the Making of Consciousness. Harcourt, 1999. — §5 신체 표지(somatic marker)와 가치 감지 논의의 근거.
  • Gallese, Vittorio. "The 'Shared Manifold' Hypothesis: From Mirror Neurons to Empathy." Journal of Consciousness Studies 8, no. 5–7 (2001): 33–50. — §3 신체 반향 논의의 근거.
  • Rizzolatti, Giacomo, and Laila Craighero. "The Mirror-Neuron System." Annual Review of Neuroscience 27 (2004): 169–192. — §3 거울 뉴런 연구의 근거.
  • Barrett, Lisa Feldman, et al. "Emotional Expressions Reconsidered: Challenges to Inferring Emotion From Human Facial Movements." Psychological Science in the Public Interest 20, no. 1 (2019): 1–68. — §4 인간 정서 지각의 오류 가능성 및 AI 감정 인식 성능의 일반화 한계 논거.
  • Khare, Siddharth Kumar, et al. "Emotion Recognition and Artificial Intelligence: A Systematic Review (2014–2023) and Research Recommendations." Engineering Applications of Artificial Intelligence 127 (2024): 107503. — §4 AI 감정 인식 성능의 조건 의존성 및 일반화 한계 논거.