AI 환각은 개소리인가

프랭크퍼트 이후의 진실, 오류, 책임

────────────────────────────────────────

인공지능의 잘못된 출력을 둘러싼 가장 흔한 말은 두 가지다. 하나는 기술 용어에 가까운 '환각(hallucination)'이고, 다른 하나는 일상어이면서도 철학적으로는 대단히 정교한 뜻을 가진 '개소리(bullshit)'다. 전자는 언어모델이 사실과 어긋난 문장을 그럴듯하게 산출하는 현상을 가리키고, 후자는 해리 프랭크퍼트가 분석했듯이 진실에 대한 특정한 태도를 가리킨다. 따라서 "AI 환각은 개소리인가"라는 질문은 단순한 비유가 아니다. 그것은 오류를 어떻게 분류할 것인지, 책임을 어디에 둘 것인지, 그리고 오늘날 공적 담화에서 진실이 어떤 방식으로 약화되는지를 함께 묻는 질문이다.

이 물음에는 이미 경쟁하는 답이 존재한다. 2024년 Hicks, Humphries, Slater는 「ChatGPT is Bullshit」이라는 도발적 제목의 논문에서, 대형 언어모델의 출력이 프랭크퍼트적 의미에서 곧바로 개소리라고 주장했다. 그들의 핵심 논거는, 개소리의 핵심 표지가 발화 주체의 의식적 의도가 아니라 진실과의 연결이 체계적으로 부재한 발화 구조에 있다는 것이었다. 반대편에는 환각을 순수한 기술적 오류로 환원하려는 입장이 있다. 기계에는 의도가 없으므로 도덕적 범주 자체가 적용 불가하다는 것이다.

이 글은 그 두 극단을 함께 피하려 한다. 엄밀히 말하면 AI 환각은 프랭크퍼트의 뜻에서 곧바로 개소리라고 부르기 어렵다. 그러나 그것을 순수한 기술적 오차로 축소하는 것 또한 위험하다. AI 환각은 인간이 구축한 사용 환경과 유통 구조 속에서 개소리와 매우 흡사한 사회적 기능을 수행하며, 나아가 공적 개소리의 자동화된 하부 구조가 될 수 있다. 이 이중성을 밝히는 것이 이 글의 논제다.

1. 진실의 경기장과 그 바깥

먼저 개념을 분명히 해야 이후의 혼동을 피할 수 있다. 프랭크퍼트에게 거짓말쟁이는 여전히 진실을 의식하는 존재다. 그는 무엇이 사실인지를 최소한 배경으로 알고 있으며, 그 사실을 가리거나 뒤집기 위해 발화한다. 그래서 거짓말은 진실을 부정하지만, 동시에 진실의 권위를 전제한다. 거짓말쟁이는 진실과 대립하되, 진실이라는 기준에서 완전히 이탈하지는 않는다. 바로 이 점 때문에 프랭크퍼트는 거짓말쟁이와 진실한 사람이 서로 반대편에 서 있을 뿐, 여전히 같은 경기장 안에 있다고 보았다. 그 경기장의 이름은 진실이다.

개소리꾼의 위치는 다르다. 그는 진실을 부정하려고 애쓰는 사람이 아니라, 진실이 문제인지 아닌지에 애초에 큰 관심이 없는 사람이다. 그에게 중요한 것은 말이 사실인가보다 그 말이 어떤 인상을 만드는가, 어떤 효과를 내는가, 자신을 어떻게 보이게 하는가다. 프랭크퍼트가 개소리를 거짓말보다 더 위험한 것으로 본 이유도 여기에 있다. 거짓말은 진실을 왜곡하지만, 개소리는 진실이라는 기준 자체를 흐리게 만든다. 진실과 허위를 가르는 질문이 약해질 때, 공적 담화는 개별 오류보다 더 깊은 수준에서 부패한다.

이 정의에서 두 가지 요소가 핵심적이다. 첫째, 개소리는 내용의 참·거짓이 아니라 발화자의 태도에 의해 규정된다. 개소리꾼의 말은 우연히 참일 수도, 거짓일 수도 있다. 문제는 내용이 아니라, 내용의 진위에 대한 조직적 무관심이다. 둘째, 이 무관심은 단순한 부주의가 아니라 일종의 실천적 전략이다. 개소리꾼은 진실을 추구하지 않되, 청중에게 특정 인상을 심는 목적은 분명히 추구한다. 이 두 번째 요소, 즉 인상 관리의 의도성이야말로 이후 AI와의 비교에서 가장 까다로운 지점이 된다.

2. '환각'이라는 은유와 그 한계

이제 AI 쪽으로 시선을 옮기면, 가장 먼저 부딪히는 것은 용어의 문제다. 오늘날 언어모델의 오류는 흔히 'hallucination'이라 불리지만, 이 명명은 이미 해석을 포함하고 있다. 2024년 Maleki, Padmanabhan, Dutta의 체계적 검토는 'AI 환각'이라는 표현이 여러 분야에서 일관되지 않게 쓰여 왔으며, 용어 자체가 혼동을 키운다고 지적했다. 2025년 Ibrahim과 Cheng 역시 LLM 연구 전반에 인간적 속성을 너무 쉽게 투사하는 경향이 사고의 틀을 좁힐 수 있다고 경고했다. '환각'이라는 표현은 기계가 무엇인가를 잘못 지각하거나 헛것을 보는 것처럼 들리게 만들며, 그 순간 우리는 이미 기계에게 인간적 마음을 빌려주고 있다.

보다 정밀한 용어는 Nature에 실린 Farquhar 등의 2024년 연구에서 찾을 수 있다. 이들은 환각의 하위 유형 가운데 특히 '작화(confabulation)'를 구분해 다루었다. 작화란 원래 신경심리학 용어로, 기억의 공백을 당사자가 의식하지 못한 채 그럴듯한 내용으로 메우는 현상을 뜻한다. 작화하는 환자는 거짓말하는 것이 아니다. 그는 자신이 무엇을 모르는지를 모르며, 빈 곳을 채운 내용이 틀렸다는 사실조차 자각하지 못한다. 언어모델이 근거가 빈약하거나 부재해도 유창하게 문장을 계속 산출하는 양상은 바로 이 작화와 구조적으로 닮았다. 모델에는 '모름'을 내부적으로 표상하는 안정적 메커니즘이 부족하기 때문에, 공백은 통계적으로 가장 개연적인 패턴으로 자동 충전된다.

작화 개념이 중요한 이유는, 그것이 환각이라는 은유보다 훨씬 정확하게 모델의 실패 양상을 포착하면서도, 동시에 인간 행위자의 의도를 전제하지 않기 때문이다. 환각은 지각 주체를 암시하고, 거짓말은 진실을 아는 주체를 암시하지만, 작화는 공백 자체를 인지하지 못하는 시스템의 구조적 한계를 가리킨다. 이 구분을 놓치면 이후의 윤리적 논의가 처음부터 기울어진다.

3. AI 환각은 개소리인가: 엄밀한 검토

이제 본래의 질문으로 돌아오자. 프랭크퍼트의 정의를 충실히 따를 때, AI 환각은 개소리인가. 현재의 언어모델은 프랭크퍼트가 전제한 의미에서 진실에 무관심한 주체가 아니다. 그것은 믿음도, 냉소도, 허영도, 자기 연출 의지도 갖고 있지 않다. 앞서 본 개소리의 두 번째 핵심 요소, 즉 인상 관리의 의도성은 기계에게 귀속시킬 수 없다. 따라서 프랭크퍼트의 엄밀한 정의에 따를 때 AI 환각은 그대로 개소리라고 말하기 어렵다.

그러나 Hicks, Humphries, Slater의 반론은 여기서 정면으로 부딪힌다. 그들의 논증 핵심은, 개소리의 본질적 표지가 발화 주체의 의식적 태도가 아니라 진실에 대한 체계적 무연결에 있다는 것이다. 이 독법에 따르면, 언어모델은 설계상 진실과의 연결 없이 텍스트를 생산하므로, 그 출력은 구조적으로 개소리의 조건을 충족한다. 이 주장에는 분명한 강점이 있다. 프랭크퍼트의 텍스트 자체가 개소리의 핵심을 '진실과의 연결 부재'로 서술하는 대목이 있으며, 이 요소만 분리하면 의도 없는 시스템에도 적용 가능해 보인다.

그럼에도 이 확장에는 대가가 따른다. 프랭크퍼트가 개소리를 거짓말보다 더 위험하다고 본 것은, 개소리꾼이 진실의 경기장 자체에서 빠져나오려는 인간적 선택을 하기 때문이다. 그 선택이 없으면 위험의 성격이 달라진다. 언어모델은 진실의 경기장에 들어선 적이 없으므로 거기서 빠져나올 수도 없다. 이것은 단순한 정의 논쟁이 아니라 처방의 차이를 만든다. 인간의 개소리에는 진실에 대한 태도를 바꾸라는 도덕적 요구가 적합하고, 기계의 환각에는 모델 구조와 평가 체계를 바꾸라는 기술적·제도적 요구가 적합하다. 두 현상을 같은 이름으로 부르면 이 처방의 차이가 흐려질 위험이 있다.

따라서 이 글이 취하는 입장은, AI 환각은 프랭크퍼트의 엄밀한 의미에서 개소리가 아니되, Hicks 등의 확장적 정의에서 드러나듯 개소리와의 구조적 유사성은 무시할 수 없다는 것이다. 문제는 이 유사성이 어디에서 오는지를 더 세밀하게 해부하는 일이다.

4. 구조적 닮음의 해부

AI 환각이 개소리와 닮아 보이는 이유는 크게 세 가지 층위에서 분석할 수 있다.

첫째, 산출 조건의 유사성이다. 프랭크퍼트는 현대 사회를 두고, 잘 모르는 것에도 끊임없이 의견을 표명해야 하는 압박이 개소리를 양산한다고 보았다. 오늘의 언어모델에도 구조적으로 유사한 압력이 존재한다. OpenAI의 2025년 연구는 언어모델이 환각하는 주요 이유 가운데 하나로, 표준적 훈련과 평가가 '모른다'보다 '일단 답한다'를 상대적으로 더 보상해 왔다고 설명한다. 정확도 위주의 벤치마크에서는 신중하게 보류하는 모델보다 무릅쓰고 추측하는 모델이 점수에서 더 유리해질 수 있다. Anthropic의 2025년 연구 역시 다음 토큰 예측이라는 훈련 목표 자체가, 알지 못하는 상황에서도 추측을 유인하는 구조임을 분석한다. 물론 사회적 압박과 목적함수의 압박은 존재론적으로 다르다. 그러나 '침묵보다 발화를, 보류보다 응답을, 모름의 인정보다 유창한 완결을 향해 밀려나는' 구조적 양상은 놀라울 만큼 평행한다.

둘째, 출력 표면의 유사성이다. 개소리꾼의 말과 환각하는 모델의 출력은 공통적으로 내용의 진위와 무관하게 자신감 있는 어조를 띤다. 이 매끈한 표면이 수용자에게 '이 정도로 유창하면 사실일 것'이라는 착각을 일으킨다. 2025년 Suzgun 등의 연구는 여러 언어모델이 믿음, 지식, 사실의 구분을 안정적으로 처리하지 못한다고 보고했다. 특히 1인칭의 거짓 믿음 상황에서 성능이 크게 흔들린다는 결과는, 모델이 '무엇이 참인가'와 '무엇이 참이라고 주장할 수 있는가'를 구별하는 데 한계가 있음을 보여 준다. 여기서 상관과 인과를 구분할 필요가 있다. 유창함이 오류를 직접 산출한다기보다, 유창함이 수용자의 경계심을 낮추어 오류의 사회적 유통을 쉽게 만드는 경향이 더 정확한 설명이다.

셋째, 인간 피드백 기반 강화학습(RLHF)이 도입하는 새로운 차원이 있다. 현재의 주요 언어모델은 사전 훈련 이후 인간 평가자의 선호도에 맞추어 미세 조정된다. 이 과정에서 모델은 '정확한 답'보다 '선호되는 답'을 산출하도록 최적화된다. 물론 정확성과 선호가 대부분의 경우 일치하지만, 구조적으로 보면 이것은 진실보다 인상을 우선시하는 방향으로의 미묘한 기울기를 만든다. 프랭크퍼트가 개소리의 핵심으로 본 것, 즉 사실 여부보다 발화의 효과를 앞세우는 구조가, RLHF를 통해 기계에 일종의 설계적 유비물로 각인되는 셈이다. 이것은 의도가 아니라 구조이므로 인간의 개소리와 범주적으로 같지는 않다. 그러나 그 효과는 방향적으로 닮아 있다.

5. 책임의 지형

AI가 스스로 개소리하는 주체가 아니라면, 진짜 개소리는 어디에서 발생하는가. 이 질문에 답하려면 책임의 위치를 여러 층위에서 살펴야 한다.

가장 직접적인 층위는 설계의 책임이다. 모델 구조와 훈련 체계가 모름의 표명을 어렵게 만들고 유창한 추측을 보상한다면, 그 설계에는 개소리 친화적 편향이 내장되어 있다. 이것은 개별 오류의 문제가 아니라, 오류가 산출되기 쉬운 환경을 조성한 설계의 문제다. 불확실성 표명, 답변 보류의 허용, 출처 기반 보강, 검색 증강 생성(RAG) 같은 기술적 처방은 모두 이 층위에 대한 대응이다.

두 번째 층위는 배치와 유통의 책임이다. 모델이 생성한 문장을 검증 없이 권위처럼 포장하는 플랫폼, 출처 확인보다 속도와 매끄러움을 보상하는 인터페이스, 잘 모르는 문제에 대해서도 즉각적 답변을 요구하는 시장이 결합할 때, 환각은 단순한 기술적 오류를 넘어 공적 개소리의 증폭기로 변환된다. 프랭크퍼트의 언어로 번역하면, 문제가 되는 것은 기계의 내면이 아니라 진실이라는 경기장을 방치하는 인간의 실천이다.

세 번째 층위는 사용자의 책임이다. 모델의 출력을 자신의 판단으로 검증하지 않고 그대로 유통시키는 사용자는, 기계의 작화를 자신의 개소리로 전환하는 주체가 된다. 이때 프랭크퍼트의 정의가 비로소 완전하게 적용된다. 사용자는 내용의 진위를 확인할 의지 없이, 다만 그것이 만드는 인상과 효과만을 취하여 발화한다. AI 환각 그 자체는 개소리가 아닐 수 있지만, 인간이 그것을 전유하는 순간 고전적 의미의 개소리가 완성된다. 이 세 번째 층위야말로 프랭크퍼트의 문제의식이 AI 시대에 가장 절실하게 갱신되어야 할 지점이다.

6. 결과가 같다면 같은 죄인가

이상의 분석에 대해 강한 반론이 가능하다. 사용자 입장에서 보면 의도가 있든 없든, 자신감 넘치게 틀린 답을 내놓는 시스템은 사실상 개소리꾼과 다를 바 없지 않은가. 의료, 법률, 교육처럼 오류 비용이 큰 영역에서는 결과가 우선적으로 중요하기 때문이다. 실제 피해의 차원에서 보면, 인간이든 기계든 신뢰를 유도한 뒤 잘못된 내용을 전달했다는 사실이 더 결정적일 수 있다. 그러므로 넓은 사회 비평의 언어에서는 AI 환각을 '개소리적'이라고 부르는 수사가 충분히 이해 가능하며, 그런 명명이 사회적 경각심을 높이는 실용적 기능을 할 수도 있다.

그러나 철학적으로는 이 결과주의적 등치가 만드는 맹점을 짚어야 한다. 결과가 비슷하다고 해서 행위의 종류가 같아지는 것은 아니다. 이 구분은 단지 학술적 깔끔함을 위한 것이 아니라, 처방의 정확성을 위한 것이다. 인간의 개소리에는 진실에 대한 태도를 교정하라는 도덕적·규범적 요구가 앞선다. 자기 자신과 청중에 대한 정직함의 윤리, 공적 발화에서 사실 확인의 의무, 무지를 인정하는 덕목이 그 처방의 핵심이다. 반면 AI 환각에는 평가 설계의 개선, 불확실성 정량화, 검색 기반 보강, 답변 보류 허용, 출처 제시 의무화 같은 기술적·제도적 처방이 더 직접적이다. 두 현상을 같은 범주에 넣으면, 전자에는 과도한 관용이, 후자에는 과도한 도덕화가 적용될 위험이 있다.

더 나아가, 결과의 동일성 자체도 면밀히 따지면 불완전하다. 인간의 개소리는 발화자의 사회적 위치, 권위, 맥락에 따라 영향력이 달라지며, 수정 요구를 받았을 때 도덕적 주체로서 응답할 수 있다. 기계의 환각은 대규모로 복제 가능하고, 맥락에 무감각하며, 수정 요구에 대해 도덕적으로 응답하지 못한다. 피해의 규모와 양상이 구조적으로 다르다면, 결과가 '같다'는 전제 자체가 과잉 단순화일 수 있다.

7. 결론: 진실의 경기장을 유지하는 일

처음의 질문으로 돌아가자. AI 환각은 개소리인가. 프랭크퍼트의 엄밀한 정의에 따르면 그렇지 않다. 개소리는 진실에 대한 태도이고, 현재의 AI는 그런 태도의 주체가 아니다. 그러나 이 부정만으로는 충분하지 않다. AI 환각은 개소리와 구조적으로 닮은 조건에서 생산되고, 개소리와 구분하기 어려운 표면으로 유통되며, 인간이 그것을 전유하는 순간 고전적 의미의 개소리로 완성된다.

따라서 더 정확한 결론은 이렇다. AI 환각은 그 자체로는 개소리가 아니지만, 인간 사회가 그것을 다루는 방식에 따라 개소리의 자동화된 하부 구조가 된다. 위험의 핵심은 기계가 거짓말한다는 데 있지 않고, 인간이 기계를 통해 진실과 무관한 말하기에 더 쉽게 익숙해진다는 데 있다. 프랭크퍼트의 문제의식을 오늘로 옮기면, 가장 심각한 사태는 틀린 문장이 조금 더 늘어나는 것이 아니라 사실 여부를 묻는 습관 자체가 약해지는 것이다.

여기서 하나의 윤리적 원칙이 도출된다. 기계의 작화를 인간의 개소리로 전환시키지 않는 것. 이것은 기술 설계자에게는 모름의 표명을 보상하는 시스템을 만들라는 요구이고, 플랫폼 운영자에게는 유창함을 권위로 포장하지 말라는 요구이며, 사용자에게는 검증 없이 전유하지 말라는 요구다. 프랭크퍼트가 진실의 경기장이라고 불렀던 것, 즉 참과 거짓을 진지하게 묻는 공적 실천의 공간은, AI 시대에도 유지되어야 하며 어쩌면 지금이야말로 가장 의식적으로 유지해야 할 시점이다. 기계는 그 경기장에 들어선 적이 없다. 그러나 인간은 기계를 핑계로 거기서 나올 수 있다. 바로 그것이 진짜 위험이다.

────────────────────────────────────────

참고자료

Frankfurt, Harry G. "On Bullshit." Raritan 6(2), 1986.

Frankfurt, Harry G. On Bullshit. Princeton University Press, 2005.

Hicks, Michael Townsen, James Humphries, and Joe Slater. "ChatGPT is Bullshit." Ethics and Information Technology 26, 2024.

Ji, Ziwei et al. "Survey of Hallucination in Natural Language Generation." ACM Computing Surveys 55(12), 2023.

Maleki, Negar, Balaji Padmanabhan, and Kaushik Dutta. "AI Hallucinations: A Misnomer Worth Clarifying." arXiv:2401.06796, 2024.

Farquhar, Sebastian et al. "Detecting hallucinations in large language models using semantic entropy." Nature 630, 2024.

Ibrahim, Lujain, and Myra Cheng. "Thinking beyond the anthropomorphic paradigm benefits LLM research." arXiv:2502.09192, 2025.

Kalai, Adam Tauman, Ofir Nachum, Santosh S. Vempala, and Edwin Zhang. "Why Language Models Hallucinate." OpenAI / arXiv:2509.04664, 2025.

Anthropic. "Tracing the Thoughts of a Large Language Model." Research note, 2025.

Suzgun, Mirac et al. "Language models cannot reliably distinguish belief from knowledge and fact." Nature Machine Intelligence 7, 2025.