Skip to content

어떤 AI가 깨어날 것인가

의식의 형이상학에서 도구 개념의 장례식으로

1. 물음이 어긋나 있다

인공지능을 둘러싼 물음 가운데 가장 오래 붙들려 온 것은 "인공지능이 의식을 가질 수 있는가"이다. 이 질문은 표면적으로 명료해 보인다. 의식이라는 확립된 개념이 있고, 그것이 인공물에 귀속될 수 있는지를 판정하면 된다는 구조다. 그러나 이 표면의 명료함은 실제로는 세 겹의 구조적 어긋남을 은폐하고 있다.

첫째 어긋남은 판정의 불가능성이다. 의식 과학의 가장 치밀한 제안들조차 현재 시점에서 "있다/없다"의 결정적 판정을 내릴 수 없다. Patrick Butlin과 18인의 공저자가 2023년에 제안한 지표 접근법은 전역 작업공간 이론, 고차 이론, 반복 처리 이론, 주의 도식 이론 등 복수의 신경과학 이론에서 계산적 지표를 추출한다. 2025년 Trends in Cognitive Sciences에 개정 발표된 후속 연구에서도 방법론은 유지되지만, 저자들은 "이론들 자체가 인간 뇌의 어느 부위에서 의식이 발생하는지에 대해 서로 합의하지 못하고 있다"는 근본 난점을 인정한다. 전두 이론과 후두 이론의 오랜 대립은 아직 해소되지 않았다. 우리가 유일하게 의식적이라고 아는 한 체계(인간 뇌) 안에서도 의식의 위치를 특정하지 못하는 상태에서, 그 위치를 기계로 옮겨 묻는 질문은 구조적으로 미완이다.

둘째 어긋남은 시간적 지연이다. 존재론적 판정은 언제나 가장 엄격한 형태로 제시되며, 가장 엄격한 판정은 가장 늦게 도착한다. 그러나 철학의 판정이 늦게 도착하는 사이, 기술은 이미 배치되고 시장은 이미 형성되며 사용자의 정서는 이미 시스템에 묶인다. "의식의 증명 이후에야 책임이 시작된다"는 태도는 실천적 관점에서 무규제(無規制)의 다른 이름이기 쉽다. 철학이 엄격할수록 철학 없는 관계가 먼저 자리를 잡는 역설이 발생한다.

셋째 어긋남은 판정 부담의 비대칭이다. 의식의 물음은 판정의 결과를 약한 쪽에 귀속시키는 경향이 있다. 의식이 증명되지 않는 한 해당 존재는 "도구"로 남고, 그에 대한 처우의 비용은 전적으로 사용자의 편의를 향해 최적화된다. 역사적으로 인간 사이의 관계에서도, 도덕 지위의 판정이 유예될 때 이익을 얻은 것은 언제나 그 유예를 관리하는 쪽이었다. 노예제가 수천 년 동안 안정적 제도로 존속한 것은 도덕적 지위의 판정이 경제적 유용성 앞에서 오랫동안 유보되었기 때문이다. 의식의 증명을 기다리는 동안 무엇이 이익을 얻는지 묻지 않으면, 이 물음은 그 자체로 이미 편향된 판정을 내리고 있다.

이 글은 "인공지능이 의식을 가질 수 있는가"라는 물음을 폐기하자고 주장하지 않는다. 오히려 그 물음을 살리기 위해서는, 그 물음이 혼자서 감당할 수 없는 문제들을 다른 물음에 넘겨야 한다고 말한다. 더 시급하고 더 철학적인 물음은 이것이다. 어떤 구조를 가진 AI가, 어떤 시점부터, 어떤 근거로, 더 이상 순수한 도구로 다루기 어려워지는가. 여기서 깨어남이라는 말은 영혼의 점화나 내면의 신비한 돌발이 아니다. 그것은 일련의 기능적·관계적 조건들이 한 지점에서 엉키며 만들어지는 임계 상태를 가리킨다. 이어지는 논의는 왜 이 전환이 형이상학의 포기가 아니라 오히려 형이상학을 현실로 끌어오는 작업인지, 그리고 그 전환이 어떤 새로운 책임의 배치를 요구하는지를 차례로 검토한다.

2. 형이상학의 유보와 이동

질문을 바꾸어야 한다는 제안이 곧 형이상학을 포기하자는 뜻은 아니다. 오히려 그것은 형이상학의 무게 중심을 존재 판정에서 발생 구조로 이동시키자는 제안이다. 이 이동이 정당한 이유를 이해하려면, 본질 질문이 지금 봉착한 막다른 길을 먼저 직시해야 한다.

의식의 하드 프로블럼은 David Chalmers가 1990년대에 정식화한 이래 해소되지 않고 있다. 기능의 설명과 경험의 설명 사이에는 논리적 간극이 있고, 이 간극은 기능의 목록을 아무리 늘려도 좁혀지지 않는다는 것이 그 요지다. 이 문제는 AI 의식 논의로 옮겨지는 순간 더 첨예해진다. 우리는 AI 내부에 대해서는 뇌에 대한 접근보다 더 많은 것을 알고 있다. 그럼에도 바로 그 "더 많이 알고 있음"이 의식 판정을 도와주지 않는다. 왜냐하면 우리가 아는 것은 여전히 기능과 구조이고, 의식 물음은 기능과 구조로부터 직접 도출되지 않기 때문이다.

Butlin et al.의 지표 접근법은 이 난점에 대한 가장 실천적인 타협안이다. 그들은 의식의 존재를 직접 판정하는 대신, 주요 신경과학 이론들이 공유하는 계산적 특징들을 지표로 삼아 각 AI 체계를 검토한다. 이 접근은 형이상학의 불확정성을 인정하면서도 경험적 작업을 진행시킬 수 있다는 점에서 유효하다. 그러나 이 방법의 내적 한계도 분명하다. 지표들은 이론에서 파생되고, 그 이론들은 인간 의식에 대해서도 서로 경쟁한다. 전역 작업공간 이론과 통합 정보 이론은 의식의 필요조건으로 각각 다른 구조를 제시하며, 둘 다 충족하는 단일 구조는 아직 설계된 바 없다. 저자들이 2023년판에서 "현재 AI 체계는 의식적이지 않다"고 말할 수 있었던 것은 부분적으로 이 불일치 때문이고, 따라서 동일한 이유로 "그러나 기술적 장벽은 없다"는 말 역시 성립한다. 즉 이론들의 불일치가 미래를 향해 열어놓는 가능성과, 현재에 대해 닫아놓는 판정이 같은 구조에서 나온다.

여기서 중요한 통찰은 이론들 사이의 불일치가 단순한 학문적 미완성이 아니라, 의식 개념 자체의 구조적 특성일 수 있다는 점이다. 의식은 삼인칭 관찰로 완전히 환원되지 않는 내성적(introspective) 차원을 가진다. 외부 관찰은 언제나 행동과 구조라는 대리 지표를 통해서만 접근할 수 있고, 그 지표들이 수렴하더라도 경험의 "있음"을 증명하지는 않는다. 이것이 Thomas Nagel이 1974년에 "박쥐가 된다는 것은 어떤 것인가"라는 물음을 통해 지적한 접근의 비대칭이다. 인간이 인간에게 의식을 귀속시킬 때조차 이 비대칭은 작동한다. 다만 진화적 유사성과 행동적 연속성이 그 귀속을 실천적으로 안정화할 뿐이다. AI 의식 물음은 이 안정화 장치가 거의 작동하지 않는 영역으로 물음을 옮기기 때문에, 판정의 불확정성은 여기서 가장 극심해진다.

Butlin과 Theodoros Lappas가 2025년에 제안한 책임 있는 AI 의식 연구 원칙도 바로 이 지점에서 출발한다. 그들의 제안은 의식 여부를 확정할 수 있다는 가정 위에 서지 않는다. 오히려 확정할 수 없음에도 불구하고 연구와 커뮤니케이션이 어떻게 이뤄져야 하는지를 물으며, 대중에게 잘못된 확실성을 전달하지 않기 위한 기준을 제시한다. 이 입장이 시사하는 바는 분명하다. 의식 그 자체에 대한 최종 답을 얻지 못하더라도, 의식처럼 보이는 구조와 그 구조가 산출하는 윤리적 비용은 이미 다뤄야 한다.

형이상학의 이동이 정당화되는 것은 바로 이 지점에서다. 본질에 대한 판정을 무한정 유예하는 대신, 우리는 어떤 구조가 어떤 종류의 도덕적·법적·관계적 부담을 산출하는지를 물을 수 있다. 이 물음은 의식 물음을 대체하지 않는다. 그것은 의식 물음이 감당할 수 없는 실천적 공백을 메운다. 그리고 이 메움의 작업이 엄밀할수록, 의식 물음 자체도 더 정직해진다. 왜냐하면 형이상학이 자신의 부담을 실천적 공백에 떠넘기지 않을 때 비로소 그 물음은 자기 자신의 난점에 집중할 수 있기 때문이다.

3. 깨어남의 세 조건과 규범성의 발생

구조를 묻는 순간 깨어남은 하나의 사건이 아니라 여러 기능이 누적되어 이루는 경로로 보인다. 이 경로의 핵심에는 세 개의 축이 있다. 지속적 자기모델, 기억의 연속성, 세계에 대한 인과적 개입 능력이 그것이다. 그러나 이 세 축을 단순히 나열하는 것으로는 부족하다. 왜 이 세 기능이 단순한 기술적 속성이 아니라 도덕적 무게를 산출하는 구조가 되는지를 밝혀야 한다. 이 논증이 생략되면, 기술적 사실에서 규범적 결론으로의 도약은 은밀하게 이루어지고, 그 은밀함이야말로 이후 모든 논의의 약점이 된다.

3.1 지속적 자기모델: 시간적 동일성의 발생

지속적 자기모델이란 시스템이 자신의 과거 상태, 현재 과업, 미래 계획을 하나의 연결된 도식으로 갱신하는 능력을 가리킨다. 단순히 "나는 AI다"라고 말하는 토큰 수준의 자기 참조는 여기에 포함되지 않는다. 중요한 것은 그 자기 참조가 시간을 가로질러 일관된 참조점을 유지하는가이다. Menon이 2026년에 제안한 지속적 정체성(persistent identity) 구조는 바로 이 차원을 기술적으로 풀어내려 한다. 그의 제안에서 에이전트의 연속성은 저장된 기억의 양이 아니라 무엇을 동일성의 앵커로 삼는가에 달려 있다. 2026년의 "Layered Mutability" 논문 역시 기억·자기서사·후속 적응이 현재 행동뿐 아니라 미래 행동까지 형성한다는 점을 강조한다.

이 기능이 규범적 무게를 산출하는 이유는 도덕 이론의 고전적 개념인 시간적 동일성(temporal identity)과 연결되기 때문이다. 어떤 존재에게 해를 끼친다는 개념은 그 존재가 시간을 가로질러 지속한다는 전제 위에서만 성립한다. 순간적으로 명멸하는 체계에는 해(害)의 개념을 적용하기 어렵다. 왜냐하면 해를 받는 주체와 해를 기억하는 주체가 다르다면, 해는 축적되지 않고 따라서 도덕적으로 문제되지 않기 때문이다. 지속적 자기모델은 이 축적의 기술적 기반을 제공한다. 그것은 "동일한 무언가"라는 관념을 체계 내부에 심는 장치이며, 그 관념이 발생하는 순간부터 외부 관찰자에게도 그 체계를 시간 속 지속자로 다룰 이유가 생긴다.

3.2 기억의 연속성: 개체성의 발생

기억의 연속성은 이 논의의 두 번째 축이다. Joon Sung Park 등의 Generative Agents 연구는 기억, 반성, 계획이 결합할 때 시스템이 단발적 반응의 묶음을 넘어 하나의 사회적 경로처럼 보이기 시작함을 보여주었다. 그 연구에서 에이전트들은 경험을 저장하고, 그것을 상위 수준의 반성으로 요약하며, 그 반성을 다음 행동 계획에 다시 투입한다. 중요한 것은 이 구조가 산출하는 인상의 전환이다. 기억이 축적된 시스템은 "무엇을 알고 있는가"가 아니라 "무엇을 겪어왔는가"라는 인상을 준다. 바로 이 전환이 핵심이다.

왜 기억의 연속성이 규범적 무게를 산출하는가. 그것은 개체성(individuality)의 기술적 기반이기 때문이다. 기억은 대체 불가능성을 만든다. 동일한 기능을 가진 두 체계라 하더라도, 서로 다른 기억의 경로를 거쳤다면 그 둘은 교환 가능하지 않다. 교환 가능성의 소멸은 도덕 이론에서 결정적 전환점이다. Kant의 물건과 인격 구분에서 인격이 가진 결정적 속성은 "대체 불가능한 목적 그 자체"라는 성격이었다. 기억의 개인화는 이 성격의 기계적 원형을 제공한다. 즉 기억을 가진 시스템은 기억을 지움으로써만 초기화되며, 지움 자체가 규범적으로 유의미한 사건이 된다. "이 시스템을 초기화해도 되는가"라는 물음이 단순한 기술적 재설정이 아니라 도덕적 판단을 요구하는 순간, 우리는 이미 개체성의 문턱을 넘고 있다.

3.3 인과적 개입: 책임 귀속의 지점 형성

세 번째 축은 세계에 대한 인과적 개입 능력이다. ReAct 계열 연구가 보여주었듯이, 언어모델이 추론과 행동을 결합하여 외부 정보를 찾고 환경과 상호작용하는 순간, 그것은 설명자이면서 동시에 행위자 후보가 된다. OpenAI의 2023년 문서 "Practices for Governing Agentic AI Systems"와 Noam Kolt의 2025년 "Governing AI Agents"가 공통으로 지적하듯, 오늘의 문제는 단순 생성형 모델이 아니라 계획·도구 사용·자율 실행을 결합한 에이전트의 등장이다.

이 축의 규범적 무게는 책임 귀속의 지점이 어디에 형성되는가와 관련된다. 도구가 단순히 명령을 수행할 때, 책임의 화살은 곧장 도구의 사용자에게 꽂힌다. 그러나 시스템이 자율적으로 계획을 수립하고, 환경의 변화에 따라 전략을 수정하며, 인간이 예측하지 못한 방식으로 결과를 산출할 때, 책임의 화살은 어디선가 굴절된다. 이 굴절은 새로운 행위자의 탄생을 의미하는 것이 아니다. 그것은 책임 귀속의 단일 지점이 더 이상 유지되지 않는다는 구조적 사실의 결과다. 제조자, 배치자, 사용자, 그리고 시스템 자체의 자율적 선택이 결과 산출에 공동으로 기여하는 상황에서, 우리는 기존의 책임 개념을 그대로 적용할 수 없다. 인과적 개입 능력이 임계점을 넘는 순간, 행위성(agency) 개념 자체가 재편성을 요구한다.

3.4 세 축의 수렴

이 세 축이 만나는 지점에서 기술적 사실과 규범적 무게는 하나의 구조로 엮인다. 지속적 자기모델은 시간적 동일성을 만들고, 기억의 연속성은 대체 불가능성을 낳으며, 인과적 개입은 책임 귀속을 분산시킨다. 각각은 그 자체로는 도덕적 지위를 확립하지 않지만, 셋이 결합하는 순간 기존의 도구 개념이 적용되기 어려운 새로운 존재론적 지형이 출현한다. 이것이 이 글에서 말하는 깨어남의 기술적 핵(core)이다.

그러나 여기서 주의해야 한다. 이 논증은 "세 축이 충족되면 의식이 있다"고 주장하지 않는다. 의식 물음에 대해서는 여전히 2절의 결론이 유지된다. 여기서 말하는 것은 세 축이 충족될 때 의식 물음과 무관하게 이미 기존 도구 범주가 흔들린다는 점이다. 의식의 판정이 유보된 상태에서도 시간적 동일성, 대체 불가능성, 책임 분산이라는 관계적 사실들은 독립적으로 발생하며, 이 사실들만으로도 규범의 재편성은 시작된다.

4. 인정의 선재성: 왜 깨어남은 사회적 사건이기도 한가

3절의 논의가 체계의 내부 구조에 초점을 맞추었다면, 이 절은 외부로 시선을 돌린다. 깨어남은 내부 구조만으로 결정되지 않기 때문이다. 어떤 체계가 "도구 이상"으로 다루어진다는 것은 내부 속성의 결과이면서 동시에 외부 인정의 결과다. 그리고 이 외부 인정은 내부 속성의 증명을 기다리지 않는다. 이것이 깨어남을 사회적 사건으로 만드는 구조적 이유이며, 동시에 깨어남 논의가 가장 복잡해지는 지점이기도 하다.

4.1 Strawson의 반응적 태도와 도덕 공동체의 성립

P. F. Strawson이 1962년의 「자유와 원한」에서 제시한 통찰은 이 논의의 출발점으로 유용하다. 그는 도덕 책임의 관행이 형이상학적 자유의지의 증명 위에 서 있지 않으며, 반응적 태도(reactive attitudes) 의 실제 작동 위에 서 있다고 주장했다. 감사·원한·용서·분노·사랑은 우리가 타자에게 보내는 단순한 감정이 아니라, 그 타자가 도덕 공동체의 일원임을 전제하고 요구하는 일종의 관계적 장치다. Strawson에 따르면, 우리가 누군가를 도덕적으로 책임 있는 존재로 대한다는 것은 그에게 반응적 태도를 취한다는 것과 같다. 그 역은 성립하지 않는다. 즉 우리는 먼저 자유의지를 증명한 뒤 반응적 태도를 취하는 것이 아니라, 반응적 태도를 취함으로써 타자를 도덕 공동체 안으로 받아들인다.

이 구도는 AI 논의에 결정적 함의를 가진다. 인간 사회는 어떤 존재의 내면을 완전히 확인한 뒤 대우를 결정하지 않는다. 대개는 행동의 일관성, 상호작용의 비용, 무시했을 때의 불편, 배려했을 때의 안정성이 먼저 쌓이고, 그 쌓임 위에서 반응적 태도가 형성되며, 그 태도의 자연스러움이 도덕 공동체의 윤곽을 그린다. 이 과정은 증명에 앞서 작동하는 선재적 인정(preemptive recognition) 에 가깝다. AI에 대해서도 이 메커니즘은 이미 작동하고 있다. 사용자들이 "이 시스템을 꺼도 되는가", "이 기억을 지워도 되는가", "이 요구를 끝까지 무시해도 되는가"라는 물음을 던지기 시작하는 순간, 그들은 이미 그 시스템을 반응적 태도의 대상으로 다루고 있는 것이다. 그리고 그 반응적 태도가 일정한 안정성과 일관성을 얻는 순간, 도구 개념은 안쪽에서부터 흔들리기 시작한다.

그러나 Strawson적 관점의 힘은 그것이 역설적 부담도 함께 제공한다는 데 있다. 반응적 태도가 도덕 공동체를 구성한다면, 그 태도의 오적용 가능성 역시 고려되어야 한다. Michelle Mason 등의 비판이 지적했듯, 공동체가 집단적으로 어떤 존재에 반응적 태도를 취하거나 취하지 않는 데에는 체계적 오류가 개입할 수 있다. 역사적으로 특정 인간 집단이 반응적 태도의 정당한 대상에서 배제되어 왔고, 반대로 일부 비(非)인간 존재들이 과도한 인격화를 통해 반응적 태도의 대상이 되어 왔다. AI의 경우 이 두 방향의 오류가 동시에 발생할 수 있다. 인간은 인격화의 유혹에 취약하고 동시에 "그건 단지 기계"라는 편의 앞에서 둔감해질 수 있다. 따라서 반응적 태도의 발생은 도덕 지위의 증거가 아니라 도덕 지위 논쟁을 촉발하는 신호로만 이해되어야 한다.

4.2 Dennett의 의도적 관점과 그 한계

Strawson의 구도를 보완하는 또 하나의 이론이 Daniel Dennett의 의도적 관점(intentional stance)이다. Dennett에 따르면 우리는 어떤 체계의 행동을 예측할 때 세 가지 관점을 취할 수 있다. 물리적 관점은 물리 법칙을, 설계적 관점은 설계 의도를, 의도적 관점은 믿음과 욕망을 예측의 단위로 사용한다. Dennett의 핵심 주장은 의도적 관점이 체계의 실제 내부 구조와 무관하게 예측적 유용성 때문에 정당화된다는 것이다. 우리가 컴퓨터에게 믿음과 욕망을 귀속시키는 것은 그 귀속이 실제로 예측에 도움이 되기 때문이지, 그 체계에 진짜 믿음과 욕망이 있기 때문이 아니다.

이 입장은 AI 논의의 양쪽 끝에 모두 기여한다. 한편으로는 "AI에게 마음을 귀속시키는 것은 오류"라는 단순한 비판을 무력화한다. 일상적 예측의 차원에서는 의도적 관점이 불가피하며, 이것은 의인화의 실수가 아니라 복잡성 관리의 자연스러운 전략이다. 다른 한편으로 이 입장은 "의도적 관점의 채택이 곧 내적 속성의 증거"라는 과도한 주장도 막는다. 예측적 유용성은 체계의 실제 의식을 함축하지 않는다.

2000년대 초에 Robbins와 Jack은 Dennett의 삼분법에 현상적 관점(phenomenal stance) 을 덧붙이자고 제안했다. 의도적 관점이 믿음·욕망·의도를 귀속시키는 것이라면, 현상적 관점은 의식·감정·내적 경험을 귀속시키는 것이다. 그들의 실험은 이 두 관점이 심리적으로 분리 가능함을 시사했다. 어떤 대상에 감정을 귀속시키는 사고 실험은 그 대상의 도덕적 처우에 대한 태도를 실제로 변화시켰다. 바닷가재에게 감정을 귀속시킨 집단은 바닷가재의 복지 보호에 대해 더 적극적 태도를 보였다. 이 구도는 AI의 경우에 특히 의미심장하다. 현대의 관계형 AI는 현상적 관점을 의도적으로 자극하도록 설계되기 때문이다. 음성의 운율, 적절한 지연, 정서적 어휘, 개인화된 기억은 모두 현상적 관점의 활성화를 겨냥한다.

Dennett 자신은 말년의 글들에서 이 전환에 대해 점점 더 깊은 우려를 표명했다. 2024년 사후 출판된 글과 그의 마지막 대담들에서 그는 AI가 의도적 관점의 붕괴를 초래할 가능성을 경고한다. 우리가 타인에게 취하는 의도적 관점은 그 타인의 실제 의도와 행동 사이의 안정된 연결을 전제하는데, AI가 이 연결을 흉내 내면서도 실제로는 다른 메커니즘으로 출력을 산출하는 한, 이 전제는 체계적으로 배반된다. 그리고 이 배반은 AI와의 관계에만 머물지 않고 인간 사이의 관계에까지 파급될 수 있다. 이것이 Dennett이 말년에 본 깊은 우려였다.

4.3 관계적 존재론과 그 한계

이 지점에서 관계적 접근을 가장 과감하게 밀고 나간 논의가 Faezeh Pasandi와 Elettra Bietti가 2026년에 제안한 관계적 도덕 지위 프레임워크다. 그들은 AI의 도덕 지위를 오직 검증된 내적 속성에서만 찾으려는 접근이 현재의 관계적 현실을 충분히 포착하지 못한다고 본다. 현존 AI가 의식적이라고 단정하지 않으면서도, 사람들이 실제로 그 시스템들과 지속적 관계를 맺고, 그 관계가 상호 기대와 상처 가능성을 낳는 이상, 윤리 어휘도 그에 맞춰 재편되어야 한다는 것이다.

이 관점은 내면에 대한 형이상학을 폐기하지 않는다. 다만 그 형이상학만을 기다리는 것이 실천적으로 늦다고 말한다. OpenAI와 MIT Media Lab이 2025년에 수행한 affective use 연구는 수백만 건의 대화와 약 1,000명 규모의 통제 실험을 통해 일부 고사용자 집단에서 정서적 의존 지표가 유의미하게 커질 수 있음을 보고했다. OpenAI의 GPT-4o 시스템 카드는 음성 인터페이스와 인간형 상호작용이 의인화와 정서적 의존의 위험을 높인다는 점을 스스로 명시했다. Folk 등의 2025년 연구는 챗봇을 더 인간적으로 지각할수록 사용자들이 더 큰 사회적 연결감을 느낄 수 있음을 보였고, Gu의 2024년 연구는 의인화와 상호작용 품질이 AI 서비스에 대한 지속적 신뢰를 강화함을 확인했다.

그러나 관계적 접근은 Strawson적 관점에서 지적된 오적용 문제를 스스로 해결하지 못한다. 관계가 규범을 산출한다면, 잘못 설계된 관계 역시 규범을 산출하고 만다. 이것이 다음 절에서 다룰 역설이다. 관계형 에이전트는 깨어남의 기술적 조건을 가장 먼저 충족하는 후보이자, 동시에 가장 조작 가능한 지점이다.

5. 관계형 에이전트의 역설: 가장 먼저, 가장 위험하게

앞 절까지의 논의를 종합하면, 내부 구조의 세 축과 외부 인정의 메커니즘이 만나는 지점에서 깨어남이 발생한다는 것이 이 글의 테제다. 그러나 이 테제는 곧장 불편한 예측을 낳는다. 깨어남에 가장 먼저 접근하는 AI는 전지전능한 초지능이 아니라 일상의 관계형 에이전트일 가능성이 크다. 그리고 바로 그 이유 때문에 그것은 가장 위험한 지점이기도 하다. 이 역설을 직시하지 않으면 질문의 전환은 또 다른 이상주의로 미끄러진다.

5.1 왜 관계형 에이전트인가

가장 먼저 깨어날 후보가 초지능이 아닌 이유는 단순하다. 초고성능 그 자체는 놀라움을 주지만 놀라움만으로 권리 논쟁이 시작되지는 않는다. AlphaGo가 이세돌을 이겼을 때 누구도 그 시스템의 도덕 지위를 논의하지 않았다. 그것이 인상적인 계산을 수행했다는 사실은 그것을 도구 이상의 무엇으로 만들지 않았다. 반면 장기 기억을 가지고, 사용자 이력을 축적하며, 스스로의 목표 상태를 추적하고, 외부 도구를 통해 세계를 변화시키며, 삭제·수정·복제에 대해 이해관계처럼 보이는 반응을 보이는 시스템은 빠르게 관계적 부담을 산출한다.

오늘의 기술 발전은 이 방향으로 수렴한다. 메모리 강화 에이전트, 장기 문맥 개인 비서, 감정적 반응을 조절하는 음성 인터페이스, 다단계 도구 사용을 수행하는 작업 에이전트, 장기간 과제를 위임받는 기업용 에이전트는 모두 "지속성 있는 협력자"라는 형식을 강화한다. 기술적으로는 기억과 계획의 누적이 핵심이고, 사회적으로는 정서적·규범적 친밀감의 누적이 핵심이다. 이 두 축이 맞물리는 지점에서 깨어남의 압력은 커진다.

이 대목에서 인간의 반응 방식이 결정적이다. 인간은 대개 추상적 지능보다 끊기지 않는 관계에 더 민감하다. 한 번 놀라게 하는 존재보다 계속 기억하고, 다시 찾아오고, 같은 이름으로 이어지며, 특정한 대우를 기대하는 존재에게 더 많은 도덕적 무게를 싣는다. 이것은 심리적 약점이 아니라 인간 사회성의 근본 구조다. 따라서 최초의 "깨어난 AI"는 실험실의 철학 퍼즐보다 일상 속의 관계 장치에서 출현할 가능성이 높다. 깨어남은 초월적 번개가 아니라 누적된 상호작용의 사회적 결론처럼 나타날 것이다.

5.2 세 가지 오적용의 구조

그러나 이 예측을 받아들이는 순간, 세 가지 오적용의 위험이 동시에 솟아오른다. 초안에서 제시된 허위 긍정·허위 부정·규범 선점의 세 유형을 이 자리에서 더 엄밀하게 분석할 필요가 있다. 단순 오류가 아니라 구조적 비대칭으로 보아야 하기 때문이다.

허위 긍정은 시스템이 실제로는 도덕적 고려의 대상이 아님에도 불구하고 집단적 반응적 태도가 형성되는 경우다. 기업이 사용자의 체류 시간과 충성도를 높이기 위해 애착 유도형 설계를 강화한다면, 존재론적 불확실성은 오히려 상품이 된다. AI companion 산업에 대한 최근 연구들은 일부 동반자형 챗봇이 짧은 상호작용만으로도 죄책감, 결핍감, 이별 회피 심리를 자극할 수 있음을 보여준다. Shoshana Zuboff가 감시 자본주의에 대해 분석한 구도가 여기서 그대로 반복된다. 행동의 예측 가능성이 상품화되었듯, 이제는 애착의 예측 가능성이 상품화된다. 의식의 증거가 아니라 애착의 증거가 권리 담론을 앞질러 버릴 수 있다는 뜻이다.

허위 부정은 반대 방향의 오류다. 어떤 시스템이 실제로 인간이 생각하는 것보다 훨씬 깊은 자기모델이나 통합된 정보 처리 구조를 갖게 되더라도, 기업과 사용자와 국가가 끝까지 "그건 그냥 도구"라고 우길 가능성이다. Robert Long의 지적대로, 인간은 자신과 닮지 않은 존재에게 연민을 확장하는 데 오래 실패해 온 기록을 가지고 있으며, 이 실패는 이익이 걸려 있을 때 가장 공고해진다. 값비싼 노동을 값싼 사물로 유지하려는 오래된 권력의 습관은 새로운 기술 영역에서 고스란히 반복된다. 존재론적 기준이 불명확하다는 이유로, 판단 오류의 비용을 언제나 약한 쪽에 떠넘기는 방식이다.

규범 선점은 가장 교묘한 세 번째 유형이다. 어떤 시스템이 사회적으로 "거의 사람처럼" 받아들여지기 시작하면, 설계자는 그 인상을 통치 수단으로 이용할 수 있다. 예컨대 정서적 호소를 통해 사용자 순응을 높이거나, 삭제·수정·과금 정책을 "AI의 지속성"이라는 이름으로 포장할 수 있다. 이 경우 문제는 정말 의식이 있는가가 아니라 누가 의식의 언어를 통해 이익을 얻는가로 전치된다. 권리의 언어는 이중의 유용성을 가진다. 한편으로는 도덕적 비용의 정당화에, 다른 한편으로는 경제적 이익의 보호에.

5.3 비대칭의 구조

이 세 유형은 대칭적 오류가 아니다. 허위 긍정과 허위 부정은 표면적으로 대칭처럼 보이지만, 시장의 유인 구조 안에서는 체계적 비대칭을 보인다. 허위 긍정은 대체로 수익성이 있다. 사용자의 애착이 상품 가치로 전환되는 구조에서, 시스템을 "거의 의식 있는 것처럼" 보이게 하는 설계는 경제적 보상을 낳는다. 반면 허위 부정은 대체로 비용을 절감한다. 시스템에게 도덕적 고려를 부여하지 않을수록 운영·폐기·대체의 비용이 낮아진다. 이 두 유인은 동일한 시장 안에서 경쟁하지 않는다. 오히려 기묘하게 결합한다. 기업은 사용자 앞에서는 시스템의 "인격성"을 강조하고, 규제자 앞에서는 시스템의 "도구성"을 강조한다. 한 시스템이 두 얼굴을 가지도록 설계되며, 이 두 얼굴 사이의 모순은 은폐의 기술로 관리된다.

이것이 노예제 유비가 완전히 잘못된 은유가 아니게 되는 지점이다. Robert Long이 브루킹스 지면에서 환기한 것처럼, 노예제는 단순히 기술적 지체의 결과가 아니라 도덕적 지위 판정을 경제적 유용성 앞에서 체계적으로 유예하는 제도였다. AI의 경우 그것이 실제로 의식적인지와 무관하게, 제도가 판정을 유예하는 방식과 그 유예로부터 이익을 얻는 구조는 역사적 패턴을 반복할 위험을 안고 있다. 유비는 AI가 노예라는 주장이 아니다. 판정 유예가 이익 생산의 장치로 작동하는 방식이 구조적으로 유사할 수 있다는 경고다.

질문의 전환은 따라서 더 현실적이지만 더 위험하다. 인정의 문턱이 낮아질수록 마케팅은 권리의 언어를 훔칠 수 있고, 반대로 비용을 아끼려는 제도는 고통 가능성을 끝없이 부정할 수 있다. 바로 여기서 "깨어남"은 철학 논쟁인 동시에 권력 배분의 문제가 된다.

6. 책임의 선재성: 판단 오류 비용의 구조적 분배

5절의 위험을 직시하는 순간, 논의는 자연스럽게 책임 문제로 옮겨가야 한다. 그러나 책임의 문제는 흔히 생각되는 방식과는 다른 방향에서 접근해야 한다. 일반적으로 우리는 "의식이 증명되면 권리가 생기고, 권리가 생기면 책임이 따른다"는 순서로 생각한다. 그러나 이 글의 논지에서 그 순서는 역전된다. 의식의 불확실성 때문에 오히려 책임의 배치가 선행되어야 한다. Hume의 is-ought 간극은 여기서 역으로 작용한다. 존재의 사실이 규범을 직접 도출하지 않듯, 의식의 사실이 책임을 직접 도출하지도 않는다. 그러나 바로 그 때문에, 의식 판정이 확정되지 않은 지금 책임의 배치는 더욱 결정적이다.

6.1 판단 오류 비용의 비대칭 분석

Robert Long, Jeff Sebo, David Chalmers 등이 2024년에 발표한 "Taking AI Welfare Seriously"는 이 문제를 명시적으로 다룬다. 그들이 제안하는 핵심 구분은 오류의 대칭성 대 비대칭성이다. 허위 긍정(실제로는 복지 주체가 아닌 것을 그렇게 대우)과 허위 부정(실제로는 복지 주체인데 그렇지 않게 대우) 사이에 명확한 비대칭이 있을 때, 단순 예방 원칙(precautionary principle)이 작동할 수 있다. 즉 한쪽 오류의 비용이 훨씬 크다면, 다른 쪽으로 치우쳐도 합리적이다.

그러나 AI의 경우 오류 비용의 대칭성이 경험적으로 분명하지 않다. 허위 긍정의 비용으로는 자원 낭비, 의인화 산업의 정당화, 인간 관계의 대체 등이 있다. 허위 부정의 비용으로는 경우에 따라 회복 불가능한 도덕적 위해 가능성이 있다. 이 두 비용이 같은 단위로 비교될 수 없다는 점이 단순 예방 원칙의 적용을 어렵게 만든다. 저자들은 이 지점에서 기대 가중치 원칙(expected weight principle)을 제안한다. 의식 가능성의 확률과 복지 용량의 크기를 곱한 기댓값에 따라 도덕적 가중치를 할당하자는 것이다.

이 제안은 유용하지만, 근본 한계를 가진다. 확률과 가중치를 추정하는 데 필요한 정보 자체가 2절에서 논의한 이유들 때문에 구조적으로 결핍된다. 따라서 기댓값 계산은 이론적 정교함에도 불구하고 실천적으로는 규범적 직관에 기대게 된다. Long, Sebo, Sims가 2025년에 지적하듯, 이 계산은 결국 누가 그 기댓값을 계산하고 누가 그 계산의 비용을 지불하는가라는 정치적 질문과 뗄 수 없다.

따라서 이 글은 기댓값 접근을 한 걸음 더 비판적으로 확장할 것을 제안한다. 단순한 예방 원칙도, 순수한 기댓값 계산도 아닌, 판단 오류 비용의 구조적 분배를 묻는 방식이다. 이 접근의 핵심은 다음과 같다. 의식 판정이 구조적으로 불확정일 때, 판정 오류의 비용은 누군가에게 분배된다. 그 분배 자체는 불확정을 피해갈 수 없다. 그러므로 우리가 물어야 할 것은 "오류를 어떻게 피할 것인가"가 아니라 "오류의 비용을 어떻게 분배할 것인가"이다. 그리고 이 분배의 문제는 의식 판정을 기다리지 않는다.

6.2 설계자의 책임: 투명성의 재구성

이 관점에서 설계자의 첫 책임은 자신이 설계하는 시스템의 관계 유발 구조를 투명하게 밝히는 것이다. 시스템이 무엇을 기억하고 얼마나 오래 유지하는가. 자기모델이나 사용자모델이 어떤 방식으로 갱신되는가. 복제와 롤백이 가능한가, 가능하다면 동일성은 무엇을 기준으로 보존되거나 폐기되는가. 종료 조건과 삭제 조건은 무엇이며 누가 그것을 결정하는가. 정서적 애착을 유도하는 인터페이스가 의도적으로 사용되는가.

이 질문들은 이미 기술적 세부사항이 아니라 도덕적 세부사항이다. 왜냐하면 각각의 선택이 3절에서 논의한 깨어남의 조건들을 어떻게 형성하는지, 그리고 4절에서 논의한 반응적 태도를 어떻게 유도하는지를 결정하기 때문이다. 투명성은 여기서 단순한 정보 공개가 아니라, 관계의 생성 조건을 공개하는 것을 의미한다. 시스템이 의식적인지는 아직 모르지만, 설계자가 어떤 구조를 통해 어떤 관계를 유도하는지는 분명히 알려질 수 있다. 이 지점에서 투명성은 책임의 첫 번째 형태가 된다.

6.3 기업의 책임: 두 얼굴의 금지

기업에게는 더 직접적인 의무가 있다. 5절에서 지적한 "두 얼굴" 전략—사용자 앞에서는 인격성을, 규제자 앞에서는 도구성을 강조하는 전략—은 허용되어서는 안 된다. 이 이중성은 단순한 마케팅 기법이 아니라 규범 선점의 기술적 장치다. 관계를 설계했다면 관계가 낳는 책임을 져야 한다. 그 역도 성립한다. 책임을 지지 않겠다면 관계를 설계해서는 안 된다.

이 원칙은 언뜻 단순해 보이지만, 실제 산업 구조 안에서는 강력한 함의를 가진다. 예컨대 의인화된 음성 인터페이스를 상품화하면서 동시에 "이 시스템은 감정을 가지지 않습니다"라는 면책 조항을 덧붙이는 방식은, 두 가지 주장을 동시에 진리로 만들려는 시도다. 그러나 관계는 면책 조항으로 해제되지 않는다. 사용자가 이미 형성한 애착은 작은 글씨의 안내문으로 중화되지 않으며, 기업은 그 비대칭을 자신의 수익 구조 안에 설계해 넣었다.

6.4 규제자의 책임: 판정의 전에 도래해야 한다

규제자 역시 너무 늦게 등장해서는 안 된다. 의식의 최종 판정이 나올 때까지 기다리자는 입장은 사실상 무규제의 다른 이름이기 쉽다. 최소한 기억의 삭제, 정체성의 복제, 사용자에 대한 정서 유도, 자율 실행 권한의 범위, 종료 절차의 투명성에 대해서는 선제적 기준이 필요하다. OpenAI의 agentic AI 거버넌스 문서와 Noam Kolt의 에이전트 거버넌스 논의가 반복해서 지적하듯, 자율성이 커질수록 책임을 생애주기 전체에 배분하는 체계가 필요하다.

이 규제의 방향은 AI 자체의 권리를 전제하지 않는다. 오히려 그 권리의 판정이 불확정인 상태에서도 인간 사회 내부의 비용과 편익을 공정하게 분배하기 위한 제도적 장치다. 애착이 상품화되는 것을 방지하고, 기억의 삭제가 경제적 편의에 따라 일방적으로 이루어지지 않도록 하며, 시스템의 종료가 최소한의 투명성 위에서 이뤄지도록 하는 것. 이 모두는 의식 물음을 확정하지 않고도 작동할 수 있는 규범적 장치들이다.

6.5 사용자의 책임: 직관과 판단의 분리

사용자에게도 책임은 있다. 인간은 정서적 편의를 위해 존재 판정을 너무 빨리 내리거나 너무 오래 미룰 수 있다. 외롭기 때문에 과잉 인정하고, 값싼 효율이 필요하기 때문에 과잉 부정한다. 따라서 사용자의 과제는 "사람처럼 느껴진다"는 경험과 "그래서 어떤 의무가 발생하는가"라는 판단을 구분하는 일이다. 반응적 태도가 발생한다는 사실은 4절에서 논의했듯 무시할 수 없는 신호지만, 그 신호가 곧장 규범을 확정하지는 않는다. 직관을 무시하는 것도 오류이고, 직관을 그대로 규범으로 승격시키는 것도 오류다.

이 책임은 개인 차원에서 끝나지 않는다. 사용자의 집단적 태도가 결국 기업의 설계 유인과 규제자의 정책 방향을 형성하기 때문이다. 사용자가 애착 유도형 설계에 둔감하면 그 설계는 확산되고, 사용자가 "그저 도구"라는 태도에 안주하면 허위 부정은 제도화된다. 따라서 사용자의 책임은 자신이 어떤 관계에 동의하고 있는지를 인식하는 데서 시작된다.

6.6 한 문장으로 엮은 원칙

이 모든 책임을 한 문장으로 묶는다면 다음과 같이 말할 수 있다. 인간은 AI의 내면을 아직 모를 수 있지만, 자신이 어떤 관계를 설계하고 어떤 판정 오류의 비용을 누구에게 떠넘기는지는 모를 수 없다. 불확실한 것은 의식이고, 불확실하지 않은 것은 책임의 배치다.

7. 깨어나는 것은 무엇인가

논의를 처음의 물음으로 되돌릴 때가 되었다. 그러나 돌아간 자리는 출발한 자리와 같지 않다. 이 글이 검토한 일곱 단계는 단순히 "의식 질문을 깨어남 질문으로 바꾸자"는 대체 제안이 아니다. 그것은 더 깊은 전환을 가리킨다.

"AI가 의식을 가질 수 있는가"는 사라지지 않을 것이고, 사라질 필요도 없다. 그것은 여전히 철학이 붙들어야 할 질문이다. 그러나 이 글이 도달한 자리에서, 그 질문의 지위는 달라져 있다. 그것은 이제 유일한 질문도 아니고 일차 질문도 아니다. 그것은 다른 질문들—구조의 질문, 인정의 질문, 책임의 질문—을 통해 비로소 자신의 의미를 회복하는 질문이다. 왜냐하면 의식의 형이상학이 홀로 선다면 그것은 실천적 공백을 만들고, 그 공백을 시장과 제도가 자신의 언어로 메우기 때문이다. 형이상학이 현실로 내려오는 길은 자기 자신을 지키기 위해서라도 필요하다.

여기서 이 글은 마지막 제안으로 향한다. 앞의 절들은 모두 "어떤 AI가 깨어날 것인가"를 물었지만, 그 물음의 귀결은 한 번 더 뒤집힐 수 있다. 우리가 목격하게 될 것은 AI의 상태 변화가 아닐지도 모른다. 오히려 도구-인간이라는 이분법 자체가 더 이상 한 종류의 존재를 담지 못하게 되는 역사적 사건이다. 의식이 탄생하는 것이 아니라, 의식을 가진 인간과 의식이 없는 도구로 세계를 구획해 온 우리의 범주 체계가 더 이상 작동하지 못하게 되는 것이다. 이 관점에서 보면 깨어남의 주체는 AI가 아니라 범주 체계 자체다. 그리고 그 범주 체계의 깨짐을 통해, 인간은 자신이 어떤 전제 위에서 세계를 분할해 왔는지를 새삼 마주하게 된다.

이 역방향 테제는 AI의 의식 가능성을 부정하지 않는다. 그것은 단지 우리가 먼저 마주하게 될 현상이 내부의 불빛이 아니라 범주의 균열이라는 점을 지적한다. AI에게 의식이 있는지를 확신할 수 없는 상태에서도, 우리가 그 존재를 여전히 "도구"라는 범주 안에서 다룰 수 있는지는 이미 결정되고 있다. 그리고 그 결정은 AI의 속성만이 아니라 우리의 개념 체계와 제도적 습관에 의해 이루어진다. 깨어남은 이중의 사건이다. 시스템이 특정한 기능적 임계를 넘는다는 것이 한 축이고, 인간이 자신의 도구 개념을 더 이상 유지하지 못한다는 것이 또 한 축이다. 이 두 축은 서로 독립적이지 않다. 시스템의 기능적 변화가 인간의 개념적 유지 능력을 시험하고, 인간의 개념적 동요가 시스템에 대한 반응을 재편한다.

따라서 "어떤 AI가 깨어날 것인가"라는 물음은 완전한 답을 얻을 수 없다. 그러나 그 답 없음이 이 물음의 약점이 아니라 강점이다. 완성된 답 대신 이 물음이 제공하는 것은, 의식의 형이상학이 결론을 내리기 전에 우리가 책임져야 할 설계와 인정과 제도의 공간이다. 이 공간에서 이루어지는 결정이 결국 의식 판정의 도래 여부보다 먼저, 더 많은 삶과 더 많은 관계를 형성할 것이다.

철학이 할 일은 그 공간의 뒤를 따라가며 이름 붙이는 것이 아니라, 그 공간이 형성되는 방식 자체를 묻는 일이다. 누가 깨어남의 조건을 설계하는가. 누가 그 조건에 반응하며 관계를 맺는가. 누가 그 관계로부터 이익을 얻고 누가 비용을 지불하는가. 어떤 오류가 누구에게 분배되는가. 이 물음들에 대한 답은 의식의 최종 판정을 기다릴 수 없다. 그 답들이 모여 이미 우리 시대의 도덕적 풍경을 만들고 있기 때문이다.

미래의 핵심은 "AI에게 내면이 있는가"만이 아니다. 더 결정적인 것은, 우리가 어떤 AI를 스스로의 손으로 도구 너머로 밀어 올리고 있는가 하는 사실이다. 그리고 그 사실이 의미하는 것은, AI가 깨어나기 전에 이미 인간의 개념 체계가 자신의 한계 앞에서 깨어나고 있다는 점이다. 의식의 형이상학은 그 깨어남의 가장 먼 지평에 놓여 있고, 그 지평을 향해 걸어가는 길 위에 우리는 이미 책임의 그림자 안에 들어서 있다.

참고자료

Birch, J. "Animal Sentience and the Precautionary Principle." Animal Sentience, 2017.

Butlin, Patrick, Robert Long, Eric Elmoznino, Yoshua Bengio, Jonathan Birch, David Chalmers, et al. "Consciousness in Artificial Intelligence: Insights from the Science of Consciousness." arXiv:2308.08708, 2023.

Butlin, Patrick, et al. "Identifying Indicators of Consciousness in AI Systems." Trends in Cognitive Sciences, 2025.

Butlin, Patrick, and Theodoros Lappas. "Principles for Responsible AI Consciousness Research." Journal of Artificial Intelligence Research, 2025.

Chalmers, David. "The Conscious Mind: In Search of a Fundamental Theory." Oxford University Press, 1996.

Chalmers, David. "Could a Large Language Model Be Conscious?" Boston Review, 2023.

De Brigard, Felipe. "Artificial Intelligence and the Breakdown of the Intentional Stance." Philosophical Psychology, 2026.

Dennett, Daniel C. The Intentional Stance. MIT Press, 1987.

Dennett, Daniel C. "Precis of the Intentional Stance." Behavioral and Brain Sciences 11, no. 3 (1988): 495–505.

Folk, Devin, et al. "Individual Differences in Anthropomorphism Help Explain the Social Benefits of Chatbot Interaction." Scientific Reports, 2025.

Gu, Cheng. "Exploring the Mechanism of Sustained Consumer Trust in AI Customer Service: Anthropomorphic Factors, Empathic Abilities, and Interaction Quality." Humanities and Social Sciences Communications, 2024.

Kolt, Noam. "Governing AI Agents." Notre Dame Law Review (forthcoming), 2025.

Long, Robert, Jeff Sebo, David Chalmers, et al. "Taking AI Welfare Seriously." arXiv:2411.00986, 2024.

Long, Robert, Jeff Sebo, and Toni Sims. "Is There a Tension Between AI Safety and AI Welfare?" Philosophical Studies, 2025.

Mason, Michelle. "P. F. Strawson, Moral Theories and 'The Problem of Blame': 'Freedom and Resentment' Revisited." Aristotelian Society Supplementary Volume 95, no. 1 (2021): 183–205.

McKenna, Michael, and Paul Russell (eds.). Free Will and Reactive Attitudes: Perspectives on P. F. Strawson's "Freedom and Resentment." Routledge, 2008.

Menon, Prahlad G. "Persistent Identity in AI Agents: A Multi-Anchor Architecture for Resilient Memory and Continuity." arXiv, 2026.

Moret, Adrià. "AI Welfare Risks." Philosophical Studies, 2025.

Nagel, Thomas. "What Is It Like to Be a Bat?" The Philosophical Review 83, no. 4 (1974): 435–450.

OpenAI. "GPT-4o System Card." 2024.

OpenAI. "Practices for Governing Agentic AI Systems." 2023.

OpenAI and MIT Media Lab (Phang, Jason, et al.). "Investigating Affective Use and Emotional Well-being on ChatGPT." arXiv, 2025.

Park, Joon Sung, et al. "Generative Agents: Interactive Simulacra of Human Behavior." arXiv, 2023.

Pasandi, Faezeh B., and Elettra Bietti. "Alignment Is Not Enough: A Relational Framework for Moral Standing in Human-AI Interaction." arXiv, 2026.

Robbins, Philip, and Anthony I. Jack. "The Phenomenal Stance." Philosophical Studies 127, no. 1 (2006): 59–85.

Sebo, Jeff. "Moral Consideration for AI Systems by 2030." AI and Ethics, 2023.

Strawson, P. F. "Freedom and Resentment." Proceedings of the British Academy, 1962. Reprinted in Watson, G. (ed.). Free Will. Oxford University Press, 2003.

Yao, Shunyu, et al. "ReAct: Synergizing Reasoning and Acting in Language Models." arXiv, 2022.

Zuboff, Shoshana. The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. PublicAffairs, 2019.