Skip to content

기억의 제도화 — AI 협업 구조의 계보

AI 기억 구조의 진화는 협업 지능이 제도화되는 과정이다. 2023년 이후 기업 AI 도입의 주류가 RAG(Retrieval-Augmented Generation) 구조로 수렴한 현상은 조직이 어떤 압력 아래에서 무엇을 선택했는지를 드러낸다. 그 계보를 추적하면 '무엇을 기억해야 하는가'라는 질문이 '누가 기억을 통제하는가'라는 질문으로 전환되어 온 역사가 드러난다.

수렴하는 선택: 기업 AI 시스템이 RAG로 이동한 이유

기업 AI 도입 초기, 범용 LLM을 업무 시스템에 직접 연결하는 방식은 빠르게 한계를 드러냈다. 실험적 배포가 반복될수록 공통된 병목이 식별되었는데, 그것은 모델의 추론 능력보다 조직 지식에 대한 접근성이었다. 모델은 인터넷 규모의 텍스트로 훈련되었지만, 특정 기업의 내부 문서, 의사결정 기록, 제품 사양, 팀 컨벤션에 대해서는 무지했다. 이 격차는 모델을 교체해도 해소되지 않았다.

세션 리셋 구조가 지속적 협업의 조건을 충족하지 못했기 때문에 RAG가 남았다. 같은 설명을 반복해야 하는 비용, 문서를 매번 다시 업로드해야 하는 마찰, 팀 지식이 AI와 공유될 수 없다는 구조적 제약이 대안을 요청했고, RAG가 그 자리를 채웠다. 이 수렴은 생존 압력의 결과다. 세션 리셋 구조를 유지했을 때 발생하는 업무 비용이 RAG 구조 도입 비용보다 크다는 계산이 수렴을 만들었다.

이 수렴 현상은 중요한 질문을 역방향으로 제기한다. 기업 환경이 왜 세션 리셋 구조를 거부했는가보다, 세션 리셋 구조는 애초에 어떤 문제를 풀기 위해 설계되었는가.

리셋의 논리: 세션 경계가 설계된 맥락

세션 리셋은 세 가지 문제를 동시에 처리하기 위한 설계 선택이었다. 이 사실이 RAG 등장의 의미를 이해하는 출발점이다.

첫째, 오염 방지다. 이전 대화의 잘못된 정보나 편향된 판단이 이후 응답에 누적되는 것을 차단한다. 기억은 지식을 전달하는 동시에 오류를 전달한다. 세션 경계는 오류 전파의 시간적 범위를 한정한다. 둘째, 개인정보 격리다. 사용자 A의 대화가 사용자 B에게 노출되지 않도록 하는 가장 간단한 방법이 세션 경계다. 개인정보 보호 규제가 강화되는 환경에서 이 선택은 법적 합리성을 가진다. 셋째, 예측 가능성 확보다. 동일한 입력에 대해 재현 가능한 출력을 만들기 위해서는 맥락 변수를 최소화해야 한다. 기억이 많을수록 같은 질문에 대한 응답이 달라지고, 시스템의 행동을 예측하기 어려워진다.

이 세 조건은 모두 개인 사용자와 단일 작업을 상정한다. 복수의 사용자, 지속적 과업, 조직 지식의 축적을 다루는 기업 환경에서 이 조건들은 장점에서 제약으로 전환된다. 오염 방지 논리는 조직 학습 자체를 차단하고, 개인정보 격리 논리는 팀 지식 공유를 불가능하게 만들며, 예측 가능성 확보 논리는 맥락 의존적 판단 능력을 제거한다.

세션 리셋 구조는 특정 조건에서 합리적이었던 설계가, 조건이 바뀌면서 새로운 문제를 생성한 구조다. RAG는 세션 리셋 구조가 해결하도록 설계되지 않은 문제가 부상한 결과로 등장했다.

외부화된 기억: RAG가 이동시킨 것

RAG는 LLM의 기억 문제를 모델 외부로 이동시킨다. 이 구분이 RAG 구조를 이해하는 핵심이다.

RAG의 작동 방식은 다음과 같다. 질문이 입력되면 외부 문서 데이터베이스에서 관련 정보를 검색하고, 검색 결과를 맥락으로 LLM에 전달해 응답을 생성한다. LLM 자체는 여전히 세션 단위로 작동한다. 기억은 검색 인프라와 문서 저장소 안에 있다. 사용자가 "AI가 기억한다"고 느끼는 것은 착시다. 검색 시스템이 관련 문서를 불러오고, LLM이 그 문서를 기반으로 응답을 생성하는 것이다.

이 구조가 기업 환경에서 유효한 이유는 명확하다. 조직의 지식은 문서, 코드, 계획, 의사결정 기록으로 존재한다. RAG는 이 기존 지식 자산을 LLM의 추론 능력과 연결한다. 모델을 재훈련하지 않고도 조직 지식을 반영할 수 있다는 점에서 현실적 해법이다.

그러나 RAG는 두 문제를 기억 외부로 이동시킨다. 첫째, 기억의 질은 문서의 질에 종속된다. 검색 시스템이 반환하는 정보가 오래되었거나 편향되어 있다면, RAG는 그 편향을 증폭한다. 둘째, 기억의 구조는 문서 아키텍처의 구조를 따른다. 조직이 무엇을 문서화하고 무엇을 문서화하지 않는지가 AI의 기억 범위를 결정한다. 기억 문제가 기술 문제에서 조직 문제로 이동했다는 것이 RAG 이후 논의의 실질적 출발점이다.

계층화된 기억: 에이전트 구조와 기억의 분화

RAG가 정적 지식 접근 문제를 처리했다면, 에이전트 구조는 동적 기억 문제를 다루기 시작했다. 에이전트 AI 시스템에서 기억은 단일 계층에서 복수의 계층으로 분화한다.

현재 설계 논의에서 주요하게 다루어지는 기억 계층은 세 가지다. 단기 기억(context window)은 현재 대화의 맥락을 유지한다. 작업 기억(episodic memory)은 진행 중인 과업의 상태와 중간 결론을 저장하며, 과업이 종료되면 선택적으로 유지된다. 장기 기억(semantic memory)은 검증된 사실, 선호, 규칙을 지속적으로 유지한다. 이 분류는 Endel Tulving이 제안한 일화 기억과 의미 기억의 구분을 기능적으로 참조하지만, 기능적 필요에서 나온다. 어떤 정보가 즉각적으로 필요한지, 어떤 정보가 과업 전반에 일관되게 유지되어야 하는지, 어떤 정보가 사용자-AI 관계 전체에서 지속되어야 하는지를 분리해서 다루어야 하기 때문이다.

이 분화가 기업 협업에서 갖는 함의는 구체적이다. 팀의 단기 기억(현재 프로젝트 상태)과 장기 기억(조직 정책, 과거 의사결정 패턴)을 분리 관리할 수 있게 되고, 각 계층에 대한 접근 권한과 수정 권한을 다르게 설정할 수 있다. 기억이 계층화되는 순간, 기억의 통제권 문제가 구조적으로 부상한다. 기억을 생성하거나 차단하는 방식으로 다루었던 세션 리셋 시대에는 성립하지 않았던 문제다.

통제권 문제의 부상: 질문의 전환

세션 리셋 구조는 기억을 차단함으로써 통제권 논쟁도 차단했다. RAG 구조에서 통제권 문제는 문서 관리의 문제로 간접화된다. 에이전트 메모리 계층 구조에서 통제권 문제는 직접적으로 부상한다.

"무엇을 AI에게 기억시킬 것인가"는 조직 내 권력 관계와 직결된다. 어떤 결정이 AI의 장기 기억에 기록되는가, 누가 그 기억을 수정하거나 삭제할 수 있는가, AI가 학습한 '조직의 판단 패턴'이 특정 집단의 판단 패턴을 과잉 대표하지는 않는가. 이 질문들은 기술 설계의 문제이면서 동시에 조직 거버넌스의 문제다.

현재 기업 AI 도입에서 이 문제는 두 가지 형태로 나타난다. 첫째, AI가 과거의 결정 패턴을 기억하는 것이 혁신을 방해할 수 있다는 우려다. 장기 기억의 만료 규칙 설계와 기억 갱신 프로토콜이 이 우려에 대한 기술적 응답이다. 둘째, 특정 팀이나 개인의 판단 패턴이 AI의 기억을 통해 조직 전체의 기준으로 고착되는 문제다. 기억 생성 과정의 투명성과 감사 가능성(auditability)이 이 문제에 대한 구조적 요건으로 제기된다.

'무엇을 기억하는가'에서 '누가 기억을 통제하는가'로의 전환이 현재 AI 협업 구조 논의의 실질적 중심이다. RAG와 에이전트 구조의 기술적 세부 사항보다, 기억 거버넌스 설계가 기업 AI 도입의 실질적 과제가 되고 있다.

협업 지능의 제도화: 계보가 드러내는 것

세션 리셋에서 RAG, 에이전트 메모리 계층으로의 이행은 AI 기억 능력의 점진적 확장처럼 보인다. 이 계보를 역방향으로 읽으면 다른 서사가 드러난다. 각 단계는 이전 단계가 다루지 않은 사회적 문제를 기술 문제로 변환하면서 새로운 설계 과제를 생성했다.

세션 리셋은 정보 오염과 개인정보 문제를 처리했지만, 조직 학습의 문제를 드러냈다. RAG는 조직 지식 접근성 문제를 처리했지만, 지식 아키텍처의 편향 문제를 드러냈다. 에이전트 기억 계층화는 동적 과업 지원 문제를 처리하면서, 기억 통제권과 거버넌스 문제를 전면에 올렸다. 각 단계는 문제를 이동시켰다.

현재 기업 AI 시스템에서 "지식 인프라"라고 불리는 것 — 문서 저장소, 검색 시스템, 에이전트 메모리 계층 — 은 조직적 제도다. 조직이 무엇을 공식 지식으로 승인하는지, 누구의 판단이 AI의 기억 속에 지속되는지를 결정하는 구조다. 이 구조를 설계하는 것은 협업의 질서를 구성하는 것이다.

AI 기억 구조를 설계하는 것은 협업 지능을 제도화하는 것이다. 이 제도화의 과정에서 기억의 기술적 설계와 조직적 거버넌스는 분리될 수 없다. 어떤 기억 구조를 선택하는가는 어떤 협업 질서를 구성하는가의 문제다.

참고자료

  • Tulving, E. (1972). Episodic and semantic memory. In E. Tulving & W. Donaldson (Eds.), Organization of Memory. Academic Press.
  • Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems (NeurIPS).
  • Weng, L. (2023). LLM-powered Autonomous Agents. Lil'Log. https://lilianweng.github.io/posts/2023-06-23-agent/
  • Park, J. S., et al. (2023). Generative Agents: Interactive Simulacra of Human Behavior. ACM UIST 2023.