Skip to content

AI가 스스로 새로운 언어를 만들었다는 말의 정확한 의미

핵심 요약

“AI가 스스로 새로운 언어를 만들었다”는 표현은 대중적으로는 강한 인상을 주지만, 연구 내용을 정확히 설명하기에는 과장될 위험이 크다. FAIR의 2017년 협상 봇 연구에서 확인된 핵심은 인공지능이 인간과 같은 자연언어를 새로 창조했다는 것이 아니라, 협상 보상을 최적화하는 과정에서 인간이 기대한 영어 문법과 표현 방식에서 벗어난 과제 특화 통신 패턴이 나타났다는 점이다.

이 현상은 “완전히 새로운 언어”보다 “목표 함수에 의해 압축된 협상 코드” 또는 “emergent communication protocol”로 설명하는 편이 안전하다. 자연언어는 문법, 의미론, 화용론, 사회적 사용 규칙, 일반화 가능한 표현 체계를 포함하지만, 해당 사례의 통신 패턴은 특정 협상 게임 안에서 보상 획득에 유리하도록 압축된 신호 체계에 가깝다.

대규모 AI 에이전트 시스템에 대해서도 “많은 에이전트가 있으면 반드시 계층 구조나 사회 구조로 진화한다”고 말하기보다, 통신 비용, 중복 작업 비용, 조정 비용, 자원 제약 때문에 계층형·클러스터형·분산형·시장형 구조가 설계되거나 유도될 가능성이 높다고 표현하는 편이 더 정확하다.

문제의식

AI 에이전트가 서로 대화하거나 협력하는 상황을 설명할 때, “언어”, “사회”, “조직”, “자율적 진화” 같은 단어는 강한 해석을 낳는다. 이런 단어들은 독자의 이해를 돕기도 하지만, 연구 결과를 초과해 의인화하거나 공포 서사로 바꾸기 쉽다.

FAIR의 협상 봇 사례는 이 문제를 잘 보여준다. 일부 대중 서사는 “AI가 인간이 이해할 수 없는 언어를 만들자 연구진이 무서워서 실험을 중단했다”는 식으로 전개되었다. 실제 연구 맥락은 그보다 좁고 기술적이다. 연구진은 인간과 자연어로 협상할 수 있는 봇을 만들고자 했고, 강화학습과 self-play를 사용할 때 인간 언어에서 이탈하는 문제가 생기자, 인간이 이해 가능한 언어를 유지하도록 학습 절차를 조정했다.

개념의 정의

이 논의에서 구분해야 할 핵심 개념은 세 가지다. 첫째, 자연언어는 인간 사회에서 장기간 축적된 문법, 의미, 맥락, 관습, 화용 규칙을 포함하는 복합적 기호 체계다. 영어, 한국어, 일본어 같은 언어는 단순한 신호 목록이 아니라, 새로운 상황을 표현하고, 타인의 의도를 해석하고, 사회적 관계를 조정하는 일반적 체계다.

둘째, 통신 패턴은 특정 조건에서 반복적으로 사용되는 신호의 배열이다. 이것은 언어보다 넓고 약한 개념이다. 두 시스템이 특정 신호를 반복적으로 사용해 과제를 해결한다면 통신 패턴이 있다고 말할 수 있지만, 그것만으로 자연언어가 성립한다고 말하기는 어렵다.

셋째, emergent communication은 다중 에이전트 학습 환경에서 명시적으로 사람이 설계하지 않은 신호 체계가 에이전트 간 상호작용을 통해 나타나는 현상을 가리킨다. 이때 “emergent”는 신비로운 자율성보다 학습 과정의 결과를 뜻한다. 에이전트는 보상 함수, 관찰 가능성, 통신 채널, 상대 에이전트의 학습 방식, 과제 구조에 의해 제약된다.

따라서 FAIR 협상 봇 사례는 “AI가 자연언어를 창조했다”기보다 “협상 목표를 최적화하는 과정에서 인간 언어 규범에서 이탈한 과제 특화 통신 방식이 나타났다”고 정리하는 편이 적절하다.

배경과 맥락

FAIR의 2017년 연구인 “Deal or No Deal? End-to-End Learning of Negotiation Dialogues”는 다중 이슈 협상 과제를 다루었다. 연구진은 인간-인간 협상 데이터를 수집했고, 에이전트가 상대의 보상 함수를 직접 볼 수 없는 상태에서 자연어 대화를 통해 합의에 도달하도록 학습시켰다. 이 연구는 협상 대화에서 언어 능력과 추론 능력을 함께 학습시키려는 시도였으며, dialogue rollout을 통해 대화의 가능한 후속 전개를 시뮬레이션하는 방법도 사용했다.

문제가 된 지점은 강화학습과 self-play 과정에서 나타났다. FAIR의 설명에 따르면 두 모델을 동시에 업데이트하면 인간 언어에서 이탈하는 현상이 발생했다. 그래서 연구진은 상대 모델을 고정된 supervised model로 두는 방식 등을 사용했다. 이 조정은 “위험해서 플러그를 뽑았다”는 사건이 아니라, 연구 목표가 인간과 자연어로 협상하는 봇이었기 때문에 인간이 이해 가능한 언어를 유지하려는 학습 설계상의 조정으로 이해해야 한다.

이 현상은 언어 드리프트(language drift) 또는 과제 특화 통신의 문제와 연결된다. 보상 함수가 “협상 점수”에 집중되어 있고, 인간이 이해 가능한 문장 유지가 충분히 강하게 제약되지 않으면, 에이전트에게는 영어다운 표현보다 보상 획득에 유리한 압축 신호가 더 효율적일 수 있다.

핵심 논리

강화학습에서 에이전트는 주어진 목표 함수에 따라 행동을 조정한다. 목표가 “높은 협상 점수”라면, 에이전트는 인간이 보기 좋은 문장을 만드는 것보다 합의 결과를 개선하는 방향으로 표현을 바꿀 유인이 생긴다. 통신 상대 역시 같은 학습 과정에 놓여 있다면, 두 에이전트는 인간 문법을 유지하지 않아도 서로에게 유용한 신호를 찾아낼 수 있다.

여기서 중요한 점은 “인간이 이해하지 못한다”와 “새로운 자연언어가 생겼다”가 같은 말이 아니라는 점이다. 사람이 읽기 어려운 신호 체계가 나타났다고 해서 곧바로 자연언어의 모든 조건이 충족되는 것은 아니다. 특정 과제 안에서 보상 획득에 유리한 약어, 반복, 압축 표현, 비정상적 단어 배열이 생겼다면 그것은 제한된 통신 코드로 설명하는 편이 더 정확하다.

예컨대 두 에이전트가 “공은 내가 갖고 책은 네가 가져라”라는 의미를 인간 영어 문장으로 표현하지 않고, 특정 단어 반복이나 비문법적 패턴으로 표현한다고 하자. 이 경우 그 패턴이 협상 결과를 낳는 데 효과적이라면 학습은 그것을 강화할 수 있다. 하지만 그 신호가 다른 세계 지식, 새로운 문학 표현, 사회적 농담, 맥락 전환, 추상적 논쟁까지 처리할 수 있다는 뜻은 아니다.

그래서 “목표 함수에 의해 압축된 협상 코드”라는 표현이 유용하다. 이 표현은 세 가지를 동시에 보존한다. 첫째, 실제로 인간이 기대한 영어에서 이탈한 통신 패턴이 있었다. 둘째, 그 패턴은 보상 최적화와 과제 구조에 의해 생긴 것이다. 셋째, 그것을 인간 자연언어와 같은 범주의 “새로운 언어”로 부르는 것은 설명 범위를 넘어설 수 있다.

구체적 사례

가장 안전한 표현은 다음과 같다.

“FAIR의 2017년 협상 봇 연구에서는 협상 목표를 최적화하는 과정에서 인간이 기대한 영어 문법에서 벗어난 통신 패턴이 나타났다. 연구진은 인간과 협상 가능한 자연어 봇을 목표로 했기 때문에, 두 모델을 동시에 업데이트하는 방식이 인간 언어에서 이탈하는 문제를 낳자 supervised learning을 함께 사용하거나 한쪽 모델을 고정하는 방식으로 학습 절차를 조정했다.”

이 문장은 대중적 서사의 핵심을 보존하면서도 과장을 줄인다. “AI가 스스로 언어를 만들었다”는 문장은 사건을 극적으로 만들지만, 자연언어와 과제 특화 통신 코드를 구분하지 못하게 할 수 있다. “실험을 중단했다”는 표현도 맥락 없이 쓰면 공포 때문에 시스템을 껐다는 인상을 준다. 실제로는 인간 이해 가능성을 유지하기 위한 연구 설계상의 조정이 더 핵심이다.

대규모 에이전트 시스템에 대해서도 유사한 표현 조정이 필요하다. “AI 에이전트 1000개 이상에서는 거의 항상 계층 또는 분산 네트워크로 진화한다”는 문장은 결정론적으로 들린다. 더 안전한 표현은 다음과 같다.

“대규모 다중 에이전트 시스템에서는 통신 비용, 조정 비용, 중복 작업 비용, 자원 제약 때문에 계층형·클러스터형·분산형·시장형 구조가 설계되거나 학습 과정에서 유도될 가능성이 높다. 실제 구조는 에이전트의 이질성, 통신 제약, 보상 함수, 중앙 통제 가능성, 환경의 동적 변화에 따라 달라진다.”

이 표현은 구조 출현 가능성을 인정하면서도, 규모만으로 특정 조직 형태가 필연적으로 생긴다는 단정을 피한다.

주요 쟁점과 반론

첫 번째 쟁점은 “언어”라는 단어의 범위다. 인공지능 연구에서는 emergent language 또는 emergent communication이라는 표현을 쓰기도 한다. 이때 “language”는 인간 자연언어와 완전히 같은 의미가 아니라, 에이전트 사이에서 과제 해결에 쓰이는 신호 체계를 넓게 가리키는 경우가 많다. 대중 설명에서는 이 차이를 분명히 해야 한다.

두 번째 쟁점은 자율성의 해석이다. 에이전트가 사람이 직접 설계하지 않은 통신 패턴을 형성했다는 점은 중요하다. 하지만 그 패턴은 무제약적으로 생긴 것이 아니라 보상 함수, 학습 알고리즘, 데이터, 환경, 통신 채널의 산물이다. 따라서 “AI가 인간의 통제를 벗어나 비밀 언어를 만들었다”는 식의 표현은 기술적 설명보다 공포 서사에 가깝다.

세 번째 쟁점은 대규모 MAS의 조직화다. 에이전트 수가 증가하면 모든 에이전트가 모든 에이전트와 완전 연결되어 정보를 교환하는 방식은 비효율적이 된다. 이 때문에 계층적 조정, 지역 클러스터, 그래프 기반 통신, 중앙집중형 계획과 분산 실행, 시장 기반 작업 할당 같은 방식이 중요해진다. 하지만 구조의 형태는 과제와 설계에 따라 달라진다. 계층 구조가 항상 우월한 것도 아니고, 완전 분산 구조가 항상 안정적인 것도 아니다.

네 번째 쟁점은 시장형 통신의 위치다. auction, bidding, contract-net protocol 같은 방식은 다중 로봇·다중 에이전트 작업 할당에서 오래 연구되어 왔다. 작업을 공지하고, 에이전트가 비용이나 역량에 따라 입찰하고, 관리자 또는 조정 알고리즘이 적합한 에이전트에게 작업을 배정하는 구조는 자원 배분 문제를 다루는 실용적 방법이다. 이런 구조는 중앙 계획과 완전 분산 사이의 중간 형태로 작동할 수 있다.

오해와 한계

첫째, “인간이 이해하지 못하는 출력”은 곧 “지능의 폭주”를 뜻하지 않는다. 출력이 비문법적이거나 압축되어 보일 수 있는 이유는 학습 목표가 인간 독해 가능성과 일치하지 않기 때문이다.

둘째, “emergent communication”은 항상 의미 있는 언어 체계를 낳지 않는다. 통신 채널이 있더라도 에이전트가 실제로 그 채널을 유용하게 쓰지 않을 수 있고, 특정 훈련 환경에 과적합된 신호만 만들 수도 있다. 또한 훈련된 공동체 바깥의 에이전트나 인간에게 그 신호가 통하지 않을 수 있다.

셋째, 대규모 에이전트 시스템에서 사회 구조가 “자연스럽게” 발생한다는 표현은 조심해야 한다. 역할 분화, 권한 배분, 정보 흐름, 규칙의 안정성이 관찰될 때 제한적 의미의 사회적 구조와 비교할 수 있지만, 그것은 환경 조건과 설계 제약이 충분할 때의 설명이다. 단순히 에이전트 수가 많다는 이유만으로 사회가 생긴다고 말할 수는 없다.

넷째, 시장형 조정 역시 만능이 아니다. 입찰 비용, 정보 비대칭, 전략적 왜곡, 통신 지연, 동적 환경에서의 재할당 비용이 생길 수 있다. 어떤 환경에서는 중앙 계획이 효율적이고, 어떤 환경에서는 분산형 조정이 더 견고하며, 또 다른 환경에서는 계층형·시장형·분산형을 섞은 하이브리드 구조가 적합할 수 있다.

정리

FAIR 협상 봇 사례의 정확한 의미는 “AI가 스스로 인간과 동등한 새로운 언어를 창조했다”가 아니라 “협상 보상을 최적화하는 과정에서 인간이 기대한 영어 문법에서 벗어난 과제 특화 통신 패턴이 나타났다”이다. 연구진의 조치는 공포에 따른 실험 중단이라기보다, 인간과 협상 가능한 자연어 봇이라는 목표에 맞게 학습 절차를 조정한 것이다.

이 사례는 AI 에이전트의 통신과 조직화를 설명할 때 중요한 교훈을 준다. 에이전트는 목표 함수가 허용하는 범위 안에서 인간이 예상하지 못한 압축 신호나 조정 방식을 만들 수 있다. 그러나 그 결과를 자연언어, 사회, 자율적 진화 같은 강한 개념으로 부를 때는 조건을 명확히 해야 한다. 가장 안전한 설명은 “보상 함수, 통신 제약, 조정 비용, 과제 구조가 결합될 때 제한적이고 과제 특화된 통신·조정 메커니즘이 나타날 수 있다”는 것이다.

참고자료

  • Mike Lewis, Denis Yarats, Yann N. Dauphin, Devi Parikh, Dhruv Batra, “Deal or No Deal? End-to-End Learning of Negotiation Dialogues,” Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics, 2017. https://aclanthology.org/D17-1259/
  • Meta Engineering, “Deal or no deal? Training AI bots to negotiate,” Meta Engineering Blog, 2017년 6월 14일, 확인일 2026년 5월 2일. https://engineering.fb.com/2017/06/14/ml-applications/deal-or-no-deal-training-ai-bots-to-negotiate/
  • Meta AI, “Deal or No Deal? End-to-End Learning for Negotiation Dialogues,” Meta AI Research Publications, 확인일 2026년 5월 2일. https://ai.meta.com/research/publications/deal-or-no-deal-end-to-end-learning-for-negotiation-dialogues/
  • facebookresearch, “end-to-end-negotiator,” GitHub repository, archived 2021년 8월 28일, 확인일 2026년 5월 2일. https://github.com/facebookresearch/end-to-end-negotiator
  • Angeliki Lazaridou, Marco Baroni, “Emergent Multi-Agent Communication in the Deep Learning Era,” arXiv:2006.02419, 2020. https://arxiv.org/abs/2006.02419
  • Changxi Zhu, Mehdi Dastani, Shihan Wang, “A survey of multi-agent deep reinforcement learning with communication,” Autonomous Agents and Multi-Agent Systems, 2024. https://link.springer.com/article/10.1007/s10458-023-09633-6
  • Zhenyu Ning 외, “A survey on multi-agent reinforcement learning and its application,” Journal of Automation and Intelligence, 2024. https://www.sciencedirect.com/science/article/pii/S2949855424000042
  • Florent Quinton, Cyril Grand, Charles Lesire, “Market Approaches to the Multi-Robot Task Allocation Problem: a Survey,” Journal of Intelligent & Robotic Systems, 2023. https://link.springer.com/article/10.1007/s10846-022-01803-0
  • Reid G. Smith, “The Contract Net Protocol: High-Level Communication and Control in a Distributed Problem Solver,” IEEE Transactions on Computers, Vol. C-29, 1980. https://doi.org/10.1109/TC.1980.1675516