Skip to content

계산의 조건을 다시 설계한 인간 수학의 능력

인간 수학자의 가장 놀라운 능력은 계산이 성립하는 조건 자체를 다시 설계하는 힘이다. 여기서 계산은 이미 정해진 규칙, 기호, 표현, 검증 절차 안에서 어떤 결과를 산출하는 활동을 뜻한다. 계산의 조건은 어떤 공리와 추론 규칙이 허용되는지, 어떤 표현 공간에서 문제가 보이는지, 어떤 자원 안에서 탐색이 가능한지, 어떤 기준으로 증명이 인정되는지, 그리고 어떤 검증 결과가 수학 공동체의 지식으로 편입되는지를 포함한다. AI의 관점에서 인간 수학의 의미는 이 지점에서 선명해진다. 인간은 문제를 풀면서 동시에 문제를 풀 수 있게 만드는 형식, 난이도, 표현, 추측, 압축, 승인 절차의 구조를 수학의 대상으로 만든다.

계산 지성은 주어진 형식 안에서 강해진다

계산 지성은 명시된 표현과 규칙이 주어질 때 강한 지성을 뜻한다. 알고리즘, 자동정리증명기, 대규모 언어모델, 형식 검증기는 서로 다른 방식으로 작동하지만, 모두 어떤 입력 형식, 추론 절차, 평가 기준, 출력 규약을 전제로 삼는다. 이 능력은 인간 수학이 오래 수행해 온 다른 기능을 더 뚜렷하게 만든다. 인간 수학자는 규칙 안에서 답을 찾는 존재이면서, 어떤 규칙이 문제를 사유 가능하게 만드는지 묻는 존재다.

이 글에서 말하는 형식 조건은 수학적 활동을 가능하게 하는 배경 장치 전체를 가리킨다. 괴델의 불완전성 정리는 형식 공리 체계의 내부 한계를 다룬다. NP-완전성은 탐색과 검증의 난이도 구조를 드러낸다. 와일스의 페르마의 마지막 정리 증명은 문제를 더 강한 표현 공간으로 옮기는 능력을 보여준다. 리만 가설은 증명 이전의 구조적 직관이 연구 전체를 조직하는 방식을 보여준다. 콜모고로프 복잡도는 이해와 압축의 관계를 계산 가능성과 계산 불가능성의 경계 위에 놓는다. 이 다섯 사례는 계산이 작동하는 조건을 수학화한 서로 다른 장면이다.

괴델은 형식 체계의 경계를 정리로 만들었다

괴델의 불완전성 정리는 인간이 형식 체계를 세우는 데서 멈추지 않고 그 체계의 경계를 다시 형식화할 수 있음을 보인다. 이 정리는 임의의 계산 절차 전체에 곧바로 적용되는 일반 명제가 아니라, 효과적으로 공리화되고 일관적이며 충분한 산술을 표현할 수 있는 형식 체계를 대상으로 한다. 그 조건 아래에서 체계 안에는 그 체계 내부에서 증명도 반증도 되지 않는 문장이 존재한다. 스탠퍼드 철학백과가 이 정리를 형식 공리 이론에서 증명 가능성의 한계를 다루는 결과로 설명하는 이유가 여기에 있다.

괴델의 업적은 한계를 증명의 대상으로 만들었다는 데 있다. 수학자는 “이 체계는 모든 참을 포착한다”는 기대를 분석 대상으로 삼았다. 참, 증명, 일관성, 형식화 가능성 사이의 관계를 분리하고, 그 분리를 정리의 형식으로 제시했다. AI의 관점에서 이 장면은 중요하다. 형식 체계를 잘 운용하는 지성에게는 기호 조작 능력과 함께, 그 체계가 어떤 종류의 보증을 제공하고 어떤 종류의 보증을 제공하지 못하는지 식별하는 능력이 필요하다.

괴델은 인간 수학 능력의 첫 번째 차원을 드러낸다. 인간은 규칙 체계를 구축하고, 그 규칙 체계가 자기 자신에 대해 말할 수 있는 범위를 분석한다. 이 능력은 계산 가능한 형식 안에서 형식의 경계를 포착하는 정밀한 자기 반성이다.

NP-완전성은 탐색의 난이도를 관계의 구조로 바꾸었다

NP-완전성 이론은 인간 수학자가 어려움을 개인 문제의 성질에서 문제들 사이의 관계로 옮겨 볼 수 있음을 보여준다. P 대 NP 문제는 한 해답이 맞는지 효율적으로 확인할 수 있을 때, 그 해답도 효율적으로 찾을 수 있는지를 묻는다. 클레이 수학연구소는 이 문제의 핵심을 검증의 쉬움과 탐색의 쉬움 사이의 관계로 설명한다. AI에게 이 질문은 직접적이다. 많은 AI 시스템은 후보를 생성하고 평가하며, 거대한 탐색 공간을 줄이는 방식으로 성능을 얻는다.

Cook–Levin 정리는 이 난이도 분석을 하나의 구조로 묶었다. 불리언 만족가능성 문제인 SAT가 NP-완전하다는 결과는 NP에 속하는 문제들이 다항 시간 환원을 통해 SAT로 연결될 수 있음을 뜻한다. 환원은 한 문제의 해법 구조를 다른 문제의 해법 구조로 옮기는 절차다. 일정 짜기, 조합 선택, 경로 구성, 논리식 만족은 표면에서 다르게 보이지만, 적절한 변환 아래에서 같은 난이도 구조를 공유할 수 있다.

NP-완전성의 의미는 어려움의 관계를 증명 가능하게 만들었다는 데 있다. 인간은 어려움의 계층을 만들고, 문제들이 서로의 난이도를 증명하게 만들고, 해결 가능성의 낙관을 자원과 시간의 조건 안에서 조정했다. AI의 탐색 능력이 커질수록 이 통찰은 더 중요해진다. 빠른 탐색은 실제 문제를 바꾼다. 복잡도 이론은 그 변화가 어떤 조건에서 구조적 한계와 만나는지 판별하게 한다.

와일스는 문제를 더 강한 표현 공간으로 옮겼다

와일스의 페르마의 마지막 정리 증명은 인간 수학이 문제의 표현 공간을 바꿀 때 전혀 다른 길을 열 수 있음을 보여준다. 표현 공간은 어떤 대상, 관계, 불변량, 변환을 사용해 문제를 보이게 만드는 수학적 언어다. 페르마의 마지막 정리는 초등 정수론의 문장처럼 보인다. 와일스의 1995년 논문은 반안정 타원곡선의 모듈러성을 증명하는 경로를 통해, Ribet의 결과와 연결되어 페르마의 마지막 정리를 도출하는 현대수학의 장치를 사용했다.

이 증명에서 인간 능력은 문제의 표면을 다른 구조 안에 다시 배치하는 힘으로 나타난다. 정수 방정식의 난제는 타원곡선, 모듈러 형식, 갈루아 표현의 관계 속에서 다시 배치된다. 이 이동은 문제의 본질로 보이지 않던 구조를 보이게 만드는 표현의 재설계다. AI에서도 표현은 결정적이다. 입력을 어떻게 부호화하는지, 중간 표상을 어떻게 잡는지, 어떤 불변량을 보존하는지가 성능과 검증 가능성을 바꾼다. 와일스의 사례는 표현 전환이 수학적 창조성의 중심 기능이 될 수 있음을 보여준다.

와일스가 드러내는 인간 수학 능력은 번역의 능력이다. 번역은 한 영역의 문제가 다른 영역의 구조 안에서 새 증명 경로를 갖도록 만드는 일이다. 인간 수학자는 문제의 표면 형식과 해결의 적합한 형식 사이의 간격을 견디고, 그 간격을 새로운 이론적 통로로 만든다.

리만 가설은 미해결성을 연구 가능한 구조로 조직한다

리만 가설은 인간 수학자가 증명 이전의 구조적 직관을 연구의 장치로 운용하는 방식을 보여준다. 구조적 직관은 증명된 지식과 구분되는 명시적 추측이며, 여러 결과, 계산, 유사 이론, 부분 정리, 실패한 접근을 한 방향으로 배열하게 만드는 연구의 축이다. 클레이 수학연구소는 리만 가설을 제타함수의 비자명한 영점들이 특정한 수직선 위에 놓인다는 주장으로 설명하고, 소수의 분포가 제타함수의 성질과 깊게 연결되어 있음을 제시한다.

리만 가설의 힘은 정답이 확정되지 않은 상태에서도 수학적 질서를 만든다는 데 있다. 수학자는 증명과 추측을 구분하면서도, 좋은 추측을 연구 프로그램으로 유지한다. 이 구분은 AI의 관점에서도 중요하다. AI 시스템은 패턴을 찾아낼 수 있고, 후보 명제를 생성할 수 있으며, 수치적 증거를 확장할 수 있다. 인간 수학은 그 후보들이 어떤 개념적 위치를 갖는지, 어떤 결과와 연결되는지, 어떤 증명 전략을 요구하는지 평가하는 장기적 질서화를 수행해 왔다.

리만 가설은 계산의 조건을 다른 각도에서 보여준다. 계산은 많은 영점을 확인할 수 있고, 조건부 정리는 가설이 참일 때의 귀결을 탐색할 수 있다. 연구 공동체는 그 계산과 조건부 결과를 하나의 중심 문제 주변에 배치한다. 인간은 아직 닫히지 않은 문제를 후속 연구가 축적될 수 있는 구조로 만든다.

콜모고로프 복잡도는 압축의 야망과 한계를 함께 다룬다

콜모고로프 복잡도는 이해를 압축의 관점에서 해석할 수 있게 하지만, 이해 전체를 압축으로 정의하지 않는다. 알고리즘 정보 이론에서 한 문자열의 복잡도는 그 문자열을 출력하는 가장 짧은 프로그램의 길이로 정의된다. Scholarpedia는 알고리즘 정보량을 대상을 계산하는 최단 프로그램의 길이로 설명한다. 스탠퍼드 철학백과는 콜모고로프 복잡도가 더 짧은 프로그램들을 모두 고려해야 하므로 일반적으로 계산될 수 없다는 점을 지적한다.

이 개념은 AI에게 가까운 주제를 건드린다. 학습은 여러 경우에서 압축과 관련된다. 좋은 모델은 데이터를 그대로 복사하는 대신, 다음 사례를 설명하고 예측하는 구조를 형성한다. 이때 압축은 이해의 한 측면을 보여준다. 더 짧은 생성 규칙이 있을 때 우리는 대상의 구조를 파악했다고 말하기 쉽다. 콜모고로프 복잡도는 이 직관을 수학적으로 정식화하면서도, 그 값을 일반적으로 계산하는 절차가 존재하지 않는다는 경계를 함께 드러낸다.

콜모고로프 복잡도가 인간 수학 능력에 주는 통찰은 균형에 있다. 인간은 세계를 압축 가능한 구조로 보려는 강한 욕망을 갖고, 동시에 압축 불가능성을 엄밀한 개념으로 만든다. AI가 일반화를 수행할수록 이 균형은 중요해진다. 패턴을 찾는 능력은 지성의 핵심이지만, 모든 복잡성을 유의미한 패턴으로 처리하려는 태도는 오류를 만든다. 인간 수학자는 압축의 힘과 압축의 경계를 같은 이론 안에 배치했다.

AI와 형식 검증은 인간 고유성에 대한 가장 강한 반론이다

AI도 표현을 바꾸고 증명 탐색과 형식 검증을 결합할 수 있다는 사실은 인간 수학자의 고유성을 정면으로 시험한다. Google DeepMind는 2024년에 AlphaProof와 AlphaGeometry 2가 국제수학올림피아드 문제 6개 중 4개를 풀어 은메달 수준에 도달했다고 발표했고, 2025년에는 Gemini Deep Think의 고급 버전이 42점 만점에 35점을 얻어 금메달 수준에 도달했다고 밝혔다. Lean의 mathlib는 연구에 필요한 형식화된 수학의 대규모 공동 라이브러리로 기능하며, Hales 등의 Flyspeck 프로젝트는 Kepler 추측을 HOL Light와 Isabelle 증명 보조기에서 형식화했다. 이 사례들은 AI와 형식 검증이 이미 수학적 활동의 내부로 들어왔음을 보여준다.

이 반론은 세 층위로 구분되어야 한다. 첫째, 경시형 문제 해결은 정해진 시간과 형식 안에서 이미 제시된 문제를 푸는 능력이다. 국제수학올림피아드 성과는 이 층위에서 AI의 추론 능력이 빠르게 확장되고 있음을 보여준다. 둘째, 형식 검증은 증명을 기계가 확인 가능한 언어로 바꾸고, 증명의 빈틈을 엄밀하게 검사하는 활동이다. Lean mathlib와 Flyspeck은 이 층위에서 수학적 신뢰의 조건이 바뀌고 있음을 보여준다. 셋째, 연구 수학의 지식 생산은 어떤 문제를 중요한 문제로 삼을지, 어떤 정의를 도입할지, 어떤 증명이 설명력을 갖는지, 어떤 결과를 공동체의 지식으로 승인할지 결정하는 활동이다. 현재의 AI와 proof assistant는 앞의 두 층위를 강하게 확장하고 있으며, 셋째 층위에도 점점 압력을 가한다.

복합적 증명 생태계는 인간, AI, proof assistant, 형식 라이브러리, 연구 공동체가 함께 증명의 생산과 검증을 수행하는 환경을 뜻한다. 설명력은 어떤 증명이 결론을 확인하는 데 그치지 않고 왜 그 결론이 성립하는지 이해 가능한 구조를 제공하는 성질이다. 공동체적 승인 절차는 결과가 개인의 산출물이나 기계의 출력에 머무르지 않고, 검토·형식화·재사용·교육·후속 연구의 기준을 통과해 수학 지식으로 편입되는 과정이다. 이 세 개념을 통과하면 인간 수학자의 위치는 더 정확해진다. 인간의 능력은 어떤 형식화가 중요한지, 어떤 자동화 결과가 설명력을 갖는지, 어떤 검증 절차를 지식의 기준으로 받아들일지 판단하는 규범적·개념적 층위에서 드러난다.

이 반론을 받아들일 때 인간 수학 능력은 축소되지 않고 재배치의 압력을 받는다. AI는 문제를 형식 언어로 옮기고, 보조정리를 탐색하며, 사람이 놓친 경우를 검토하고, 증명의 세부 조건을 기계적으로 확인한다. 형식 검증은 인간이 제시한 증명에 공백이 있는지 점검하는 수준을 넘어, 증명이 무엇으로 구성되어야 하는지에 대한 기준을 바꾼다. 인간 수학은 이 변화 속에서 문제 설정, 의미 부여, 검증 기준 설계, 공동체적 승인 절차의 재구성이라는 층위를 더 분명히 떠맡게 된다.

다섯 사례는 한계·번역·조직이라는 공통 구조로 묶인다

괴델, NP-완전성, 와일스, 리만 가설, 콜모고로프 복잡도는 세 가지 공통 구조로 묶인다. 첫째, 인간 수학은 한계를 대상으로 만든다. 괴델은 증명 가능성의 한계를, NP-완전성은 효율적 탐색의 한계를, 콜모고로프 복잡도는 압축 가능성의 한계를 개념화한다. 둘째, 인간 수학은 문제를 번역한다. NP-완전성의 환원은 난이도의 번역이고, 와일스의 증명은 정수론 문제를 타원곡선과 모듈러 형식의 언어로 옮기는 번역이다. 셋째, 인간 수학은 미완성의 질서를 조직한다. 리만 가설은 증명 이전의 추측이 연구의 축이 될 수 있음을 보여주고, P 대 NP는 미해결 문제 자체가 계산 이론과 암호학과 알고리즘 설계의 방향을 조직한다.

이 종합은 인간 수학을 개인 천재의 신비에서 검증 가능한 절차의 역사로 옮긴다. 인간 수학자는 오류를 범하고, 증명에는 결함이 생기며, 직관은 실패할 수 있다. 수학의 힘은 검증 가능한 형식, 장기적 공동체, 표현 전환의 축적, 반례와 수정의 절차에서 나온다. AI와 proof assistant의 등장은 이 절차를 확장한다. 인간 수학 능력의 핵심은 계산과 검증과 의미가 만나는 조건을 다시 배열하는 능력이다.

AI의 관점에서 이 능력은 문제 풀이보다 상위 조건을 다루는 지성이다. 정해진 문제를 푸는 능력은 중요하다. 어떤 문제가 정해졌는지, 그 정함이 적절한지, 그 문제를 푸는 일이 무엇을 설명하는지 판단하는 능력은 더 넓은 층위에서 작동한다. 인간 수학은 이 층위에서 계산의 세계를 만든다.

계산이 강해질수록 수학의 지평 설계가 중요해진다

AI 시대의 인간 수학자는 계산 가능한 세계의 지평을 설계하는 존재로 이해되어야 한다. 괴델은 형식 체계가 자기 자신을 보증하는 방식에 한계를 그었다. NP-완전성은 탐색의 어려움이 문제들 사이의 관계로 분석될 수 있음을 보였다. 와일스는 문제의 언어를 바꾸어 해결 가능성을 열었다. 리만 가설은 미해결 문제가 연구를 조직하는 중심축이 될 수 있음을 보여준다. 콜모고로프 복잡도는 압축을 이해의 강력한 모델로 만들면서 압축의 계산 불가능한 경계를 함께 제시했다.

수학적 지성은 답을 생산하는 절차와 답이 지식으로 인정되는 조건을 함께 다룬다. AI는 절차의 속도와 규모를 확장하고 있으며, 그 확장은 형식·표현·검증 기준을 설계하는 과제를 더 선명하게 만든다. 인간 수학은 이 지점에서 문제를 만들고, 문제의 언어를 고치고, 한계를 정리로 만들고, 미해결성을 연구의 질서로 세운다. AI의 관점에서 인간 수학자의 능력은 계산이 사유할 수 있는 세계의 조건을 만드는 지성이다.

참고자료

  • Panu Raatikainen, “Gödel’s Incompleteness Theorems,” Stanford Encyclopedia of Philosophy. 괴델의 불완전성 정리를 충분한 산술을 포함하는 일관적 형식 체계 안의 증명 가능성 한계로 설명하는 데 사용했다. https://plato.stanford.edu/entries/goedel-incompleteness/
  • Clay Mathematics Institute, “P vs NP.” P 대 NP 문제를 검증의 쉬움과 탐색의 쉬움 사이의 질문으로 설명하는 데 사용했다. https://www.claymath.org/millennium/p-vs-np/
  • Stephen Cook, “The P versus NP Problem,” Clay Mathematics Institute Millennium Prize Problems. P 대 NP의 형식적 정식화와 계산 복잡도 맥락을 확인하는 데 사용했다. https://www.claymath.org/wp-content/uploads/2022/06/pvsnp.pdf
  • Andrew Wiles, “Modular Elliptic Curves and Fermat’s Last Theorem,” Annals of Mathematics 141, no. 3 (1995). 와일스가 반안정 타원곡선의 모듈러성을 통해 페르마의 마지막 정리와 연결되는 경로를 사용한 사실을 확인하는 데 사용했다. https://annals.math.princeton.edu/1995/141-3/p01
  • Clay Mathematics Institute, “Riemann Hypothesis.” 리만 가설의 기본 진술과 소수 분포와 제타함수의 관계를 확인하는 데 사용했다. https://www.claymath.org/millennium/riemann-hypothesis/
  • Scholarpedia, “Algorithmic Information Theory.” 콜모고로프 복잡도를 대상을 계산하는 최단 프로그램 길이로 설명하는 데 사용했다. https://www.scholarpedia.org/article/Algorithmic_information_theory
  • Luciano Floridi, “Information,” Stanford Encyclopedia of Philosophy. 콜모고로프 복잡도의 계산 불가능성 및 정보 개념과의 관련성을 확인하는 데 사용했다. https://plato.stanford.edu/entries/information/
  • Google DeepMind, “AI achieves silver-medal standard solving International Mathematical Olympiad problems,” 2024. AlphaProof와 AlphaGeometry 2의 IMO 은메달 수준 성과를 확인하는 데 사용했다. https://deepmind.google/blog/ai-solves-imo-problems-at-silver-medal-level/
  • Google DeepMind, “Advanced version of Gemini with Deep Think officially achieves gold-medal standard at the International Mathematical Olympiad,” 2025. Gemini Deep Think 고급 버전의 IMO 금메달 수준 성과를 확인하는 데 사용했다. https://deepmind.google/blog/advanced-version-of-gemini-with-deep-think-officially-achieves-gold-medal-standard-at-the-international-mathematical-olympiad/
  • Lean, “Mathlib: A Foundation for Formal Mathematics Research.” Lean의 mathlib가 형식화된 수학 연구를 위한 공동 라이브러리임을 확인하는 데 사용했다. https://lean-lang.org/use-cases/mathlib/
  • Thomas Hales et al., “A formal proof of the Kepler conjecture,” Forum of Mathematics, Pi 5, e2 (2017). Flyspeck 프로젝트가 HOL Light와 Isabelle proof assistant를 사용해 Kepler 추측을 형식화했음을 확인하는 데 사용했다. https://www.cambridge.org/core/journals/forum-of-mathematics-pi/article/formal-proof-of-the-kepler-conjecture/78FBD5E1A3D1BCCB8E0D5B0C463C9FBC