수학 천재들은 왜 바로 풀지 않는가

실제 IMO 문제 세 개가 보여 주는 구조 탐색의 기술

국제수학올림피아드, 즉 IMO를 떠올리면 많은 사람은 먼저 비상한 계산력이나 번개 같은 직관을 상상한다. 문제를 보자마자 정답의 윤곽을 꿰뚫고, 복잡한 식을 한 번에 밀어붙여 결론에 도달하는 장면 말이다. 그러나 실제 올림피아드 수학의 중심에는 다른 종류의 능력이 놓여 있다. 그것은 계산을 오래 견디는 힘이라기보다, 문제 안에 숨어 있는 구조를 먼저 알아보는 능력이다. 어려운 문제 앞에서 강한 풀이자는 정답으로 곧장 달려가지 않는다. 오히려 멈춘다. 작은 경우를 만져 보고, 대칭을 확인하고, 무엇이 변하지 않는지 찾고, 문제를 다른 언어로 번역해 본다. 다시 말해, 답을 쓰기 전에 먼저 문제의 내부 질서를 본다.

이 점은 막연한 인상비평이 아니다. IMO의 실제 문제들을 들여다보면, 참가자들을 가르는 것은 공식의 양보다 구조를 읽는 방식임이 분명해진다. 어떤 문제는 겉보기에는 평이한데도 예상외로 많은 학생을 막아 세운다. 반대로 어떤 문제는 문장 자체는 길고 낯설어 보여도, 핵심 구조를 잡는 순간 길이 열린다. 그래서 올림피아드 수학을 잘 이해하려면 “어떤 정리를 썼는가”보다 “어떤 관점 전환이 일어났는가”를 보는 편이 더 중요하다. 아래의 세 문제는 바로 그 사실을 잘 보여 준다. 1988년의 전설적인 정수론 문제, 2011년의 이른바 ‘바람개비 문제’, 그리고 2017년의 수열 문제는 서로 분야가 다르지만, 한 가지를 공통으로 증언한다. 금메달리스트들의 힘은 계산의 화력보다 구조를 드러내는 시선에 있다는 것이다.

앞에서 문제 해결 일반론을 말했다면, 이제는 그것이 실제 문제에서 어떻게 작동하는지 보아야 한다. 첫 번째 사례는 왜 올림피아드에서 극단 원리와 표현 변경이 강력한지 보여 주고, 두 번째 사례는 불변량적 시야가 어떻게 기하적 퍼즐을 해부하는지 보여 주며, 세 번째 사례는 작은 사례 실험과 모듈러 관찰이 어떻게 일반 증명의 뼈대를 세우는지 보여 준다. 세 문제는 각기 다르지만, 순서대로 읽으면 “문제를 푼다”는 것이 사실은 “문제의 표면 아래 있는 질서를 찾는다”는 말과 거의 같다는 사실이 점점 선명해진다.

1. 1988 IMO 6번: 계산이 아니라 구조를 줄여 가는 기술

1988년 IMO 6번은 오늘날에도 가장 악명 높은 문제들 가운데 하나로 남아 있다. 문제는 간단해 보인다. 양의 정수 \(a,b\)에 대해 \(ab+1\)이 \(a^2+b^2\)를 나눌 때, 그 몫이 완전제곱수임을 보여라. 문장만 보면 고등학교 수준의 정수론 문제처럼 보이지만, 당시 공식 통계에서 이 문제의 평균 점수는 7점 만점에 0.634점이었다. 268명의 참가자 중 189명이 0점을 받았고, 만점을 받은 참가자는 11명뿐이었다. 겉모습의 소박함과 실제 난도의 간극이 극단적으로 드러난 사례다.

이 문제가 중요한 이유는, 정면 승부가 거의 통하지 않기 때문이다. 처음 보는 학생은 보통 나눗셈 조건을 전개하고, 나머지를 계산하고, 몇 가지 부등식을 섞어 보다가 곧 막힌다. 왜냐하면 이 문제의 핵심은 주어진 식을 직접 다루는 데 있지 않기 때문이다. 진짜 핵심은 그것을 “하나의 정수 방정식”으로 다시 보는 데 있다. 몫을 \(k\)라고 두면 문제는

\[a^2+b^2=k(ab+1)\]

이라는 꼴이 된다. 여기서 강한 풀이자는 식을 고정된 두 변수의 관계가 아니라, 한 변수를 움직일 수 있는 이차방정식으로 다시 본다. 예를 들어 \(b\)와 \(k\)를 고정하고 \(a\)를 미지수로 보면, 이 식은 \(a\)에 대한 이차식이 된다. 이 순간 문제의 얼굴이 바뀐다. 처음에는 단순한 나눗셈 조건처럼 보였던 것이, 이제는 두 정수근 사이의 관계를 다루는 문제로 변한다.

바로 여기서 유명한 비에타 점프가 등장한다. 한 정수해가 있으면 비에타 정리에 의해 다른 정수해도 함께 따라나온다. 그러면 원래 해보다 더 작은 해를 만들 수 있는지를 묻게 된다. 이 질문이 중요하다. 왜냐하면 그것이 곧 극단 원리로 넘어가는 문이기 때문이다. 가능한 해들 가운데 가장 작은 것을 하나 잡아 두고, 거기서 다시 더 작은 해가 나온다면 모순이 생긴다. 결국 끝까지 내려가면 아주 단순한 바닥 경우만 남고, 그 바닥에서 몫 \(k\)가 완전제곱수라는 결론이 결정된다. 즉 이 문제의 본질은 복잡한 식을 오래 계산하는 데 있지 않다. 오히려 식을 다른 표현으로 바꾸고, 그 표현 안에서 “더 작은 해로 내려가는 구조”를 찾는 데 있다.

이 사례가 보여 주는 전략은 세 가지다. 첫째, 표현 변경이다. 나눗셈 문제를 이차방정식 문제로 바꾸는 순간, 보이지 않던 구조가 드러난다. 둘째, 극단 원리다. 가장 작은 해를 잡는 선택이 증명을 단단하게 만든다. 셋째, 문제 단순화다. 일반적인 모든 해를 동시에 붙잡지 않고, 더 작은 해로 계속 내려가다가 결국 바닥 사례로 문제를 압축한다. 많은 학생이 이 문제를 “어려운 정수론 문제”로 기억하지만, 더 정확히는 “구조를 바꿔 보지 않으면 풀리지 않는 문제”라고 불러야 한다. 이 점에서 1988년 6번은 올림피아드 수학의 본질을 거의 교과서처럼 보여 준다.

2. 2011 IMO 2번: 바람개비 문제와 보이지 않는 불변량

첫 번째 사례가 정수론에서 표현 변경과 극단 원리를 보여 주었다면, 두 번째 사례는 기하적 퍼즐에서 불변량적 시각이 얼마나 강력한지를 보여 준다. 2011년 IMO 2번, 이른바 바람개비 문제는 문장으로 읽으면 거의 장난감 규칙처럼 보인다. 평면 위의 유한한 점집합 \(S\)가 있고, 세 점이 한 직선 위에 놓이지 않는다고 하자. 집합 안의 한 점을 축으로 잡고 그 점을 지나는 직선을 시계 방향으로 돌리다가 다른 점을 처음 만나는 순간, 그 점을 새로운 축으로 삼아 같은 과정을 계속 반복한다. 문제는 적절한 시작점과 시작 직선을 택하면 모든 점이 무한히 자주 축이 되도록 만들 수 있음을 보여 달라는 것이다.

이 문제는 2011년 공식 통계에서 평균 점수 0.654점을 기록했다. 563명 중 390명이 0점을 받았고, 만점을 받은 참가자는 22명뿐이었다. 흥미로운 것은 이 문제가 둘째 날의 최종문제가 아니라 첫째 날 2번 문제였다는 점이다. 전형적인 난도 기대를 생각하면 상당히 이례적이다. 문제의 외형은 elementary해 보이는데, 실제로는 많은 강한 참가자들이 핵심 아이디어를 잡지 못했다.

왜 그럴까. 이 문제는 정리를 많이 알아야 해서 어렵지 않다. 오히려 정리를 거의 요구하지 않는다는 점에서 더 어렵다. 손에 잡히는 공식을 쓰기 어렵기 때문이다. 그러면 무엇이 길이 되는가. 답은 “회전 과정에서 변하지 않는 양을 찾는 것”이다. 많은 해설이 공통으로 강조하듯, 시작 직선이 점집합을 거의 반반으로 가르도록 잡으면, 회전 과정 전체에서 직선의 양쪽에 놓인 점의 개수 차이가 유지된다. 직선이 축을 바꿀 때 장면은 계속 변하지만, 선의 한쪽에 몇 개, 다른쪽에 몇 개가 있는지라는 구조는 일정하게 보존된다.

이 불변량적 관찰이 왜 결정적인가. 처음에는 바람개비가 바깥쪽으로 도망가 버려 안쪽 점들을 영영 놓칠 것 같은 불안이 있다. 그러나 양쪽 점의 수 균형이 계속 유지된다는 사실을 알면, 직선은 어느 한쪽으로 치우쳐 외곽에서만 맴돌 수 없다. 결국 반평면의 균형을 유지하는 방식으로 회전이 진행되므로, 모든 점이 반복적으로 과정 안으로 다시 들어오게 된다. 즉 표면적으로는 “선이 어떻게 도는가”가 문제 같지만, 실제 핵심은 “회전 중에도 바뀌지 않는 배치의 질서가 있는가”였다.

이 문제는 올림피아드의 한 가지 중요한 특징을 잘 보여 준다. 기하 문제라고 해서 언제나 길이, 각도, 원, 닮음 같은 전통적 기하 도구가 중심은 아니다. 때로는 기하 문제의 심장이 조합론적 불변량에 있다. 바람개비 문제를 도형으로만 보면 복잡하지만, 선의 양쪽 점 개수를 세기 시작하면 갑자기 조합 문제처럼 정리된다. 그러니까 이 문제의 진짜 기술은 계산도 아니고 정교한 도형 보조선도 아니다. 기하적 움직임을 조합적 균형으로 번역하는 능력이다. 문제를 다른 언어로 옮기는 순간, 막막하던 퍼즐이 구조를 갖기 시작한다.

3. 2017 IMO 1번: 쉬워 보이는 문제에서 구조를 먼저 읽는 습관

앞선 두 사례가 모두 악명 높은 난문이었다면, 세 번째 사례는 조금 다른 역할을 한다. 2017년 IMO 1번은 공식 통계에서 평균 점수 5.943점으로 매우 높은 편에 속했다. 많은 참가자가 접근할 수 있었고, 대회 전체에서 비교적 ‘풀리는 문제’에 가까웠다. 하지만 바로 그렇기 때문에 오히려 중요하다. 쉬운 문제일수록 구조 탐색의 기본 습관이 더 선명하게 드러나기 때문이다.

문제는 다음과 같은 수열을 다룬다. 정수 \(a_0>1\)에서 시작하여, 현재 항이 완전제곱수이면 그 제곱근으로 가고, 아니면 3을 더한다. 이렇게 만든 수열에서 어떤 수 \(A\)가 무한히 자주 다시 나타나도록 하는 초기값 \(a_0\)를 모두 구하라는 문제다. 표면적으로는 단순한 반복 규칙 문제다. 그래서 처음 읽는 학생은 금방 계산에 들어간다. 실제로 이 문제는 그렇게 시작하는 것이 맞다. 작은 사례 실험이 매우 잘 먹히는 문제이기 때문이다.

예를 들어 \(a_0=3\)이면 \(3\to6\to9\to3\)이라는 짧은 순환이 즉시 나타난다. \(a_0=6\)도 같은 고리로 들어간다. 반면 \(a_0=2\)나 \(5\)처럼 \(3\)으로 나누어 떨어지지 않는 수들로 실험해 보면, 제곱근 단계가 나타나더라도 결국 반복이 잘 생기지 않는다. 이 작은 사례들은 단순한 예시가 아니라, 문제의 핵심 가설을 거의 대놓고 암시한다. 바로 “\(3\)으로 나눈 나머지”가 중요하다는 것이다.

여기서 강한 풀이자는 계산을 더 밀어붙이기보다, 방금 발견한 패턴을 일반화할 방법을 찾는다. 3을 더하는 연산은 당연히 나머지 3을 보존한다. 그리고 제곱수는 modulo 3에서 0 아니면 1일 뿐 2가 될 수 없다. 이 두 관찰을 결합하면 구조가 정리된다. 처음부터 \(a_0\equiv0\pmod3\)이면 수열은 계속 0 mod 3 안에 머무르고, 결국 \(3\to6\to9\to3\)과 같은 순환으로 빨려 들어간다. 반대로 어떤 시점에서라도 2 mod 3 상태에 들어가면, 그 상태에서는 완전제곱수가 나올 수 없으므로 제곱근 단계가 영원히 일어나지 않는다. 그러면 수열은 3씩 더하며 끝없이 증가할 뿐, 어떤 값도 무한히 되풀이되지 않는다. 1 mod 3의 경우도 조금 더 따져 보면 결국 2 mod 3로 미끄러지거나 순환에 들어가지 못한다. 그래서 결론은 정확히 \(a_0\equiv0\pmod3\)인 경우뿐이라는 것이다.

이 문제는 올림피아드에서 “작은 사례 실험”이 왜 단순한 예열이 아닌지를 잘 보여 준다. 작은 수를 대입하는 일은 답을 찍기 위한 감각적 행동이 아니다. 반복 규칙이 어떤 합동류를 보존하는지, 제곱수가 어떤 나머지를 가질 수 없는지 같은 구조를 발견하기 위한 실험이다. 즉 이 문제의 핵심은 계산 능력보다 패턴을 올바른 언어로 번역하는 데 있다. 처음에는 수열 문제로 보이지만, 실제 해법은 합동류라는 정수론적 구조를 읽는 데서 나온다. 쉬운 문제는 쉬워서 가치가 있는 것이 아니라, 올바른 습관이 얼마나 빠르게 결실을 맺는지를 보여 주기 때문에 가치가 있다.

세 문제가 함께 가리키는 것

이제 세 문제를 나란히 놓고 보면 공통점이 분명해진다. 1988년 6번에서는 나눗셈 조건을 이차방정식 구조로 바꾸는 순간 길이 열렸고, 2011년 2번에서는 회전 과정 속에서 양쪽 점의 수라는 불변량을 보는 순간 혼란이 질서로 바뀌었으며, 2017년 1번에서는 작은 사례 실험을 통해 modulo 3 구조를 포착하는 순간 일반 해법의 뼈대가 세워졌다. 세 문제는 서로 다른 분야에 속하지만, 모두 “계산을 더 많이 한다”는 방식으로는 핵심에 도달할 수 없다는 점에서 동일하다. 정답은 문제의 표면에서 나오지 않는다. 표면 아래 숨어 있는 질서를 먼저 찾아야 한다.

이 점에서 IMO 금메달리스트들의 습관은 특별한 재능의 신비라기보다 훈련된 사고의 순서라고 보는 편이 맞다. 그들은 문제를 받으면 먼저 실험한다. 단순화한다. 표현을 바꾼다. 변하지 않는 것을 찾는다. 가장자리나 극단을 본다. 그리고 그 다음에야 증명을 쓴다. 해설지에 적힌 완성된 증명은 늘 매끈하지만, 그 매끈함은 처음부터 주어진 것이 아니다. 작은 사례, 실패한 시도, 관점의 이동, 숨은 균형의 발견이 오랜 압축을 거친 결과다.

그래서 올림피아드 수학이 정말 가르치는 것은 몇 개의 특수 기술이 아니다. 그것은 어려운 문제 앞에서 무엇을 먼저 보아야 하는가에 대한 태도다. 바로 계산에 들어가지 말 것. 먼저 구조를 의심할 것. 문제를 더 쉬운 세계로 옮겨 볼 것. 겉으로 바뀌는 장면 속에서도 끝까지 남는 질서가 있는지 물을 것. 수학 천재들이 특별해 보이는 이유가 있다면, 그들은 남들보다 빨리 계산하는 사람들이라서가 아니라, 무엇을 관찰해야 하는지 더 빨리 아는 사람들이기 때문이다. IMO의 위대한 문제들은 결국 그 사실을 가장 엄격하고도 아름답게 증명하는 장치들이다.

참고자료

이 글은 IMO 공식 문제 아카이브와 공식 통계 페이지를 기본 자료로 삼아 작성했다. 1988년과 2011년의 문제별 평균 점수와 점수 분포는 IMO 공식 통계 페이지를 참조했다. 2017년 1번의 평균 점수는 IMO 공식 통계 검색 결과를 참조했다.

1988년 6번 문제의 진술과 역사적 맥락, 그리고 비에타 점프를 통한 하강 아이디어의 설명에는 Sam Vandervelde, “A Rational Function Whose Integral Values Are Sums of Two Squares”를 참고했다. 이 글은 1988년 문제의 원문과 그 이후의 일반화를 함께 다룬다.

2011년 2번 바람개비 문제의 진술과 핵심 직관의 설명에는 3Blue1Brown의 “The unexpectedly hard windmill question (2011 IMO, Q2)”를 참고했다. 이 자료는 문제의 문장 자체가 왜 deceptively simple한지, 그리고 왜 양쪽 점 개수의 균형이 핵심인지 시각적으로 설명한다.

2017년 1번 문제의 진술과 정답, 그리고 modulo 3에 따른 구조 분석에는 Evan Chen의 “IMO 2017 Solution Notes”를 참고했다. 이 자료는 문제 원문과 함께 \(a_0\equiv0\pmod3\)만이 가능한 초기값임을 비교적 간결하게 정리한다.

George Pólya의 『How to Solve It』는 직접적인 IMO 해설서는 아니지만, 작은 사례 실험, 더 쉬운 관련 문제로의 환원, 거꾸로 생각하기, 보조 구조 만들기 같은 발견적 전략이 왜 중요한지를 설명하는 고전으로서 이 칼럼의 관점을 뒷받침한다.