과학의 한계와 인간의 척도

완전성의 환상에서 탐구의 윤리로

과학이 언젠가 한계에 부딪힐 것이라는 말은 흔히 두 가지 과장된 반응을 불러온다. 하나는 그 한계를 아직 오지 않은 미래의 일로 미루며, 과학이 끝내 모든 것을 설명할 것이라고 기대하는 태도이다. 다른 하나는 설명되지 않는 잔여가 남는 순간 과학의 권위 전체가 흔들린다고 보는 실망의 태도이다. 그러나 이 둘은 반대가 아니다. 둘 다 과학의 가치를 '완전한 앎'의 가능성에 걸고 있다는 점에서 같은 전제를 공유한다. 이 전제를 그대로 받아들이는 한, 과학은 전능하지 않으면 실패한 것으로 판정된다.

그러나 과학은 애초에 그런 방식으로 서야 하는 제도가 아니었다. 과학의 가치는 완전한 체계를 소유하는 데 있지 않고, 유한한 존재가 오류와 무지를 공적 절차 안에서 다루는 형식을 갖추었다는 데 있다. 이 에세이는 그 형식의 구조를 네 방향에서 검토한다. 먼저 과학의 방법이 왜 본질적으로 자기 제한적인지를 묻고, 다음으로 세계 자체가 과학에 가하는 저항의 성격을 살펴본다. 이어서 불확실성을 공개적으로 다루는 언어가 과학을 약화하는 것이 아니라 성숙시킨다는 점을 보이며, 마지막으로 이 모든 논의가 상대주의로 귀결되지 않는 이유를 해명한다.

1. 자기 수정의 구조: 과학은 왜 완결을 약속하지 않는가

과학의 한계를 이해하려면 과학이 무엇을 약속하는 제도인지를 먼저 분명히 해야 한다. 이 점을 일찍이 정리한 사상가 가운데 한 사람이 찰스 샌더스 퍼스이다. 퍼스는 「The Fixation of Belief」(1877)에서 탐구를 단순한 정보 축적이 아니라, 의심에서 보다 안정된 믿음으로 나아가는 과정으로 파악했다. 그에게 핵심 문제는 의심을 없애는 일 그 자체가 아니라, 어떤 방식으로 믿음을 고정하느냐였다. 고집, 권위, 선험적 취향에 기대는 방식은 반대 증거 앞에서 자기를 보호하지만, 과학의 방법은 반대 증거를 의도적으로 초청한다. 퍼스의 가류주의(fallibilism)가 지닌 고유한 힘은 바로 여기에 있다. 그것은 단지 '우리도 틀릴 수 있다'는 겸양의 표현이 아니라, 오류 가능성을 탐구의 구조적 전제로 삼는 인식론적 입장이다. 이 입장 아래서 과학적 믿음은 잠정적이되, 자의적이지 않다. 믿음은 공동체적 탐구의 수렴 과정 속에서 교정되고 정련되기 때문이다.

카를 포퍼에게 오면 이 논점은 더 날카롭게 정식화된다. 포퍼는 과학의 핵심을 최종적 검증이 아니라 반증 가능성(falsifiability)에서 찾았다. 어떤 이론이 과학적이라는 말은 그것이 영원히 참으로 봉인된다는 뜻이 아니라, 반례가 나타날 경우 실제로 상처 입을 수 있다는 뜻이다. 퍼스와 포퍼는 결론에서 유사하게 보이지만, 강조점은 다르다. 퍼스의 가류주의가 탐구 공동체의 장기적 수렴 과정에 초점을 맞춘다면, 포퍼의 반증주의는 개별 이론이 어떤 조건에서 과학적 지위를 얻고 잃는지를 묻는다. 퍼스에게 오류 가능성은 공동체의 자기 교정 능력이 작동하기 위한 조건이고, 포퍼에게 오류 가능성은 이론의 경험적 내용이 성립하기 위한 논리적 요건이다. 이 둘을 함께 놓으면, 과학의 한계가 이중의 의미를 갖는다는 점이 분명해진다. 과학은 어떤 이론도 최종적으로 확증하지 못하며(포퍼), 동시에 바로 그 때문에 탐구는 끝나지 않는 과정으로 열려 있다(퍼스).

리처드 파인먼 역시 「The Value of Science」(1955)에서 과학의 가장 큰 가치 가운데 하나를 '의심의 자유(freedom to doubt)'라고 불렀다. 이 표현이 중요한 이유는, 과학의 힘을 확실성의 축적이 아니라 의심의 합법화에서 찾기 때문이다. 과학은 의심을 제거하는 언어가 아니라, 무엇을 아직 모르는지 말할 수 있는 언어이다. 파인먼의 이 정식화는 퍼스와 포퍼의 논의를 일상 언어로 압축하면서, 동시에 한 가지를 덧붙인다. 과학의 자기 제한은 방법론적 결함이 아니라, 과학이 자기 형식에 충실할 때 반드시 드러나는 조건이라는 것이다. 따라서 과학의 한계는 과학 바깥에서 강제로 부과된 패배가 아니라, 과학이 스스로의 규범을 성실하게 이행한 결과이다.

2. 세계의 저항: 불확정성은 기술의 미숙이 아니다

앞 절이 과학의 방법이 왜 자기 제한적일 수밖에 없는지를 보였다면, 이제는 시선을 세계 자체로 옮겨야 한다. 과학의 한계가 언제나 '아직 덜 정교한 기술'의 문제로 환원되지는 않기 때문이다. 어떤 경우 한계는 인간의 장비가 미숙해서가 아니라, 세계가 애초에 확정성과 투명성을 그런 방식으로 내어주지 않기 때문에 생긴다.

양자역학은 이 점을 가장 선명하게 드러낸 영역이다. 하이젠베르크의 불확정성 원리는 입자의 위치를 더 정밀하게 붙잡을수록 운동량은 더 불확정해지며, 가장 정밀한 기술조차 확률의 언어를 떠나지 못한다는 것을 보여 준다. 파인먼은 『The Feynman Lectures on Physics』 제1권 6장에서 이것을 우연한 측정 오차가 아니라 자연을 기술하려는 시도에 내재한 '본래적 흐릿함(innate fuzziness)'이라고 설명한다. 그런데 여기서 한 가지 중요한 구분이 필요하다. 이 불확정성이 인식론적 한계인지, 존재론적 한계인지의 문제이다. 코펜하겐 해석은 측정 이전의 물리량에 확정된 값을 부여하는 것 자체가 무의미하다고 보며, 이 경우 불확정성은 세계의 존재 방식 자체에 속한다. 반면 숨은 변수 이론 같은 실재론적 해석은 불확정성을 우리 지식의 불완전성으로 보려 한다. 이 해석 논쟁 자체가 아직 결정적으로 해소되지 않았다는 사실은, 과학의 한계가 단순한 기술적 문제가 아니라 자연의 구조와 인간의 인식 사이의 관계에 대한 근본적 물음에 닿아 있음을 보여 준다. 어느 해석을 취하든, 고전적 의미의 완전한 결정론적 기술이 양자 영역에서는 가능하지 않다는 점은 변하지 않는다.

이 점에서 중요한 것은 과학이 무력하다는 결론이 아니다. 오히려 과학이 세계가 우리 기대와 다르게 구성되어 있다는 사실을 받아들일 때 더 정확해진다는 점이다. 한계를 부정하는 과학은 세계를 자기 기대에 맞추려 하지만, 한계를 받아들이는 과학은 세계가 실제로 어떤 방식으로 저항하는지를 배운다.

이 논리는 현대 우주론에서도 되풀이된다. 암흑물질과 암흑에너지는 오늘의 우주론이 여전히 풀지 못한 핵심 문제이다. 우리는 암흑에너지가 무엇인지 모르지만, 그것이 우주의 가속 팽창과 관련된 실재적 현상이라는 점, 그리고 그것을 시험하기 위한 관측 계획이 계속 진행 중이라는 점은 분명하다. 이때 무지는 패배가 아니라 연구 프로그램의 이름이 된다. 과학은 모르는 것을 모른다고 말한 뒤, 그 무지를 다시 실험과 추론의 대상으로 바꾸는 데서 강해진다.

3. 불확실성의 언어: 과학의 제도적 성숙

세계가 과학에 저항한다는 점을 확인했다면, 이제 그 저항이 과학의 공적 언어를 어떻게 바꾸는지로 논의를 이어야 한다. 과학이 자기 한계를 진지하게 받아들인다면, 더 이상 모든 결론을 신탁처럼 말할 수 없다. 그 대신 무엇이 강하게 지지되고, 무엇이 조건부이며, 어디서부터 추정이 개입하는지를 구분해 말해야 한다. 이 구분 능력은 과학의 수사학적 약점이 아니라 제도적 성숙이다.

기후과학은 그 성숙을 가장 분명하게 보여 주는 사례이다. IPCC의 2023 종합보고서는 결론을 단순한 단언으로 밀어붙이지 않고, 'confidence'와 'likelihood' 같은 보정된 언어를 통해 증거와 합의의 수준을 구분한다. 핵심 발견은 사실 진술의 형태로 제시되거나, 보정된 확신 수준(calibrated language)과 함께 제시된다. 이 방식은 정치적 회피가 아니라 인식론적 정직성의 형식이다. 확실성의 연극은 대중에게 순간적인 안도감을 줄 수 있지만, 결국 과학을 신념 체계처럼 보이게 만든다. 반대로 불확실성을 등급화해 말하는 과학은 자신이 무엇을 얼마나 알고 있는지에 대해 책임 있게 말한다.

미국 국립과학공학의학원의 보고서 『Reproducibility and Replicability in Science』(2019)도 같은 방향을 가리킨다. 이 보고서는 재현성(reproducibility)과 복제 가능성(replicability)을 구별하면서, 같은 데이터와 방법으로 일관된 결과를 다시 얻을 수 있는가(재현성)와 독립된 연구들이 같은 질문에 대해 유사한 결론으로 수렴하는가(복제 가능성)를 나누어 다룬다. 과학의 신뢰는 '나는 틀릴 수 없다'는 선언에서 나오지 않는다. '내 주장은 이런 조건 아래에서만 유효하며, 다른 연구자들도 이 과정을 다시 점검할 수 있어야 한다'는 자기 제한에서 나온다.

그러나 여기서 한 가지 긴장을 정직하게 다루어야 한다. 과학이 자기 수정의 구조를 갖추고 있다는 원리적 주장과, 현실의 과학 제도가 실제로 그 구조를 충실히 이행하고 있는가는 별개의 문제이다. 최근 수십 년간 여러 분야에서 드러난 재현성 위기(replication crisis)는 이 괴리를 분명히 보여 주었다. 출판 편향(publication bias)은 긍정적 결과만을 선택적으로 축적하게 만들고, 연구 자금 구조는 참신한 발견에 보상을 집중함으로써 검증과 반복 연구를 경시하게 한다. p-해킹이나 결과 사후 합리화(HARKing) 같은 관행은 반증 가능성의 원리를 제도적으로 우회하는 방식이 된다. 이러한 문제들은 과학의 자기 수정 원리 자체를 부정하지는 않지만, 그 원리가 자동적으로 실현되지 않는다는 사실을 일깨운다. 자기 수정은 과학의 본유적 속성이라기보다, 제도적 조건이 갖추어져야 비로소 작동하는 성취이다. 바로 그 때문에 재현성 논의는 과학의 약점을 폭로하는 것이 아니라, 과학이 자기 규범을 더 엄밀하게 실현하기 위한 제도적 자기 점검의 과정이다.

4. 한계를 말하는 과학은 왜 상대주의가 아닌가

지금까지의 논의에서 자연스럽게 따라오는 반론이 있다. 과학의 한계, 불확실성, 수정 가능성을 이렇게 강조하면 결국 '과학도 하나의 해석일 뿐'이라는 상대주의로 미끄러지는 것 아니냐는 반론이다. 이 오독은 특히 토머스 쿤의 이름이 호출될 때 자주 반복된다. 과학혁명론이 마치 모든 이론의 동등성을 선언한 것처럼 읽히는 것이다.

그러나 그런 독해는 쿤의 핵심을 지나치게 납작하게 만든다. 『The Structure of Scientific Revolutions』에서 쿤이 보여 주려 한 것은 과학이 단순한 사실 축적만으로 움직이지 않는다는 점이었다. 정상과학, 축적되는 변칙, 위기, 혁명이라는 구조를 통해, 과학이 강한 문제틀(paradigm)과 규범적 실천 속에서 작동한다고 보았다. 혁명이 있다는 것은 아무 설명이나 같은 가치를 가진다는 뜻이 아니라, 기존의 틀로는 더 이상 풀리지 않는 문제들이 쌓일 때 설명의 틀 자체가 재조정될 수 있다는 뜻이다. 쿤이 해체한 것은 과학의 권위 그 자체가 아니라, 과학 발전이 언제나 선형적 누적이라는 순진한 그림이었다.

그러나 쿤의 논의가 이 에세이의 논증에 기여하는 바를 더 적극적으로 말할 수 있다. 쿤이 보여 준 것은 과학의 자기 수정이 매끄러운 점진적 조정이 아니라, 때로 급격한 틀의 전환을 포함하는 과정이라는 점이다. 이것은 앞서 퍼스와 포퍼가 보여 준 자기 수정의 원리에 역사적 깊이를 부여한다. 과학은 오류를 교정할 뿐 아니라, 때로는 오류를 가능하게 했던 전제 자체를 재검토한다. 이 급진적 자기 교정 능력이야말로 과학을 다른 믿음 체계와 구별하는 특징이다.

바로 여기서 오류 가능성과 자의성을 구별해야 한다. 과학은 오류 가능하기 때문에 과학인 것이지, 자의적이기 때문에 과학인 것이 아니다. 포퍼의 반증 가능성, 파인먼의 의심의 자유, IPCC의 보정된 확률 언어, 국립과학공학의학원의 재현성 논의는 모두 같은 방향을 가리킨다. 과학은 모든 믿음을 동등하게 취급하는 제도가 아니라, 어떤 믿음이 어떤 조건 아래서 시험될 수 있는지, 그 시험이 반복될 수 있는지, 새로운 반례 앞에서 수정될 수 있는지를 따지는 제도이다. 한계를 말하는 것은 과학의 지위를 포기하는 일이 아니라, 과학의 지위를 무엇이 지탱하는지 더 엄밀하게 말하는 일이다.

5. 과학이 인간적이 된다는 것의 뜻

이제 처음의 물음으로 돌아갈 수 있다. 과학은 언젠가 한계에 부딪힐 것이다. 그러나 그것은 과학이 약해진다는 뜻이 아니다. 오히려 그 순간 과학은 자신이 무엇이었는지를 더 분명하게 드러낸다. 과학은 처음부터 전지(全知)의 제도가 아니었다. 그것은 유한한 존재가 무지와 오류를 줄여 가는 가장 엄밀한 형식이었다.

퍼스의 가류주의와 포퍼의 반증주의는 과학이 자기 수정의 구조를 통해 강해진다는 점을, 서로 다른 층위에서 보여 주었다. 파인먼은 의심의 자유가 과학의 가치를 이루는 핵심이라고 말했다. 양자역학은 세계가 고전적 결정론의 기대에 순순히 포획되지 않는다는 점을 드러냈고, 우주론은 무지를 패배가 아니라 탐구의 출발점으로 전환하는 과학의 능력을 보여 주었다. IPCC와 국립과학공학의학원의 문서는 과학이 저항과 불확실성을 어떻게 공개적 절차 안에서 다루는지를 입증했으며, 재현성 위기에 대한 논의는 그 절차가 자동적으로 보장되지 않고 제도적 노력을 요구한다는 점을 일깨웠다. 쿤은 이 자기 수정이 점진적 조정에 그치지 않고 때로 전제 자체의 재편을 포함하는 급진적 과정임을 보여 주었다.

이때 '과학이 더 인간적이 된다'는 말의 뜻도 분명해진다. 그것은 과학이 감상적으로 부드러워진다는 뜻이 아니다. 그것은 과학이 인간의 조건, 즉 세계 바깥에서 전체를 내려다볼 수 없고 세계 내부에서 부분적으로 보고 부분적으로 이해할 수밖에 없다는 조건을 패배가 아니라 출발점으로 받아들인다는 뜻이다. 과학은 바로 그런 존재가 자기 한계를 가장 정직하게 다루는 방식이다. 과학의 진정한 강함은 모든 것을 아는 데서 나오지 않는다. 모든 것을 알지 못한 채로도 더 나은 설명을 향해 스스로를 갱신하는 데서, 그리고 그 갱신의 과정 자체를 은폐하지 않고 공적으로 드러내는 데서 나온다. 그때 과학은 전능한 신의 대용물이 아니라, 유한한 인간이 도달할 수 있는 가장 엄밀한 탐구의 형식으로 제 모습을 드러낸다.

참고자료

Peirce, Charles S. "The Fixation of Belief." Popular Science Monthly 12, no. 1 (1877): 1–15.

Peirce, Charles S. "How to Make Our Ideas Clear." Popular Science Monthly 12 (January 1878): 286–302.

Popper, Karl. The Logic of Scientific Discovery. London: Routledge.

Kuhn, Thomas S. The Structure of Scientific Revolutions. Chicago: University of Chicago Press, 50th Anniversary Edition.

Feynman, Richard P. "The Value of Science." Engineering and Science 19, no. 3 (1955).

Feynman, Richard P., Robert B. Leighton, and Matthew Sands. The Feynman Lectures on Physics, Vol. I, Chapter 6.

NASA Science. "Dark Matter." https://science.nasa.gov/dark-matter/

NASA Science. "What is Dark Energy? Inside Our Accelerating, Expanding Universe." https://science.nasa.gov/dark-energy/

IPCC. Climate Change 2023: Synthesis Report, Summary for Policymakers. Geneva: IPCC, 2023.

National Academies of Sciences, Engineering, and Medicine. Reproducibility and Replicability in Science. Washington, DC: The National Academies Press, 2019.