Skip to content

지식처럼 보이는 것들: 알고리즘이 배치한 앎의 조건

검색창 이후의 앎

오늘날 우리는 정보를 찾는다고 말하지만, 실제로는 이미 정렬된 세계 안으로 들어간다. 검색창에 질문을 입력하면 결과는 단순한 자료 묶음으로 나타나지 않는다. 그것은 순서가 매겨진 목록으로 나타난다. 첫 번째 결과, 첫 페이지의 결과, 반복해서 노출되는 결과는 자연스럽게 더 관련 있고 더 믿을 만한 것으로 보인다. 우리는 그 결과가 어떤 기준으로 상단에 놓였는지 충분히 알지 못하면서도, 그 배치를 앎의 출발점으로 삼는다.

이 변화는 단순한 편의의 문제가 아니다. 과거에도 인간은 세계를 직접 알지 않았다. 학교, 도서관, 신문, 방송, 학술지, 전문가, 법정 같은 제도적 통로를 통해 세계를 알았다. 지식은 언제나 어떤 매개를 거쳤다. 그러나 알고리즘적 매개는 기존의 지식 중개 방식과 다른 특징을 가진다. 그것은 방대한 정보를 실시간으로 분류하고, 사용자의 행동을 추적하며, 다음에 보여줄 것을 예측하고, 무엇이 더 관련 있는지 수치화한다. 더구나 이 과정은 대부분 사용자의 시야 바깥에서 일어난다.

알고리즘은 거대한 도서관의 색인처럼 보인다. 그러나 실제로는 색인만이 아니라 서가의 배열까지 바꾸는 장치에 가깝다. 무엇이 입구 가까이에 놓일지, 무엇이 뒤쪽으로 밀릴지, 어떤 책이 함께 추천될지, 어떤 주제가 관련성 낮은 것으로 처리될지가 계산된다. 사용자는 자유롭게 찾는다고 느끼지만, 그 자유는 이미 배열된 환경 속에서 행사된다.

이 글의 논제는 한 문장으로 압축할 수 있다. 알고리즘 시대의 앎은 단지 도구의 매개를 거치는 것이 아니라, 무엇이 지식처럼 보일지의 조건 자체가 계산된 환경에 의해 사전에 배치되며, 따라서 비판적 인식론은 그 배치의 경로를 추적하는 작업으로 재정의되어야 한다. 중요한 질문은 "알고리즘이 아는가"가 아니다. 그 질문은 곧장 기계 의식이나 인공 지능의 내면 문제로 옮겨간다. 이 글이 묻는 것은 다르다. 인간은 알고리즘을 통해 어떻게 알게 되는가. 알고리즘은 인간의 믿음 형성, 신뢰 판단, 검증 가능성, 지식의 권위를 어떤 방식으로 조건짓는가.

이 질문을 풀기 위해 글은 다음 순서로 진행된다. 먼저 "알고리즘 인식론"이 다루는 문제 영역과 "알고리즘"이라는 용어의 외연을 확정한다. 다음으로 알고리즘이 인식 환경에서 수행하는 세 겹의 작용을 분석한다. 보이는 것을 결정하는 선별, 보이는 것에 권위를 부여하는 불투명성, 데이터를 통해 세계를 다시 만드는 수행성이 그것이다. 이어서 알고리즘이 인간보다 더 나은 인식적 신뢰성을 제공할 수 있다는 가장 강한 반론을 독립적으로 다루고, 생성형 AI가 이 모든 작용을 한 화면에 응축하는 방식을 검토한다. 마지막으로 설명 가능성과 이의제기 가능성을 구분한 뒤, 비판적 사고를 경로 추적의 능력으로 재정의한다.

알고리즘 인식론이라는 문제의식

인식론은 지식, 믿음, 정당화, 진리, 증거, 신뢰의 조건을 묻는 철학 분야다. 전통적 인식론은 흔히 한 개인이 어떤 믿음을 가질 때 그 믿음이 어떤 조건에서 지식으로 인정될 수 있는지를 따졌다. 그러나 현대 인식론은 이미 오래전부터 개인의 머릿속만을 보지 않았다. 사회 인식론은 지식이 증언, 제도, 권위, 공동체, 교육, 언론, 과학적 절차 속에서 형성된다는 점을 강조해 왔다. 미란다 프리커(Miranda Fricker)가 지적한 바와 같이, 누가 신뢰할 만한 화자로 인정되는가, 누가 자신의 경험을 사회적으로 통용되는 개념으로 표현할 수 있는가의 문제는 이미 그 자체로 인식론적 정의(epistemic justice)의 문제다.

알고리즘적 조건에서의 인식론은 이 문제를 오늘의 정보 환경 속으로 옮긴다. 많은 믿음은 이제 단순히 누군가의 증언이나 전통적 제도 권위를 통해 형성되지 않는다. 검색 엔진의 랭킹, 추천 피드의 반복 노출, 플랫폼의 자동 분류, 신용 점수, 채용 필터, 의료 예측 모델, 생성형 AI의 답변이 인간의 판단 환경을 구성한다. 보아즈 밀러(Boaz Miller)와 아이작 레코드(Isaac Record)가 디지털 시대의 정당화된 믿음을 논하며 지적한 것처럼, 사용자가 자신이 의지하는 정보 절차의 신뢰성을 점검할 수 없을 때, 정당화의 의무는 사용자 개인이 감당하기 어려운 부담으로 이전된다.

여기서 "알고리즘 인식론"이라는 표현은 조심해서 써야 한다. 그것을 완전히 정착된 단일 학문 분과처럼 단정할 필요는 없다. 이 글에서 그것은 알고리즘적 조건에서 인간의 앎을 다시 묻는 문제의식, 즉 사회 인식론을 디지털 인프라 위에서 갱신하려는 작업으로 한정해 사용한다. 알고리즘을 인격적 주체로 보지 않더라도, 알고리즘은 인간의 인식 환경을 조직할 수 있다. 도구라고 해서 중립적인 것은 아니다. 문자, 인쇄술, 사진, 통계, 인터넷도 도구였지만 인간이 세계를 아는 방식을 바꾸었다. 알고리즘도 마찬가지다.

용어의 외연도 미리 명확히 해 둘 필요가 있다. 좁은 의미에서 알고리즘은 입력을 받아 절차에 따라 출력을 산출하는 규칙 체계, 즉 수학적·계산적 절차다. 그러나 이 글이 다루는 알고리즘은 그 절차만을 가리키지 않는다. 타를턴 길레스피(Tarleton Gillespie)가 "공적 관련성 알고리즘(public relevance algorithms)"이라는 표현으로 지적한 바와 같이, 검색 엔진의 랭킹, 추천 시스템, 플랫폼의 콘텐츠 분류 같은 장치들은 단순한 계산 절차가 아니라 무엇이 공적으로 관련 있는 것으로 가시화될지를 결정하는 사회기술적 절차다. 이 절차에는 코드뿐 아니라 데이터 수집 인프라, 라벨링 노동, 운영 정책, 광고 시장의 보상 구조, 법적 규제, 사용자의 반복 행동이 함께 들어간다. 따라서 이 글에서 "알고리즘"은 좁은 의미의 계산 절차와 그것을 둘러싼 사회기술적 시스템을 모두 포함한다. 두 의미가 서로 구별될 필요가 있을 때는 좁은 의미를 "계산 절차로서의 알고리즘", 넓은 의미를 "알고리즘적 시스템"으로 표기한다.

핵심은 알고리즘이 지식을 직접 생산한다고 말하는 데 있지 않다. 그런 표현은 지나치게 거칠다. 더 정확한 표현은 이렇다. 알고리즘적 시스템은 무엇이 지식처럼 보일지 결정하는 조건을 배치한다. 어떤 정보는 더 먼저 보이고, 어떤 정보는 더 자주 반복되며, 어떤 정보는 점수와 순위와 확률의 형태로 권위를 얻는다. 사용자는 그것을 통과하며 믿음을 형성한다. 바로 이 지점에서 알고리즘은 인식론의 대상이 된다.

선별: 무엇이 보이고 무엇이 사라지는가

알고리즘의 첫 번째 인식론적 기능은 선별이다. 정보가 너무 많은 환경에서 모든 것을 한꺼번에 볼 수는 없다. 검색 엔진, 추천 시스템, 뉴스피드, 자동완성은 정보 과잉을 처리하기 위해 필요하다. 선별 자체를 부정할 수는 없다. 문제는 선별이 불가피하다는 사실이 아니라, 선별의 결과가 지식의 위계처럼 받아들여진다는 사실이다. 길레스피가 강조하듯, 알고리즘은 단순히 정보를 나열하는 것이 아니라 어떤 항목이 "관련 있는 것"으로 분류될지를 정의하는 절차이며, 이 정의는 사용자가 세계를 인지하는 출발점을 형성한다.

검색 결과의 순위는 단순한 배열이 아니다. 상단에 놓인 결과는 더 관련 있고, 더 신뢰할 만하고, 더 중요한 것처럼 보인다. 사용자는 검색 결과 전체를 균등하게 검토하지 않는다. 대체로 앞에 놓인 결과를 먼저 보고, 그 결과를 기준으로 이후의 판단을 조정하는 경향이 있다. 이때 알고리즘은 거짓을 말하지 않더라도 세계의 무게중심을 기울인다. 어떤 정보가 먼저 도착하는가는 이후 어떤 질문이 계속 던져질 수 있는가를 강하게 제약한다. 결정한다고 말하면 과장이 된다. 사용자는 여전히 다른 결과로 이동할 수 있고, 다른 검색어를 시도할 수 있으며, 다른 매체로 옮겨갈 수 있다. 그러나 그 모든 이동에는 비용이 있고, 비용의 분포 자체가 알고리즘적 정렬의 효과 안에 있다.

추천 피드는 이 문제를 더 일상적인 방식으로 만든다. 추천 시스템은 사용자가 이미 좋아하는 것을 보여주는 것처럼 보인다. 그러나 실제로는 사용자가 무엇을 좋아할 가능성이 있는지 예측하고, 그 예측을 바탕으로 다시 사용자의 관심을 형성한다. 사용자는 자신이 자유롭게 선택한다고 느끼지만, 선택지의 범위는 이미 배열되어 있다. 사용자가 속고 있다는 식의 단순한 주장이 아니다. 더 정밀한 문제는 관심이 발견되는 동시에 만들어진다는 점이다. 이 효과의 강도는 플랫폼, 사용자 집단, 시간대, 콘텐츠 영역에 따라 변동한다는 사실을 뒤에서 다시 다룬다.

여기서 선별과 검열은 구분되어야 한다. 모든 알고리즘적 선별이 검열은 아니다. 검색 엔진이 모든 페이지를 무작위로 보여준다면 정보 접근을 돕지 못한다. 추천 시스템이 아무 기준 없이 콘텐츠를 나열한다면 사용자는 오히려 정보를 찾기 어려워질 것이다. 선별은 필요하다. 그러나 모든 선별은 인식론적 효과를 가진다. 무엇이 보이는가는 곧 무엇을 생각할 수 있는가의 조건의 일부를 이룬다.

이 효과는 보이지 않는 것에서 더 강하게 작동한다. 사용자는 자신에게 제시된 정보는 볼 수 있지만, 제시되지 않은 정보의 전체 범위는 알기 어렵다. 검색 결과 바깥에 무엇이 있었는지, 추천 피드가 어떤 선택지를 배제했는지, 어떤 관점이 관련성 낮다는 이유로 뒤로 밀렸는지 알기 어렵다. 알고리즘 시대의 무지는 단순히 어떤 사실을 모른다는 데 있지 않다. 어떤 사실을 모르게 되었는지조차 파악하기 어렵다는 데 있다. 인식론적으로 말하면, 메타 무지(meta-ignorance)의 영역이 확장된다.

알고리즘적 선별은 지식의 출발점에 압력을 가한다. 인간은 보이는 것에 대해 판단한다. 그러나 무엇이 보일지는 이미 기술적·경제적·제도적 기준에 의해 정렬된다. 알고리즘은 지식의 내용을 직접 명령하지 않더라도, 지식이 시작되는 위치를 조건짓는다.

권위와 불투명성: 계산된 결과는 왜 의심받기 어려운가

선별된 결과는 단순히 먼저 보이는 데 그치지 않는다. 그것은 권위를 얻는다. 검색 결과의 상단, 추천 피드의 반복 노출, 점수, 순위, 확률, 자동화된 판정은 인간의 주관적 판단보다 더 객관적인 것처럼 보인다. 특히 숫자와 계산의 형식을 띤 결과는 편견을 제거한 판단처럼 보이기 쉽다. 그러나 이것이야말로 알고리즘 시대의 핵심적 착시다.

알고리즘은 감정을 갖지 않을 수 있다. 그러나 감정이 없다는 사실이 곧 객관성을 보장하지는 않는다. 알고리즘적 시스템의 출력은 데이터 선택, 라벨링, 분류 체계, 모델 설계, 목표 함수, 평가 지표, 배포 환경의 영향을 받는다. 여기서 목표 함수(objective function)는 모델이 학습 과정에서 최소화하거나 최대화하려는 수치, 즉 무엇을 잘하면 좋다고 보는지에 대한 정량적 정의를 가리킨다. 평가 지표(evaluation metric)는 그렇게 학습된 모델의 성능을 측정하기 위해 외부에서 적용하는 척도다. 두 개념이 같지 않다는 점이 중요하다. 추천 시스템의 목표 함수가 "체류 시간 최대화"라면, 그 모델은 사용자가 더 오래 머물게 만드는 콘텐츠를 우선 노출한다. 평가 지표가 "사용자 만족도"라면, 두 수치가 어긋날 때 모델이 무엇을 위해 작동하고 있는지에 대한 진단이 갈라진다. 무엇을 성공으로 볼 것인지, 어떤 변수를 중요한 것으로 삼을 것인지, 어떤 오류를 더 감수할 수 있는 것으로 볼 것인지는 모두 인간의 결정과 사회적 조건을 포함한다. 알고리즘은 주관을 제거하는 것이 아니라, 주관적 전제를 계산된 출력의 형태로 숨길 수 있다.

이 지점에서 알고리즘적 권위가 발생한다. 인간의 판단은 반박하기 쉽다. 누가 판단했는지, 어떤 이해관계가 있는지, 어떤 편견이 개입되었는지 물을 수 있다. 반면 알고리즘적 시스템의 판단은 종종 "시스템이 그렇게 산출했다"는 말 뒤에 숨어 버린다. 채용 필터가 지원자를 걸러냈을 때, 신용평가 모델이 낮은 점수를 부여했을 때, 플랫폼이 어떤 콘텐츠를 노출하지 않았을 때, 책임은 특정한 사람의 판단이 아니라 시스템의 처리 결과처럼 보인다. 결과는 존재하지만 판단자는 흐려진다.

권위는 불투명성과 결합할 때 더 강해진다. 제나 버렐(Jenna Burrell)은 머신러닝 시스템의 불투명성을 세 층위로 분류한 바 있다. 첫째, 기업의 영업비밀이나 국가의 비공개 결정 같은 의도적 불투명성. 둘째, 기술적 문해력의 차이에서 발생하는 불투명성, 즉 일반 사용자가 코드를 읽거나 모델 구조를 분석할 수 없기 때문에 생기는 거리. 셋째, 머신러닝 모델 자체의 본질적 복잡성에서 비롯되는 불투명성, 다시 말해 학습된 가중치의 분포가 인간이 명료하게 해석할 수 있는 규칙의 형태로 환원되지 않는다는 사실. 이 세 층위가 겹치면 사용자는 결과를 받아들이면서도 그 결과를 검증하기 어렵다. 의도적 비공개를 풀어도 기술적 거리가 남고, 기술적 거리를 좁혀도 모델의 내부 복잡성이 남는다. 버렐의 분류가 시사하는 핵심은, 불투명성을 단일한 문제로 다루면 어느 한 층위만 해결하고 나머지는 손대지 않은 채 책임 전가의 알리바이가 만들어진다는 점이다.

여기서 문제는 단지 "알고리즘이 틀릴 수 있다"가 아니다. 인간도 틀릴 수 있다. 더 근본적인 문제는 오류를 추적하고 이의를 제기하는 경로가 흐려진다는 점이다. 어떤 사람이 면접 기회를 얻지 못했을 때, 그는 자신의 부족함 때문인지, 데이터의 결함 때문인지, 모델의 잘못된 상관관계 때문인지, 혹은 특정 집단에 불리한 기준 때문인지 알기 어렵다. 어떤 콘텐츠가 보이지 않을 때, 사용자는 그것이 낮은 품질 때문인지, 관심사와 맞지 않는다는 판단 때문인지, 광고와 수익 구조 때문인지, 규제 정책 때문인지 알기 어렵다.

이것이 알고리즘 인식론의 중심 문제 가운데 하나다. 알고리즘 시대의 앎은 알 수 없는 절차를 통해 형성될 수 있다. 사용자는 결과를 보지만 절차를 보지 못한다. 그는 답을 얻지만 그 답이 어떤 경로로 왔는지 모른다. 그는 점수를 받지만 그 점수가 자신을 어떤 사람으로 구성했는지 알기 어렵다. 알고리즘 시대의 인식론적 난점은 우리가 모르는 것을 모른다는 데만 있지 않다. 무엇을 모르게 되었는지조차 시스템 바깥에서 파악하기 어렵다는 데 있다. 바로 이 때문에 알고리즘은 단순한 정보 기술이 아니라 지식의 조건을 바꾸는 장치가 된다.

수행성: 알고리즘은 현실을 읽는가, 만드는가

불투명성이 권위의 형식적 측면이라면, 같은 시스템에 또 하나의 더 깊은 인식론적 효과가 있다. 알고리즘적 시스템은 절차를 감추는 데 그치지 않고, 자신이 의지하는 데이터 자체를 재구성한다. 데이터에서 출발한 출력은 다시 다음 데이터를 만드는 환경이 된다. 이 회로 안에서 알고리즘은 현실을 읽는 도구를 넘어 현실을 다시 쓰는 거푸집으로 작용한다. 이 효과를 가리키는 개념이 수행성(performativity)이다. 이 글은 수행성을 다음과 같이 운용 정의한다. 어떤 표상이 그것이 기술한다고 주장하는 대상의 행동·존재 방식을 변화시키는 결과를 낳을 때, 그 표상은 수행적이다. 도널드 매킨지(Donald MacKenzie)가 금융 모델을 두고 "엔진이지 카메라가 아니다(an engine, not a camera)"라고 표현한 것이 이 개념의 고전적 정식이다. 이언 해킹(Ian Hacking)이 인간 분류에 대해 말한 "되먹임 효과(looping effect)" 또한 같은 구조를 다른 영역에서 묘사한다.

알고리즘적 시스템이 수행적이라는 진술은 다음과 같은 단계로 풀린다. 먼저 알고리즘은 데이터를 기반으로 작동한다. 그러나 데이터는 현실 그 자체가 아니다. 데이터는 수집되고, 선택되고, 정제되고, 라벨링되고, 범주화된 현실의 흔적이다. 무엇이 기록되고 무엇이 기록되지 않는가, 어떤 행동이 관심으로 분류되고 어떤 침묵이 무관심으로 해석되는가, 어떤 클릭이 선호로 번역되고 어떤 체류 시간이 만족으로 간주되는가는 모두 해석을 포함한다. 이 해석된 흔적이 시스템의 출력으로 이어지고, 출력은 사용자의 환경을 바꾸며, 변화한 환경 속에서 수집된 새로운 흔적이 다음 학습의 입력이 된다. 닉 콜드리(Nick Couldry)와 울리세스 메히아스(Ulises Mejias)가 데이터화(datafication)라는 개념으로 묘사한 과정이 이 회로의 입구에 해당한다. 데이터화란 행위, 관계, 감정, 위치, 신체 상태 같은 인간 경험의 다양한 측면이 기록 가능하고 분석 가능한 수치 형태로 변환되어 시스템의 입력이 되는 과정을 가리킨다.

추천 시스템은 이 회로를 가장 일상적인 방식으로 보여준다. 추천 알고리즘은 사용자가 무엇을 좋아하는지 데이터로 추정한다. 클릭, 시청 시간, 검색 기록, 구매 이력, 스크롤 속도, 반복 방문 같은 흔적은 사용자의 관심을 나타내는 지표로 처리된다. 그러나 이런 흔적은 언제나 애매하다. 어떤 영상을 오래 본 것이 정말 좋아서인지, 불쾌하지만 눈을 떼지 못해서인지, 비판적으로 확인하려고 본 것인지, 단순히 자동 재생 때문인지는 쉽게 구분되지 않는다. 그럼에도 시스템은 그 흔적을 선호의 신호로 번역한다. 이 번역은 다시 사용자에게 돌아온다. 시스템은 사용자의 취향을 반영하는 동시에 취향의 환경을 만든다. 어떤 사용자가 특정한 종류의 콘텐츠를 우연히 몇 번 소비하면, 시스템은 그것을 관심으로 해석하고 유사한 콘텐츠를 더 많이 제시한다. 사용자는 더 자주 노출된 것을 더 익숙하게 여기고, 익숙한 것을 다시 선택한다. 취향은 발견되는 동시에 강화된다.

다만 이 형성 효과의 강도를 과장해서는 안 된다. 일라이 패리저(Eli Pariser)가 "필터 버블(filter bubble)"이라는 표현으로 제기한 우려—알고리즘적 개인화가 사용자를 동질적 정보에 갇히게 한다는 명제—는 강한 가설이지만, 이후의 경험 연구는 그 가설을 단일한 사실로 승인하지 않는다. 페이스북의 노출 데이터를 분석한 에이탄 박시(Eytan Bakshy) 등의 연구는 사용자가 자신의 정치 성향과 일치하지 않는 콘텐츠에도 상당히 노출되며, 알고리즘의 필터링보다 사용자 자신의 클릭 선택이 동질화에 더 큰 기여를 한다는 결과를 제시했다. 앤드루 게스(Andrew Guess) 등의 연구는 정치적 에코 챔버 효과가 일부 헤비 유저에 집중되며 일반 사용자에게는 상대적으로 약하다는 점을 보여주었다. Scientific Reports(2024)에 실린 한 메타 분석은 필터 버블 효과가 플랫폼, 콘텐츠 영역, 측정 시간대, 사용자 집단에 따라 큰 변동을 보인다고 보고했다. 이 연구들은 필터 버블이 허구라고 말하는 것이 아니라, 그 효과가 강한 곳과 약한 곳을 구분해야 하며 사용자의 행위성도 함께 고려해야 한다고 말한다. 따라서 알고리즘이 취향을 형성한다는 진술은 결정론이 아니라 조건적 경향으로 읽혀야 한다.

이 단서를 받아들이고 나서도 수행성의 핵심 논점은 살아남는다. 핵심은 사용자의 자유 의지가 사라졌다는 주장이 아니다. 핵심은 알고리즘적 시스템이 자신이 측정한다고 주장하는 대상에 영향을 주며, 이 영향을 누락한 채 그 시스템의 출력을 객관적 측정치로 받아들이면 인식적 오류가 누적된다는 점이다. 편향도 이 지점에서 이해해야 한다. 편향은 시스템이 나쁜 의도를 가졌다는 뜻이 아니다. 더 자주 기록되는 행동, 더 쉽게 수치화되는 선호, 더 많이 데이터화된 집단, 더 광고 가치가 높은 관심사가 추천의 중심이 될 수 있다. 반대로 느리고 복합적이며 모호한 관심, 아직 표현되지 않은 가능성, 소수자의 경험, 맥락 의존적인 판단은 데이터 속에서 약하게 나타나거나 사라질 수 있다. 이때 알고리즘은 현실을 반영한다고 말하지만, 실제로는 데이터화된 현실을 더 강한 현실로 만든다.

반론의 무게: 알고리즘적 인식이 더 신뢰할 수 있는 경우

지금까지의 논의는 알고리즘적 권위에 회의적이다. 그러나 가장 강한 반론은 정반대 방향에서 제기된다. 알고리즘이 어떤 영역에서는 인간보다 더 정확하고, 더 일관되며, 더 잘 보정된 인식을 산출한다는 주장이다. 이 반론은 균형을 위한 수사가 아니라 경험적으로 견고한 경우들을 갖는다.

폴 밀(Paul Meehl)이 1954년에 제시한 임상적 판단 대 보험계리적 판단(clinical vs. actuarial judgment) 비교 연구는 이 반론의 고전적 출발점이다. 밀과 후속 연구자들은 다양한 예측 과제—재범 가능성, 학업 성취, 의학적 예후—에서 단순한 통계 모델이 숙련된 전문가의 직관적 판단을 대등하거나 능가한다는 결과를 반복적으로 확인했다. 더 최근에는 의학 영상 진단에서 딥러닝 모델이 일부 과제에서 영상의학 전문의와 비등하거나 더 높은 정확도를 보였다는 연구들이 누적되고 있다. 단백질 구조 예측에서 알파폴드(AlphaFold) 같은 모델은 수십 년 동안 풀리지 않던 문제를 일거에 진전시켰다. 일기 예보, 사기 탐지, 추천에 따른 콘텐츠 발견에서도 알고리즘적 시스템은 인간이 도달할 수 없는 규모의 패턴을 처리한다.

이 반론은 다음 세 축에서 더 정밀해진다. 첫째, 일관성. 인간 판단자는 같은 사례에 대해 시간, 피로, 기분, 배경 정보에 따라 다른 결론을 낸다. 대니얼 카너먼(Daniel Kahneman) 등이 노이즈(Noise)에서 정리한 바와 같이, 인간 판단의 변동성은 그 자체로 인식적 오류의 큰 원천이다. 알고리즘적 시스템은 적어도 같은 입력에 같은 출력을 낸다는 의미에서 이 노이즈를 줄일 수 있다. 둘째, 규모. 인간이 일생 동안 처리할 수 있는 사례 수는 제한적이다. 알고리즘적 시스템은 수백만 사례에서 통계적 규칙성을 추출할 수 있고, 이는 개별 인간이 도달하기 어려운 일반화의 폭을 제공한다. 셋째, 보정 가능성. 알고리즘적 시스템은 적절한 평가 절차가 갖춰진 경우 자신의 예측 신뢰도를 정량적으로 보고할 수 있고, 새 데이터에 따라 수정될 수 있다. 인간 전문가의 직관은 흔히 자신감과 정확성이 어긋난다.

이 반론을 정직하게 받아들이면 알고리즘적 시스템에 대한 비판은 두 가지 갈래를 분리해야 한다. 한 갈래는 알고리즘이 정확한지 부정확한지의 문제이고, 다른 갈래는 알고리즘이 인식 환경으로 설치되었을 때 발생하는 효과의 문제다. 위의 반론은 첫 갈래에서 결정적이다. 그러나 두 번째 갈래에서는 그렇지 않다.

세 가지 응답이 가능하다. 첫째, 영역의 한정성. 알고리즘적 우월성이 입증된 사례들은 대체로 잘 정의된 입력, 비교적 안정적인 정답 기준, 풍부한 라벨 데이터를 갖춘 폐쇄된 과제다. 단백질 구조나 의학 영상의 특정 분류처럼 무엇이 정답인지가 외부에서 검증 가능한 경우다. 그러나 인간이 일상적으로 형성하는 믿음의 대부분은 이런 폐쇄성을 갖지 않는다. 누구를 신뢰해야 하는지, 어떤 정치적 입장을 받아들여야 하는지, 어떤 위험을 감수해야 하는지의 문제는 정답이 외부에서 주어지지 않는다. 알고리즘이 더 잘하는 영역과 일반적 인식 환경 사이의 거리는 작지 않다. 둘째, 성공 기준의 인간 의존성. 알고리즘이 더 정확하다고 평가될 때, 그 평가는 어떤 평가 지표에 따라 무엇을 정답으로 삼느냐는 인간의 결정을 전제한다. 채용 모델이 인간 채용 결정보다 더 정확하다는 진술은 "정확하다"의 정의가 과거의 채용 결과에 묶여 있을 때 자기 순환에 빠질 수 있다. 평가 지표 자체가 사회적 가치 판단을 포함하면, 알고리즘적 우월성은 그 가치 판단을 자연화한다. 셋째, 환경 효과. 어떤 알고리즘이 특정 과제에서 인간보다 정확하다는 사실은, 그 알고리즘이 사용자의 인식 환경 전체를 재배치할 때 어떤 결과가 발생하는지에 대해 직접 답해주지 않는다. 정확한 도구도 인식 환경으로 설치되면 수행적이 된다. 의학 영상 분류에 뛰어난 모델이 모든 임상 결정의 첫 화면이 된다면, 그 모델이 분류하지 못하는 증상의 형태가 의료적 주목에서 멀어지는 효과가 따라올 수 있다.

따라서 이 글의 입장은 다음과 같이 정리된다. 알고리즘은 어떤 영역에서 인간보다 더 정확할 수 있고, 그 사실은 진지하게 받아들여야 한다. 그러나 인식적 정확성은 인식 환경으로서의 효과를 자동으로 면제해 주지 않는다. 비판은 정확성을 부정하는 데 있지 않고, 정확성과 환경화를 같은 평가 기준으로 묶지 않는 데 있다.

생성형 AI: 답변 형식이 권위를 만들 때

생성형 AI는 앞 섹션들에서 분석된 작용—선별, 권위, 불투명성, 수행성—을 한 화면에 응축한다. 검색 엔진은 여러 출처를 목록으로 보여준다. 사용자는 적어도 서로 다른 출처가 존재한다는 사실을 볼 수 있다. 반면 생성형 AI는 분산된 정보를 하나의 문장형 답변으로 재구성한다. 이 변화는 편리하다. 그러나 바로 그 편리함 때문에 새로운 인식론적 위험이 발생한다.

생성형 AI의 문제는 단지 환각(hallucination)에 있지 않다. 환각은 명백히 틀린 정보가 그럴듯한 문장으로 제시되는 문제다. 그러나 더 미묘한 문제는 답변형 지식(answer-form knowledge)의 형식 자체가 권위를 만든다는 점이다. 이 글에서 답변형 지식은 다음과 같이 운용 정의된다. 여러 출처의 비교 가능한 목록 형식이 아니라, 출처의 다중성·해석의 갈등·잔여 불확실성을 표면에서 봉합한 채 하나의 정돈된 문장 또는 단락으로 제시되는 정보 형식. 유창하고 정돈된 문장은 검증된 지식처럼 보인다. 논쟁적인 사안도 하나의 자연스러운 설명으로 정리되면, 사용자는 그 뒤에 있는 불확실성, 출처의 차이, 해석의 갈등, 생략된 반론을 놓치기 쉽다. 에밀리 벤더(Emily Bender) 등이 대형 언어 모델을 "확률적 앵무새(stochastic parrots)"로 묘사한 비판은 이 지점을 겨냥한다. 모델은 통계적으로 그럴듯한 다음 단어를 산출하는 데 매우 능하지만, 그 산출물이 어떤 인식적 근거 위에 서 있는지를 스스로 보고하지는 않는다.

검색의 목록형 지식은 불편하지만, 그 불편함 속에 드러나는 것이 있다. 출처가 여럿이라는 사실, 관점이 충돌한다는 사실, 사용자가 비교해야 한다는 사실이 비교적 노출된다. 답변형 지식은 이 과정을 압축한다. 사용자는 여러 자료 사이를 이동하는 대신 하나의 문장을 받는다. 이때 검증의 부담은 사라지는 것이 아니라 뒤로 밀린다. 답변은 이미 정리된 것처럼 보이지만, 실제로는 어떤 자료가 선택되었고 어떤 자료가 배제되었는지, 어떤 불확실성이 확정적인 문장으로 바뀌었는지를 사용자가 사후적으로 확인해야 한다. 인용을 함께 제시하는 검색 보조형 모델조차 인용된 출처가 답변 본문을 실제로 뒷받침하는지의 문제를 사용자에게 미룬다.

이 문제는 앞서 다룬 선별, 권위, 불투명성, 수행성의 문제를 모두 포함한다. 생성형 AI는 정보를 선별하고, 유창한 답변 형식으로 권위를 얻으며, 구체적 산출 경로를 사용자에게 충분히 드러내지 않는다. 학습 데이터 속에 있는 편향이나 빈틈도 답변의 내용과 어조에 반영될 수 있다. 더 나아가 사용자가 모델의 답변을 다시 인터넷에 게시하고, 그 게시물이 다음 학습 데이터에 포함되는 회로가 형성되면, 수행성의 효과는 모델 자신을 학습시키는 환경으로 닫힌 고리를 이룬다. 그러므로 생성형 AI는 별개의 문제가 아니라 알고리즘 인식론의 여러 문제가 응축된 형태다.

그렇다고 생성형 AI를 지식 파괴의 장치로 단정할 수는 없다. 그것은 요약, 번역, 탐색, 초안 작성, 개념 정리에 큰 도움을 줄 수 있다. 문제는 유용성이 아니라 유용성이 만들어내는 신뢰의 속도다. 편리한 답변은 지식의 끝이 아니라 검증의 시작이어야 한다.

설명에서 이의제기로

알고리즘적 권위에 대한 표준적 처방은 종종 "설명 가능성(explainability)"으로 제시된다. 시스템이 왜 그런 결정을 내렸는지 인간이 이해할 수 있는 형태로 설명되면, 권위의 문제가 해소된다는 가정이다. 그러나 이 가정은 인식론적으로 충분하지 않다. 설명 가능성과 이의제기 가능성(contestability)은 같은 문제가 아니다. 이 글은 이의제기 가능성을 다음과 같이 운용 정의한다. 자동화된 판단의 결과를 받는 자가 그 판단의 근거와 적용을 다시 따지고, 그 다툼이 절차적·제도적으로 의미 있는 결과로 이어질 수 있는 가능성. 설명을 듣는 것과 결정을 다툴 수 있는 것 사이에는 권리와 절차의 구조가 들어간다.

리리언 에드워즈(Lilian Edwards)와 마이클 베일(Michael Veale)이 EU 일반정보보호규정(GDPR)의 "설명을 받을 권리"를 분석하며 지적한 바와 같이, 사용자가 알고리즘적 결정에 대해 받을 수 있는 정보의 형태는 종종 일반적·시스템 수준의 설명에 머물고, 자신의 사례에 적용된 구체적 근거에는 미치지 못한다. 산드라 와히터(Sandra Wachter), 브렌트 미텔슈타트(Brent Mittelstadt), 크리스 러셀(Chris Russell)이 제안한 반사실적 설명(counterfactual explanation)—"어떤 조건이 달랐다면 결정이 달랐을 것인가"의 형태로 결정을 설명하는 방식—은 사용자에게 행동 가능한 정보를 주는 한 가지 길이지만, 그것 자체로 결정을 다툴 수 있게 해 주는 것은 아니다. 설명의 권리는 그 설명에 대해 응답을 요구할 권리, 결정을 재검토하게 할 권리, 시스템을 수정하게 할 권리가 따라붙을 때 비로소 인식적·정치적 의미를 갖는다.

이 구분은 사용자의 행위성에 대한 평가에도 영향을 준다. 앞서 필터 버블 연구를 통해 사용자가 알고리즘적 환경 안에서 단순히 수동적이지만은 않다는 점을 확인했다. 사용자는 클릭, 우회, 회피, 차단, 우회로 검색, 다른 플랫폼으로의 이동을 통해 시스템의 출력을 부분적으로 다툰다. 그러나 이 행위성은 개별적이고 비공식적이며, 시스템에 의미 있는 변화를 일으킬 수 있는 절차적 통로와 연결되어 있지 않다. 이의제기 가능성을 권리 설계의 차원으로 끌어올리지 않으면, 사용자의 행위성은 시스템의 입력 다양성으로 흡수되어 다음 학습의 자료가 될 뿐이다. 인식적 자율성을 의미 있게 보호하려면 개별적 회피가 아니라 제도적 다툼의 경로가 필요하다.

이 점은 알고리즘적 시스템을 운영하는 측의 의무를 재정의한다. 운영자는 데이터와 모델의 한계를 문서화할 의무, 결정의 영향을 받는 자에게 의미 있는 형태의 설명을 제공할 의무, 그 설명에 대한 응답을 받을 절차를 마련할 의무를 진다. 이 세 의무는 위계적이다. 한계의 문서화는 설명의 가능성을 위한 조건이고, 설명은 다툼의 가능성을 위한 조건이다. 어느 한 단계만으로는 인식적 권위의 비대칭이 해소되지 않는다.

결론: 비판적 사고는 경로를 묻는 능력이다

알고리즘은 지식의 적이 아니다. 그것은 방대한 정보를 탐색하고, 인간이 놓치는 패턴을 발견하고, 과학·의료·행정·교육에서 지식의 가능성을 확장한다. 알고리즘을 단순히 위험한 장치로만 보는 것은 부정확하다. 그러나 알고리즘을 중립적 도구로만 보는 것도 부정확하다. 알고리즘은 현대 사회에서 앎이 통과해야 하는 조건이 되었다.

이 조건 속에서 비판적 사고의 의미도 달라진다. 과거의 비판적 사고가 주로 어떤 주장이 참인지 거짓인지 따지는 능력으로 이해되었다면, 알고리즘 시대의 비판적 사고는 그 주장이 어떤 경로를 통해 나에게 도달했는지 묻는 능력을 포함해야 한다. 누가 말했는가만으로는 충분하지 않다. 어떤 데이터가 사용되었는가, 어떤 모델이 개입했는가, 어떤 플랫폼이 그것을 상단에 배치했는가, 어떤 기준이 관련성을 정했는가, 어떤 출처가 보이지 않게 되었는가, 그리고 그 결정에 어떤 이의제기 절차가 가능한가를 함께 물어야 한다.

이로부터 알고리즘 문해력(algorithmic literacy)의 운용 정의가 뒤따른다. 알고리즘 문해력이란 알고리즘적 시스템이 어떤 데이터, 어떤 목표 함수, 어떤 평가 지표, 어떤 배포 환경에서 작동하는지를 묻고, 그 시스템의 출력이 자신의 인식과 결정에 어떤 방식으로 영향을 주며, 그 영향에 대해 어떤 절차적 다툼이 가능한지를 분간할 수 있는 능력이다. 이 능력은 코드를 읽는 기술과 같지 않다. 그것은 시스템의 결과를 받을 때마다 그 결과의 산출 경로와 환경 효과를 함께 평가하는 인식적 습관에 가깝다.

개인의 책임은 여기서 시작된다. 사용자는 검색 결과의 상단만을 신뢰하지 않고, 추천 피드가 자신의 관심 전체를 반영한다고 착각하지 않으며, 생성형 AI의 유창한 답변을 곧바로 검증된 지식으로 받아들이지 않는다. 출처 확인, 교차 검증, 반대 관점 탐색, 데이터와 분류 기준에 대한 의심은 알고리즘 시대의 기본적인 인식적 습관이 된다. 그러나 이 문제를 개인의 주의력만으로 해결할 수는 없다. 알고리즘이 지식 환경의 일부가 되었다면, 그 환경을 설계하고 운영하는 기관에도 책임이 있다. 플랫폼은 정보 정렬 기준을 더 설명해야 하고, 기업과 공공기관은 자동화된 판단에 대한 이의제기 절차를 마련해야 하며, 개발자는 데이터와 모델의 한계를 문서화해야 한다. 알고리즘 문해력은 개인의 기술 활용 능력에 그치지 않고, 지식 환경을 묻는 시민적 능력이 되어야 한다.

알고리즘적 조건에서의 인식론은 기술을 거부하자는 주장이 아니다. 그것은 우리가 알고 있다고 믿는 것이 어떤 경로를 통해 우리에게 도달했는지 추적하자는 주장이다. 오늘날의 무지는 정보 부족에서만 오지 않는다. 오히려 너무 많은 정보가 이미 정렬되어 있고, 그 정렬 방식이 보이지 않을 때 생긴다. 그러므로 알고리즘 시대의 앎은 정보의 양이 아니라 정보가 배치되는 방식의 문제다. 우리는 더 많은 답을 갖게 되었지만, 그 답이 어디서 왔는지를 더 자주 잊는다. 알고리즘적 조건에서의 인식론은 바로 그 망각에 저항하는 철학이다. 그것은 "무엇이 참인가"라는 오래된 질문을 버리지 않는다. 다만 그 질문 앞에 하나의 질문을 더 세운다. 이 참처럼 보이는 것은 어떤 길을 거쳐 내 앞에 놓였는가.

참고자료

Bakshy, Eytan, Solomon Messing, and Lada A. Adamic. "Exposure to Ideologically Diverse News and Opinion on Facebook." Science 348, no. 6239 (2015): 1130–32.

Bender, Emily M., Timnit Gebru, Angelina McMillan-Major, and Shmargaret Shmitchell. "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–23. New York: ACM, 2021.

Burrell, Jenna. "How the Machine 'Thinks': Understanding Opacity in Machine Learning Algorithms." Big Data & Society 3, no. 1 (2016).

Couldry, Nick, and Ulises A. Mejias. The Costs of Connection: How Data Is Colonizing Human Life and Appropriating It for Capitalism. Stanford: Stanford University Press, 2019.

Edwards, Lilian, and Michael Veale. "Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For." Duke Law & Technology Review 16 (2017): 18–84.

Fricker, Miranda. Epistemic Injustice: Power and the Ethics of Knowing. Oxford: Oxford University Press, 2007.

Gillespie, Tarleton. "The Relevance of Algorithms." In Media Technologies: Essays on Communication, Materiality, and Society, edited by Tarleton Gillespie, Pablo J. Boczkowski, and Kirsten A. Foot, 167–93. Cambridge, MA: MIT Press, 2014.

Guess, Andrew M., Brendan Nyhan, Benjamin Lyons, and Jason Reifler. Avoiding the Echo Chamber about Echo Chambers: Why Selective Exposure to Like-Minded Political News Is Less Prevalent Than You Think. Knight Foundation White Paper, 2018.

Hacking, Ian. "The Looping Effects of Human Kinds." In Causal Cognition: A Multidisciplinary Debate, edited by Dan Sperber, David Premack, and Ann James Premack, 351–94. Oxford: Clarendon Press, 1995.

Kahneman, Daniel, Olivier Sibony, and Cass R. Sunstein. Noise: A Flaw in Human Judgment. New York: Little, Brown Spark, 2021.

MacKenzie, Donald. An Engine, Not a Camera: How Financial Models Shape Markets. Cambridge, MA: MIT Press, 2006.

Maalsen, Sophia. "Algorithmic Epistemologies and Methodologies: Algorithmic Harm, Algorithmic Care and Situated Algorithmic Knowledges." Progress in Human Geography 47, no. 2 (2023): 197–214.

Meehl, Paul E. Clinical versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence. Minneapolis: University of Minnesota Press, 1954.

Miller, Boaz, and Isaac Record. "Justified Belief in a Digital Age: On the Epistemic Implications of Secret Internet Technologies." Episteme 10, no. 2 (2013): 117–34.

Mittelstadt, Brent Daniel, Patrick Allo, Mariarosaria Taddeo, Sandra Wachter, and Luciano Floridi. "The Ethics of Algorithms: Mapping the Debate." Big Data & Society 3, no. 2 (2016).

Pariser, Eli. The Filter Bubble: What the Internet Is Hiding from You. New York: Penguin Press, 2011.

Pasquale, Frank. The Black Box Society: The Secret Algorithms That Control Money and Information. Cambridge, MA: Harvard University Press, 2015.

Wachter, Sandra, Brent Mittelstadt, and Chris Russell. "Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR." Harvard Journal of Law & Technology 31, no. 2 (2018): 841–87.

필터 버블 효과의 변동성에 관한 최근의 메타 분석으로 Scientific Reports (2024)에 게재된 "Reframing the filter bubble through diverse scale effects"를 함께 참조했다.