Skip to content

코드가 결정할 수 있는가 — 자동화된 의사결정의 민주적 정당성 조건

자동화된 의사결정(Automated Decision-Making, ADM)이 민주적 결정으로 정당화되기 위해서는 설명 가능성, 이의제기 가능성, 책임 귀속 구조, 가치 재현 가능성이라는 네 조건이 제도적으로 갖추어져야 한다. 이 조건들은 ADM이 어느 범위에서 민주적 결정의 일부로 작동할 수 있는지를 확정하기 위한 기준이다. 조건들의 충족 가능성이 ADM의 민주적 역할 범위를 결정한다.

'민주적 결정'이란 무엇인가

정치적 결정의 통상적 개념부터 해체해야 한다. 우리는 흔히 정치적 결정을 '다수의 의사를 따르는 것'으로 이해하지만, 다수의 의사는 민주적 결정을 구성하는 하나의 요소에 불과하다. 다수결로 선출된 정치인이 소수를 배제하는 정책을 밀어붙이는 경우 그것이 민주적 결정인지 물어야 하고, 전문가 집단이 근거 기반으로 내린 결론이 다수의 선호와 충돌할 때 어느 쪽이 더 민주적인지도 물어야 한다.

민주적 결정의 핵심은 절차적 정당성에 있다. 결정의 내용이 옳아야 한다는 요건보다 먼저, 결정에 도달하는 과정이 특정 조건을 충족해야 한다는 요구가 민주주의의 구성적 원리다. 철학자 존 다나허(John Danaher)는 알고리즘 통치의 부상이 정치 결정의 절차적 정당성에 본질적 위협을 가한다고 논증한 바 있다. 그가 '알고크라시(algocracy)의 위협'이라 명명한 것의 핵심은, 알고리즘이 인식론적 효율성을 앞세워 시민이 결정을 이해하고 이의를 제기할 수 있어야 한다는 절차적 요건을 구조적으로 우회한다는 데 있다.

ADM의 민주주의 편입 가능성을 따지는 물음은 여기서 방향을 바꾼다. ADM이 민주적 결정을 원리적으로 수행할 수 있는가를 묻는 대신, 민주적 결정의 구성 요건을 추출하고 ADM이 그 요건을 조건별로 충족할 수 있는지를 역방향으로 검토해야 한다. 이것이 조건 분석의 출발점이다.

첫 번째 조건: 설명 가능성

민주적 결정은 그 근거가 원칙적으로 공개될 수 있어야 한다. 시민이 자신에게 영향을 미치는 결정이 왜 내려졌는지를 이해할 수 없다면, 그 결정에 동의할 수도 저항할 수도 없다. 설명 가능성은 민주적 참여의 구조적 전제다.

ADM은 이 조건을 충족하기 어려운 경향을 갖는다. 딥러닝 기반의 알고리즘은 수백만 개의 가중치 조합으로 출력을 생성하므로, 특정 결과가 왜 산출되었는지를 인간이 이해 가능한 방식으로 재구성하기 어렵다. EU AI법(Regulation (EU) 2024/1689)은 이 문제를 인식하여 행정사법 및 민주적 절차 영역에 배치되는 AI 시스템을 고위험(High-Risk)으로 분류하고, 설명 가능성 문서화와 감사 가능성을 의무화했다. 그러나 같은 법의 비판자들이 지적하듯, 현행 규정은 설명의 의무를 공급자의 자체 평가에 과도하게 위임하고 있어 '준수 극장(compliance theatre)'을 허용한다. 준수 극장이란 공개된 문서는 존재하나 독립 기관이 그 충분성을 검증할 수 없는 상태 — 규정을 이행한 것처럼 보이지만 실질적 투명성이 부재한 제도적 공백을 가리킨다.

설명 가능성 조건은 기술적 문제이기 전에 제도적 문제다. 출력의 인과 경로를 시민이 이해할 수 있는 형태로 재구성하는 방법론(XAI, Explainable AI)의 발전과는 별개로, 설명이 실제로 이루어질 의무, 설명의 충분성을 심사하는 독립 기구, 설명 거부에 대한 법적 구제 수단이 존재해야 이 조건이 실현된다. 2020년 네덜란드 헤이그 지방법원이 복지 사기 탐지 알고리즘 SyRI의 즉각 사용 중단을 명령한 결정적 근거는 기술적 오류가 아니었다. 네덜란드 정부가 법원에도, 시민에게도, 의회에도 알고리즘의 위험 모델과 판단 지표를 공개하지 않았다는 것 — 즉 설명 가능성 조건 자체를 제도적으로 충족하지 않았다는 것이었다.

두 번째 조건: 이의제기 가능성

민주적 결정에 영향을 받는 당사자는 그 결정에 이의를 제기할 수 있어야 한다. 이의제기 가능성은 결정이 자의적으로 이루어지는 것을 억제하는 구조적 압력이다. 언제든 책임져야 한다는 사실을 아는 체계와 그렇지 않은 체계는 결정의 질 자체가 달라진다.

GDPR 제22조는 법적 효력이나 중대한 영향을 미치는 순수 자동화 결정에 대해 인간의 개입 요청과 결정에 이의를 제기할 권리를 보장한다. 그러나 이 권리가 실질적이기 위해서는 이의를 수용하는 인간 검토자가 알고리즘 권고를 형식적으로 추인하지 않고 실제로 결정을 번복할 권한과 능력을 가져야 한다. EU 데이터보호이사회(EDPB)는 이를 '의미 있는 인간 개입(meaningful human involvement)'으로 정의하고, 표면적 검토는 이 조건을 충족하지 않는다고 명확히 했다.

이의제기 가능성 조건은 ADM의 확장 속도가 높아질수록 더 심각한 구조적 긴장을 드러낸다. 대규모 자동화 결정 체계에서 개별 이의제기를 모두 실질적으로 처리할 인적 역량을 확보하는 것은 현실적으로 어렵다. 그 결과 이의제기 권리는 제도에 명문화되어 있으나 실제로 작동하지 않는 방식으로 존재하게 된다. 이 간극이 좁혀지지 않는다면 ADM은 외형상 이의제기 가능성을 갖춘 것처럼 보이나 실질적으로는 불복 불가능한 결정 체계로 기능한다.

세 번째 조건: 책임 귀속 구조

민주주의는 결정의 결과에 대한 책임을 묻는 절차를 포함한다. 선출된 대표자는 잘못된 정책 결정에 대해 선거를 통해 책임을 지고, 관료는 내부 징계와 법적 제재를 통해 책임을 진다. 이 책임 귀속 구조가 민주적 통제의 실질적 메커니즘이다.

ADM이 결정에 개입할 때 이 메커니즘에 구조적 공백이 발생한다. 특정 알고리즘 결정이 시민에게 해를 끼쳤을 때, 책임은 알고리즘을 설계한 개발자에게 있는가, 이를 조달하고 배치한 행정 기관에게 있는가, 출력을 최종 승인한 담당자에게 있는가, 아니면 알고리즘을 학습시킨 데이터를 생성한 이전 의사결정자들에게 있는가. 이 물음에 명확히 답할 수 없을 때 책임의 분산이 아니라 책임의 증발이 일어난다.

책임 귀속 조건을 충족하기 위해서는 ADM의 도입 결정 자체가 공적으로 책임지는 주체에 의해 이루어져야 하고, ADM의 운용 결과에 대한 정기적 감사 의무와 그 결과의 공개 의무가 법적으로 부과되어야 한다. 알고리즘이 내린 결정은 그것을 배치한 기관의 결정으로 귀속될 때 민주적 통제 가능성이 열린다. 귀속 주체가 모호한 채로 운용되는 ADM은 책임의 언어를 순환시키면서 실제 책임자를 지워버린다.

네 번째 조건: 가치 재현 가능성

정치적 결정은 가치 배분의 문제를 포함한다. 어떤 집단의 이익을 우선할 것인가, 효율성과 형평성이 충돌할 때 어느 쪽을 취할 것인가, 현재 세대와 미래 세대 사이에서 자원을 어떻게 배분할 것인가. 이 물음들은 계산으로 도달하는 정답이 아니라, 사회가 협상과 합의를 통해 반복적으로 결정해 나가야 하는 가치 판단이다.

목적 함수를 설정하는 순간, 알고리즘은 무엇을 최적화할 것인가를 고정한다. 이 설정은 기술적 결정처럼 보이지만 본질적으로 정치적 선택이다. 목적 함수 안에 담긴 가치가 민주적 절차를 거쳐 결정되지 않는다면, 알고리즘의 효율성 자체가 민주주의 밖에서 고정된 가치를 집행하는 장치가 된다. 과거 데이터를 학습한 알고리즘은 과거의 가치 배분 패턴을 재생산하는 경향이 있고, 이것은 이미 존재하는 불평등을 시스템 안에 고착화하는 방향으로 작동한다. 2014년부터 운용된 SyRI 알고리즘이 저소득층과 소수 민족 거주 지역에 배타적으로 적용되었다는 사실은, ADM이 특정 집단을 우선적으로 감시한다는 가치 선택을 이미 내포했음을 보여준다.

가치 재현 가능성 조건은 ADM이 구현하는 가치가 민주적 절차를 통해 결정되어야 하고, 그 가치가 알고리즘 안에 명시적이고 검증 가능한 방식으로 반영되어야 하며, 가치의 변화가 필요할 때 알고리즘이 갱신될 수 있어야 한다는 것을 요구한다. 이 조건이 충족되지 않을 때 ADM은 민주적 결정을 우회하는 고착화 장치로 작동한다.

조건들이 공유하는 구조

네 조건은 서로 의존하는 요건이다. 설명 가능성은 이의제기 가능성의 전제다. 결정의 근거를 이해하는 것이 이의제기 내용을 구성하기 위한 선결 조건이다. 책임 귀속 구조는 이의제기 가능성이 실질적으로 작동하기 위한 제도적 지지대다. 이의제기는 그것을 수용하고 번복할 권한을 가진 책임 주체가 존재할 때 실질적 기능을 얻는다. 가치 재현 가능성은 나머지 세 조건이 어떤 목적으로 충족되어야 하는지를 규정한다. 알고리즘이 구현하는 가치가 민주적 절차 밖에서 고정된다면, 다른 세 조건이 갖추어진다 해도 그 ADM은 민주주의의 외피를 두른 기술적 권위주의다.

이 상호 의존성은 어느 하나의 조건만 부분적으로 충족하는 것이 충분하지 않음을 의미한다. EU AI법이 투명성 의무를 규정하지만 설명의 충분성 심사를 공급자 자체 평가에 위임한다면 설명 가능성 조건은 구조적으로 취약하다. GDPR 제22조가 이의제기 권리를 보장하지만 의미 있는 인간 검토를 위한 역량이 현실적으로 부재하다면 이의제기 가능성 조건은 문서상 존재할 뿐이다. 조건들의 상호 의존성은 ADM의 민주적 통합이 단일 규정으로 해결될 수 없는 제도 설계의 문제임을 드러낸다.

이 조건 체계 자체에 대한 강한 반론이 존재한다. 절차적 조건의 충족보다 사후 성과 감사와 위임 책임이 민주적 정당성을 더 현실적으로 확보한다는 입장이다. 바르텍 초만스키(Bartek Chomanski)는 알고크라시 비판론에 대응하면서, 설명 가능성이나 이의제기 처리와 같은 절차적 조건이 현실적으로 완전히 충족되기 어렵다 하더라도 알고리즘 거버넌스를 채택할 충분한 이유가 존재할 수 있다고 논증한다. 이 입장에서 보면 네 조건은 과도하게 이상적인 기준이며, 인간 의사결정자도 동등하게 충족하지 못하는 절차적 요건을 ADM에만 요구하는 것은 이중 기준이다.

이 반론은 결과 통제 메커니즘과 결정 과정의 절차적 조건을 동일한 층위에 놓는다. 그러나 사후 감사와 성과 책임은 결과가 이미 생산된 뒤의 통제이고, 설명 가능성과 이의제기 가능성은 결정 과정에 시민이 참여할 수 있는 사전 구조다. 두 메커니즘은 대체 관계가 아니라 기능 층위가 다른 보완 관계다. 더 나아가, 인간 의사결정자가 절차적 조건을 불완전하게 충족한다는 사실은 ADM에 같은 불완전성을 허용하는 근거가 되지 않는다. 민주주의의 제도적 과제는 기존 절차의 불완전성을 모든 의사결정 형식의 기준점으로 삼는 것이 아니라, 그 불완전성을 점진적으로 교정하는 데 있다.

설계 원칙으로서의 ADM

네 조건의 충족 가능성을 기준으로 ADM의 민주적 기능 영역을 구획하는 것이 가능하다. 설명 가능성이 기술적으로 달성 가능하고 제도적으로 감사되는 영역에서 ADM은 정책 분석과 옵션 생성의 도구로 기능할 수 있다. 이의제기 처리 역량이 실질적으로 확보되고 결과 번복이 제도적으로 가능한 영역에서 ADM은 보조적 판단 도구로 통합될 수 있다. 책임 귀속 주체가 명확히 지정되고 정기 감사 의무가 법제화된 영역에서 ADM은 행정 효율화 수단으로 배치될 수 있다. 가치 재현 가능성이 민주적 절차를 통해 주기적으로 검토되고 갱신되는 영역에서 ADM은 정치적 합의의 기술적 구현으로 작동할 수 있다.

이 구획은 조건들의 제도적 충족 수준에 따라 움직인다. 설명 가능성 기술의 발전, 이의제기 처리 제도의 강화, 책임 귀속 법제의 정비, 가치 재현 검토 절차의 민주화가 이루어질수록 ADM이 민주적으로 통합될 수 있는 영역은 확장된다. 반대로 이 조건들이 후퇴하면 ADM의 민주적 역할 가능성도 함께 축소된다.

네 조건이 실질적으로 충족되기 위해서는 배치 결정 자체가 민주적 심의를 거쳐야 한다. EU AI법 제27조는 특정 공공 배치 맥락에서 고위험 AI 시스템의 배치 전 기본권 영향평가(Fundamental Rights Impact Assessment, FRIA)를 요구한다. 영향평가 결과의 공개 의무는 외부 감시 가능성을 열고, 설명 가능성·책임 귀속·가치 재현이라는 조건들이 배치 전 단계에서 검토되는 제도적 기회를 마련한다. 이 절차는 네 조건을 보완하는 제도 설계의 일부다.

코드는 스스로 민주적 결정을 내리지 않는다. 코드가 민주적 결정의 일부로 기능하는 것은 그것이 조건들을 충족하는 제도 안에 배치될 때에만 가능하다. 그 제도를 설계하고 유지하는 것은 여전히 인간의 정치적 과제다.

참고자료

  • Danaher, J. (2016). The Threat of Algocracy: Reality, Resistance and Accommodation. Philosophy and Technology, 29(3), 245–268.
  • Chomanski, B. (2022). Legitimacy and automated decisions: the moral limits of algocracy. Ethics and Information Technology, 24(3).
  • European Union. (2024). Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (AI Act). Official Journal of the European Union.
  • European Data Protection Board. Guidelines on automated individual decision-making and profiling (Article 22 GDPR).
  • Van Bekkum, M., & Zuiderveen Borgesius, F. (2021). Digital welfare fraud detection and the Dutch SyRI judgment. European Journal of Social Security.
  • District Court of The Hague. (2020). NJCM et al. v The Dutch State, ECLI:NL:RBDHA:2020:1878.
  • FairTech Policy Lab. (2025). The EU AI Act's Transparency Gap.

인포그래픽

작성일: 2026년 5월 18일