Skip to content

의사결정 자동화의 제국: 알고리즘은 어떻게 보이지 않는 통치자가 되는가

의사결정 자동화는 사람의 기회와 자원을 배분하는 기준을 기계적 절차 안에 넣을 때 보이지 않는 통치 장치가 된다. 이 장치는 왕이나 관료의 명령형 권력과 다른 방식으로 움직인다. 그것은 점수를 매기고, 순위를 정하고, 위험을 예측하고, 접근을 열거나 닫는다. 신용을 받을 수 있는 사람, 채용 절차를 통과할 사람, 복지 심사의 우선 대상, 보험료가 높아질 사람, 치료 자원이 먼저 배정될 사람을 가르는 기준이 자동화 시스템 안으로 들어갈 때, 알고리즘은 도구의 외양을 유지한 채 통치의 기능을 수행한다.

이 글에서 “제국”은 하나의 중심이 먼 곳의 삶을 직접 만나지 않고도 분류하고 조정하는 권력 구조를 뜻한다. 플랫폼과 데이터 인프라는 이런 의미의 제국적 형식을 만든다. 사용자는 자유롭게 클릭하고 이동하고 신청하고 소비하는 것처럼 보인다. 그 자유의 흔적은 메타데이터로 남고, 메타데이터는 예측 모델의 입력값이 되며, 예측 모델은 다시 사용자의 선택 가능성을 조정한다. 이 순환이 충분히 넓은 영역에 걸쳐 반복되면, 자동화는 편리한 처리 절차를 넘어 사회적 배분의 운영 체계가 된다.

통치는 배분의 권한에서 시작된다

통치는 법률, 명령, 처벌과 함께 배분의 권한으로 작동한다. 더 낮은 층위에는 누가 무엇에 접근할 수 있는지 정하는 권한이 놓여 있다. 대출 승인, 채용 추천, 공공 지원 심사, 보험 심사, 의료 우선순위 판단은 서로 다른 분야에 속하지만 모두 사람의 미래 가능성을 바꾼다. 한 사람은 낮은 신용점수 때문에 주거 선택지가 줄고, 다른 사람은 이력서 필터에서 탈락해 면접 기회 자체를 얻지 못하며, 또 다른 사람은 복지 시스템의 위험 신호에 걸려 추가 소명을 요구받는다. 이런 결정들은 형식상 행정·금융·노동·의료의 세부 절차로 보이지만 실제로는 삶의 통로를 조절한다.

의사결정 자동화가 통치 장치가 되려면 다섯 조건이 성립해야 한다. 첫째, 시스템이 실제 기회와 자원 배분에 영향을 미쳐야 한다. 둘째, 행동 흔적, 메타데이터, 데이터셋이 주요 판단 재료로 쓰여야 한다. 셋째, 판단 기준이 당사자에게 충분히 보이지 않아야 한다. 넷째, 이의제기와 수정 절차가 약해야 한다. 다섯째, 책임이 개발자, 도입 기관, 데이터 공급자, 현장 담당자 사이에 분산되어야 한다. 이 조건들이 결합될 때 자동화는 사회적 질서를 조정하는 권력 형식으로 확장된다.

이 조건 분석은 기술 비관론을 피하기 위해 필요하다. 자동화는 대규모 심사를 가능하게 하고, 처리 시간을 줄이며, 인간 심사자의 자의성을 줄일 수 있다. 영국 ICO도 자동화된 의사결정과 프로파일링이 더 빠르고 일관된 결정을 가능하게 할 수 있다고 설명한다. NIST의 AI Risk Management Framework 역시 AI 위험을 관리함으로써 신뢰성을 높이는 방향을 제시한다. 문제의 중심은 자동화된 판단이 권리, 기회, 자원에 영향을 주면서도 설명, 수정, 책임의 구조를 갖추지 못하는 상태에 있다.

첫 번째 조건: 자동화가 실제 기회 배분을 맡는다

자동화된 판단은 추천의 형식으로 시작해 배분의 효과를 낳는다. 추천 시스템은 콘텐츠를 보여주는 순서를 정하고, 채용 필터는 후보자 목록을 줄이며, 신용평가 모델은 금융 접근성을 가른다. 표면적으로는 판단을 “지원”하는 도구일 수 있다. 실제 현장에서는 지원 도구가 기준선을 만들고, 기준선은 담당자의 판단 범위를 좁힌다. 시스템이 “낮은 적합도”, “높은 위험”, “추가 검토 필요”라는 신호를 내면 인간 담당자는 그 신호를 설명해야 할 대상보다 따라야 할 기준으로 받아들이기 쉽다.

규제기관들이 자동화된 의사결정을 고위험 영역으로 다루는 이유도 여기에 있다. 유럽연합 집행위원회는 AI Act가 위험 기반 규칙을 세우며, 특정 AI 시스템의 결정이나 예측 이유를 파악하기 어려워지면 채용 결정이나 공공급여 신청에서 누군가 부당한 불이익을 받았는지 평가하기 어려워질 수 있다고 설명한다. 뉴욕시의 Local Law 144는 자동화된 고용 의사결정 도구를 사용할 때 편향 감사를 요구하고, 감사 정보 공개와 지원자 고지를 요구한다. 미국 CFPB는 복잡한 알고리즘이 쓰였다는 사정이 신용 거절 사유 설명 의무를 면제하지 않는다고 밝혔다. NAIC는 보험 산업에서 AI가 인수심사, 가격책정, 고객 서비스, 보험금 처리, 마케팅, 사기 탐지 등에 쓰인다고 설명하며, HHS 산하 ONC의 HTI-1 최종규칙은 인증 보건 IT 안의 예측 알고리즘에 대한 투명성 요구를 제도화했다. 이 자료들은 서로 다른 제도권에서 나온 것이지만 공통된 판단을 공유한다. 자동화가 사람의 기회를 좌우할 때 그것은 단순한 내부 효율화 수단으로 남지 않는다.

자동화의 힘은 최종 결정 버튼을 누르기 전 단계에서 강하게 작동한다. 후보군이 줄어들고, 위험군이 만들어지고, 우선순위가 정해지는 순간 이미 권력은 행사된다. 최종 승인자가 인간이라는 사실만으로는 보증이 부족하다. 인간이 남아 있어도 그가 자동화된 점수를 실질적으로 재검토할 권한, 시간, 정보, 책임을 갖추지 못하면 인간 개입은 절차적 장식으로 약화된다. 통치는 최종 서명자가 누구인가보다 실질적 가능성의 범위를 누가 먼저 정하는가에서 발생한다.

두 번째 조건: 메타데이터와 데이터셋이 사람을 확률 범주로 압축한다

메타데이터는 자동화된 통치의 가장 중요한 재료다. NIST는 메타데이터를 데이터의 특성을 설명하는 정보, 또는 데이터에 관한 데이터로 정의한다. 일상적 플랫폼 환경에서 메타데이터는 사용자의 직접 진술을 둘러싼 더 넓은 행동 흔적을 포함한다. 언제 접속했는지, 어디서 이동했는지, 무엇을 클릭했는지, 어느 화면에 얼마나 머물렀는지, 누구와 연결되었는지, 어떤 시간대에 결제를 시도했는지가 모두 판단 재료가 된다.

메타데이터가 위험한 이유는 행동 흔적만으로도 개인에 관한 판단을 가능하게 만들기 때문이다. 당사자는 “나는 신뢰할 만하다”, “나는 일할 준비가 되어 있다”, “나는 도움이 필요하다”고 말할 수 있다. 자동화 시스템은 직접 진술과 함께 행동 흔적을 우선 처리한다. 시스템은 그 흔적을 다른 사람들의 패턴과 대조해 신용위험자, 이탈 가능 노동자, 부정수급 의심자, 낮은 생산성 후보, 우선 치료 대상 같은 범주를 생성한다. 이 범주는 개인의 서사가 아니라 통계적 유사성에서 나온다.

영국 ICO는 프로파일링을 개인의 업무 수행, 경제 상황, 건강, 선호, 신뢰성, 행동, 위치, 이동 등을 분석하거나 예측하기 위한 개인정보의 자동 처리로 설명한다. 이 정의는 메타데이터가 왜 권력의 재료가 되는지를 잘 보여준다. 자동화된 의사결정은 사람을 처리 가능한 특징들의 조합으로 바꾸고, 그 조합을 다른 집단의 행동 패턴에 연결한다. 이 과정에서 개인은 자신의 말과 분리된 행동 흔적으로 대표된다.

메타데이터의 통치 효과는 조용하다. 명령은 반발을 부르지만 분류는 절차처럼 보인다. 누군가를 위험군으로 분류하는 행위는 직접적인 모욕을 피할 수 있다. 그 결과 그 사람의 대출 한도, 보험료, 심사 강도, 노출 순위, 면접 가능성, 상담 우선순위를 바꾼다. 권력은 사람을 설득하지 않고 환경을 조정한다. 메타데이터는 그 조정의 언어가 된다.

메타데이터의 위험은 데이터셋 거버넌스에서 한 번 더 커진다. 모델은 관찰된 세계의 흔적을 사용하므로, 그 흔적이 특정 집단을 덜 포착하거나 과거의 차별을 그대로 담거나 우편번호·기기 종류·접속 시간 같은 대리변수를 통해 보호 특성과 연결되면 판단 결과는 집단별 불이익으로 번진다. EU AI Act의 Article 10은 고위험 AI 시스템의 데이터 수집, 준비, 편향 검토, 데이터 공백, 대표성, 통계적 속성을 요구 사항으로 둔다. 미국 FTC·DOJ·CFPB·EEOC 공동성명도 대표성 부족, 불균형, 역사적 편향, 데이터 오류가 자동화된 시스템의 차별적 결과를 만들 수 있다고 지적한다. 따라서 자동화된 통치의 보이지 않는 부분은 모델의 내부 수식만이 아니라 어떤 세계가 데이터로 포착되고 어떤 집단의 경험이 누락되는가에서도 생긴다.

세 번째 조건: 판단 기준이 당사자에게 보이지 않는다

자동화된 판단은 설명의 비대칭을 만들 때 통치 장치로 굳어진다. 전통적 심사에서도 불투명성은 존재했다. 차이는 자동화된 시스템이 불투명성을 기술적 복잡성, 영업비밀, 모델 성능, 데이터 규모의 문제로 재포장할 수 있다는 점이다. 당사자는 자신이 왜 탈락했는지 알고 싶어 한다. 기관은 모델이 복잡하다고 답하거나, 벤더의 시스템이라고 답하거나, 점수 산정식은 공개하기 어렵다고 답할 수 있다. 이때 결정은 이미 내려졌고, 설명은 사후에 따라오는 불완전한 부속물이 된다.

CFPB의 신용 결정 관련 Circular 2022-03은 이 지점에서 중요한 기준을 제시한다. CFPB는 복잡한 알고리즘을 사용하더라도 불리한 조치를 받은 신청자에게 구체적이고 정확한 주요 사유를 제공해야 한다고 설명한다. 모델이 너무 복잡하거나 불투명하다는 사정은 법적 설명 의무를 그대로 남긴다. 이 기준은 신용 영역을 넘어 자동화된 판단 일반에 적용될 수 있는 원칙을 제시한다. 어떤 시스템이 개인의 기회를 제한한다면, 그 제한은 당사자가 이해하고 다툴 수 있는 이유의 형식을 가져야 한다.

설명 가능성은 모델 내부 공개를 포함하는 더 넓은 문제다. 당사자에게 필요한 것은 수학적 파라미터 전체 공개가 아니라 자신의 사례에서 어떤 정보가 어떤 결정 효과를 만들었는지에 관한 실질적 설명이다. “귀하는 내부 기준에 미달했습니다”라는 문장은 결정의 존재만 전달할 뿐 결정의 이유를 제공하지 못한다. “귀하의 신청은 최근 소득 변동성, 기존 채무 비율, 제출 서류의 불일치 때문에 추가 검토 대상으로 분류되었습니다”라는 문장은 적어도 이의를 제기할 지점을 만든다. 설명은 이해의 장식이 아니라 권리 행사의 입구다.

네 번째 조건: 이의제기 절차가 약하면 자동화는 폐쇄 회로가 된다

자동화된 판단이 통치 장치로 작동하는 결정적 순간은 당사자가 그 판단을 바꾸려 할 때 드러난다. 설명에서 수정 절차가 빠지면 설명은 통보에 머문다. 이의제기 창구가 있어도 담당자가 모델의 입력값과 산출값을 재검토할 권한을 갖추지 못하면 창구는 민원 접수함으로 축소된다. 자동화 시스템이 권력 장치가 되는 이유는 한번 내려진 분류가 다음 분류의 재료로 다시 들어가는 폐쇄 회로를 만들기 때문이다.

ICO의 자동화된 의사결정 안내는 법적 또는 유사하게 중대한 효과를 내는 전적으로 자동화된 결정에 대해 개인에게 정보를 제공하고, 인간 개입을 요청하거나 결정을 다툴 수 있는 단순한 방법을 마련해야 한다고 설명한다. 이 원칙은 자동화된 의사결정의 민주적 최소 조건을 보여준다. 당사자는 자신을 분류한 시스템에 대해 말할 수 있어야 하고, 그 말은 실제 수정 가능성으로 이어져야 한다. 이의제기권은 불만을 표현할 권리가 아니라 잘못된 분류를 바로잡을 수 있는 절차적 권한이다.

인간 검토는 이 조건을 충족시키기 위한 하나의 방식일 뿐이다. 핵심은 재검토의 실질성에 있다. 담당자가 시스템 산출값의 근거를 이해하고, 관련 데이터를 수정할 수 있으며, 모델 판단과 다른 결정을 내릴 권한을 가져야 한다. 자동화된 판단을 사람이 한 번 더 확인했다는 사실만으로는 책임 구조가 부족하다. 검토자의 실질적 권한이 부족하면 인간은 시스템의 결정에 정당성의 표면을 제공하는 역할을 맡게 된다.

다섯 번째 조건: 책임이 여러 행위자 사이에 분산된다

자동화된 통치의 제국성은 책임 분산에서 완성된다. 플랫폼은 모델을 제공하고, 기관은 모델을 도입하며, 벤더는 데이터를 가공하고, 현장 담당자는 산출값을 해석한다. 문제가 발생하면 각 행위자는 자신에게 부분 책임만 있다고 말할 여지를 가진다. 개발자는 도입 맥락 파악의 한계를 말하고, 기관은 기술적 세부 통제의 어려움을 말하며, 담당자는 시스템 권고를 따랐다고 말한다. 책임은 사라지지 않는다. 그것은 너무 많은 곳에 나뉘어 당사자가 붙잡기 어려운 형태가 된다.

미국 FTC, DOJ, CFPB, EEOC의 공동성명은 자동화 시스템이 일상에서 점점 흔해지며 시민권, 공정 경쟁, 소비자 보호, 평등한 기회에 영향을 미친다고 보았다. 이 공동성명은 책임 분산에 대한 중요한 반대 원칙을 제시한다. AI라는 이름이 붙은 시스템도 기존 법의 적용을 받는다. 자동화된 시스템이 차별, 기만, 불공정한 효과를 낳는다면 도입 기관과 관련 행위자는 “기술이 그렇게 판단했다”는 말로 책임을 피할 수 없다.

책임은 세 층위에서 재구성되어야 한다. 첫째, 설계 책임이다. 어떤 데이터를 수집하고, 어떤 목표 함수를 세우며, 어떤 오류를 더 위험하게 볼 것인지 정한 주체가 설명되어야 한다. 둘째, 도입 책임이다. 기관은 시스템이 실제 현장에 어떤 영향을 미치는지 검증하고, 편향과 오류를 감시해야 한다. 셋째, 결정 책임이다. 특정 개인에게 불이익이 발생했을 때 그 결정을 수정하고 배상하거나 시정할 권한을 가진 주체가 명확해야 한다. 책임 구조가 이 세 층위를 연결해야 자동화는 권한 행사와 책임 부담을 함께 갖춘 장치가 된다.

조건들은 서로 결합될 때 제국을 만든다

다섯 조건은 각각 따로 존재할 때도 문제를 만든다. 자동화가 실제 기회를 좌우하고, 메타데이터와 데이터셋이 사람을 범주화하며, 기준이 보이지 않고, 이의제기가 약하고, 책임이 분산될 때 문제는 질적으로 달라진다. 그때 자동화는 여러 영역을 관통하는 통치 인프라가 된다. 사용자는 하나의 제도에서 낮은 점수를 받고, 다른 플랫폼에서 낮은 노출을 받고, 또 다른 심사에서 높은 위험군으로 분류된다. 각 결정은 독립적으로 보이지만, 모두 데이터화된 인간을 확률적 대상으로 다루는 같은 문법을 공유한다.

이것이 의사결정 자동화의 제국이다. 이 제국은 황제의 명령문이 아니라 인터페이스, 약관, 점수표, 위험 모델, 추천 순위, 심사 기준, 내부 대시보드로 작동한다. 사용자는 물리적 구금보다 먼저 선택지 축소를 경험한다. 선택지가 좁아지고, 대기 시간이 길어지고, 제출해야 할 서류가 늘고, 설명을 요구할 상대가 흐려진다. 통제는 접근 제한, 낮은 우선순위, 추가 심사의 형식을 취한다.

Virginia Eubanks의 『Automating Inequality』가 중요한 이유도 여기에 있다. 이 책은 데이터 마이닝, 정책 알고리즘, 예측 위험 모델이 빈곤층과 노동계급의 삶에 어떤 영향을 미치는지 추적한다. 특히 복지, 주거, 아동보호와 같은 영역에서 자동화된 시스템은 도움이 필요한 사람을 지원하는 도구로 제시될 수 있지만, 실제로는 감시와 선별의 강도를 높이는 방식으로 작동할 수 있다. 자동화는 공정성의 언어를 사용할 때도 관리와 처벌의 기술이 될 수 있다.

자동화의 정당성은 통제 가능성에서 나온다

의사결정 자동화의 제국을 비판하는 목적은 통제 가능한 제도화에 있다. 대규모 사회에서 모든 심사를 수작업으로 되돌리는 일은 현실성과 정당성이 약하다. 자동화는 반복 업무를 줄이고, 심사 지연을 줄이며, 명시적 기준을 세우는 데 기여할 수 있다. 자동화의 정당성은 통제 가능성에서 나온다. 시스템이 어떤 결정을 돕는지, 어떤 데이터를 쓰는지, 어떤 불이익을 만들 수 있는지, 누가 설명하고 누가 고칠 수 있는지가 분명해야 한다.

따라서 자동화된 의사결정의 핵심 규범에서 투명성은 출발점일 뿐이다. 투명성은 설명을 가능하게 하지만, 설명은 이의제기 절차와 결합해야 한다. 이의제기 절차는 책임 주체와 결합해야 한다. 책임 주체는 지속적 감사와 결합해야 한다. 지속적 감사는 피해가 발생한 뒤의 사후 점검을 넘어, 시스템이 사용되는 동안 반복적으로 수행되어야 한다. NIST AI RMF가 위험 관리를 설계, 개발, 사용, 평가 전 과정에 결합하려는 이유도 여기에 있다.

통치 장치가 된 알고리즘을 민주적으로 다루려면 세 가지 기준이 필요하다. 첫째, 중대한 효과를 내는 자동화된 판단은 당사자가 이해할 수 있는 이유를 제공해야 한다. 둘째, 당사자는 잘못된 데이터, 대표성 결함, 대리변수 편향, 부당한 분류를 다툴 수 있는 절차를 가져야 한다. 셋째, 기관은 벤더와 모델 뒤에 숨는 관행을 버리고 결정의 사회적 효과를 책임져야 한다. 이 기준들이 작동할 때 자동화는 사회를 조용히 지배하는 제국이 아니라 공적 통제 아래 놓인 행정·산업 기술이 된다.

결론: 보이지 않는 통치자를 보이게 만드는 일

의사결정 자동화가 지배가 되는 지점은 계산이 배분 권한을 갖고도 설명과 책임의 구조를 갖추지 못하는 순간이다. 사람의 기회가 점수와 분류에 의해 조정되고, 그 점수와 분류가 메타데이터와 데이터셋의 조합으로 만들어지며, 당사자가 이유를 알거나 결정을 바꾸기 어려울 때 알고리즘은 보이지 않는 통치자가 된다. 이 통치자는 직접 명령의 형식이 약하기 때문에 더 쉽게 일상에 들어온다. 그것은 편리함, 효율, 일관성, 위험 관리의 이름으로 권한을 얻는다.

제국은 작은 위임들이 축적될 때 만들어진다. 채용에서 한 번, 신용평가에서 한 번, 복지 심사에서 한 번, 의료 우선순위에서 한 번, 보험 심사에서 한 번 판단 권한이 시스템으로 이동한다. 각 이동은 합리적으로 보인다. 전체가 연결되면 인간은 자신의 삶을 설명하는 주체에서 시스템이 부여한 확률 범주를 해명해야 하는 대상으로 이동한다.

알고리즘 통치의 해법은 배분 권한, 판단 재료, 설명 의무, 이의제기 절차, 책임 주체를 다시 공적 언어로 가져오는 데 있다. 보이지 않는 통치자를 보이게 만드는 일은 자동화된 사회에서 자유를 유지하기 위한 가장 현실적인 정치다.

참고자료

  • European Commission, AI Act. AI Act의 위험 기반 접근, 채용·공공급여 영역에서 AI 결정의 불투명성이 만들 수 있는 위험, 고위험 AI 시스템의 데이터 품질·기록·문서화·정보 제공·인간 감독 요구를 확인하는 데 사용했다.
  • Council of the European Union, Artificial Intelligence: Council and Parliament agree to simplify and streamline rules. 고위험 AI 시스템 의무의 시행 시점이 2026년 5월 7일 임시 합의로 조정 대상이 되었음을 확인하고, 본문에서 시행 시점 단정 대신 위험 기반 규율의 기능만 사용하기 위해 참고했다.
  • European Commission AI Act Service Desk, Article 10: Data and data governance. 고위험 AI 시스템의 데이터 수집, 준비, 편향 검토, 대표성, 데이터 공백, 통계적 속성 요구를 확인하는 데 사용했다.
  • Consumer Financial Protection Bureau, Consumer Financial Protection Circular 2022-03: Adverse action notification requirements in connection with credit decisions based on complex algorithms. 복잡한 알고리즘을 사용한 신용 결정에서도 구체적 사유 설명 의무가 유지된다는 논점을 위해 사용했다.
  • Federal Trade Commission, Joint Statement on Enforcement Efforts Against Discrimination and Bias in Automated Systems. 자동화 시스템이 권리와 기회에 영향을 미치며, 대표성 부족·불균형·역사적 편향·데이터 오류가 차별적 결과를 만들 수 있다는 논점을 위해 사용했다.
  • National Institute of Standards and Technology, AI Risk Management Framework. AI 시스템의 위험을 개인, 조직, 사회 차원에서 관리해야 한다는 균형 논점을 위해 사용했다.
  • National Institute of Standards and Technology, metadata - Glossary. 메타데이터의 기본 정의를 확인하는 데 사용했다.
  • Information Commissioner’s Office, Rights related to automated decision making including profiling. 자동화된 의사결정, 프로파일링, 인간 개입 요청, 결정에 대한 이의제기권 논점을 위해 사용했다.
  • New York City Department of Consumer and Worker Protection, Automated Employment Decision Tools. 자동화된 고용 의사결정 도구에 대한 편향 감사, 공개, 고지 의무 사례를 위해 사용했다.
  • National Association of Insurance Commissioners, Artificial Intelligence. 보험 산업에서 AI가 인수심사, 가격책정, 보험금 처리, 사기 탐지 등 여러 결정 영역에 쓰인다는 사실과 보험사의 책임 원칙을 확인하는 데 사용했다.
  • Office of the National Coordinator for Health Information Technology, HTI-1 Final Rule. 보건 IT 안의 AI·예측 알고리즘 투명성 요구와 임상 의사결정 지원 논점을 확인하는 데 사용했다.
  • Virginia Eubanks, Automating Inequality. 복지, 주거, 아동보호 영역에서 데이터 마이닝과 예측 위험 모델이 취약계층을 분류·관리하는 사례적 배경을 위해 사용했다.