Skip to content

AI 윤리를 기업 내부 안전 담론에만 맡길 수 없는 이유

핵심 요약

AI 윤리는 기업 내부의 안전 팀, 모델 평가, 레드팀, 책임 있는 AI 원칙만으로 충분히 보장되기 어렵다. 기업은 AI 시스템을 가장 잘 이해하는 기술적 역량을 가지고 있지만, 동시에 제품 출시, 시장 점유율, 투자 회수, 경쟁 우위라는 이해관계 안에서 움직인다. 이 때문에 내부 안전 담론은 종종 “위험을 줄이는 기술 관리”로 좁아지고, AI가 노동, 권리, 차별, 민주주의, 환경, 지식 생산, 문화적 권력에 미치는 넓은 영향을 충분히 다루지 못한다.

따라서 AI 윤리는 기업 내부 절차를 폐기하는 방향이 아니라, 그것을 외부 규제, 독립 감사, 공공기관의 감독, 시민사회와 노동자·이용자·피해집단의 참여, 국제 표준과 결합하는 방식으로 제도화되어야 한다. 핵심은 “기업의 선의”를 불신하자는 데 있지 않다. 문제는 선의나 전문성만으로는 권력 비대칭, 정보 비대칭, 책임 회피, 사회적 피해의 외부화를 통제하기 어렵다는 점이다. AI 윤리의 제도적 보완은 기술 발전을 막기 위한 장치라기보다, AI가 사회적 신뢰를 얻으며 지속 가능하게 확산되기 위한 조건이다.

문제의식

AI 기업들은 최근 몇 년 동안 “안전한 AI”, “책임 있는 AI”, “신뢰 가능한 AI”, “프론티어 모델 안전”, “정렬(alignment)” 같은 표현을 적극적으로 사용해 왔다. OpenAI의 Preparedness Framework, Anthropic의 Responsible Scaling Policy, 여러 기업이 참여한 Frontier AI Safety Commitments처럼 기업 내부 또는 기업 연합 차원의 안전 프레임워크도 등장했다. 이러한 시도는 의미가 있다. 대규모 AI 모델은 개발 기업이 아니면 접근하기 어려운 데이터, 평가 환경, 모델 가중치, 배포 로그, 취약점 정보를 포함하기 때문에, 기업 내부의 기술적 안전 연구는 필수적이다.

그러나 AI 윤리를 기업 내부 안전 담론에만 맡길 때 발생하는 문제가 있다. 첫째, 내부 안전 담론은 기업이 측정 가능한 위험을 중심으로 구성되기 쉽다. 예를 들어 모델이 유해한 답변을 생성하는지, 사이버·생물안보 위험이 있는지, 환각률이 얼마나 되는지, 개인정보를 노출하는지 같은 문제는 비교적 평가 체계로 만들 수 있다. 반면 특정 직군의 노동이 어떻게 재편되는지, 교육과 저작권 질서가 어떻게 바뀌는지, 감시와 차별이 어떤 집단에 집중되는지, 기술 인프라의 에너지 비용이 누가 감당하는지 같은 문제는 기업 내부의 모델 안전 지표로 환원되기 어렵다.

둘째, 기업은 위험을 줄일 유인이 있는 동시에 위험을 축소해 보일 유인도 가진다. 안전 문제를 공개하면 규제 부담, 평판 손실, 소송 위험, 투자 위축이 발생할 수 있다. 반대로 위험을 내부적으로 관리 가능한 문제로 제시하면 시장 출시를 지연시키지 않고도 책임 있는 기업이라는 이미지를 얻을 수 있다. 이 긴장은 기업이 비윤리적이라는 단순 비난이 아니라, 기업이라는 조직 형태가 가진 구조적 조건이다.

셋째, AI의 피해는 대개 기업과 직접 계약한 고객에게만 발생하지 않는다. 채용 알고리즘의 차별은 구직자에게, 신용평가 모델의 오류는 소비자에게, 생성형 AI의 저작권 문제는 창작자에게, 감시 기술은 시민에게, 자동화된 행정 시스템의 오류는 복지 수급자에게 영향을 줄 수 있다. 피해 당사자가 의사결정 과정 밖에 있다면, 기업 내부의 안전 절차는 윤리적 정당성을 충분히 확보하기 어렵다.

개념의 정의

이 글에서 “AI 윤리”란 AI 시스템의 설계, 학습, 배포, 사용, 사후 관리 전 과정에서 인간의 권리, 안전, 공정성, 책임성, 설명 가능성, 사회적 영향, 권력 관계를 검토하는 규범적·제도적 활동을 뜻한다. 이는 단순히 “나쁜 답변을 줄이는 기술”이나 “편향을 낮추는 모델 평가”보다 넓은 개념이다. AI 윤리는 기술적 안전성, 법적 책임, 사회적 정당성, 민주적 통제를 함께 다룬다.

“기업 내부의 안전 담론”은 기업이 자체적으로 수립하는 AI 원칙, 모델 카드, 시스템 카드, 레드팀 테스트, 위험 등급, 배포 승인 절차, 내부 윤리위원회, 책임 있는 AI 팀의 활동을 가리킨다. 이것은 AI 거버넌스의 중요한 구성 요소이지만, 그 자체가 완결된 공적 통치 체계는 아니다. 기업 내부 안전 담론의 강점은 기술적 세부에 대한 접근성이다. 약점은 외부자가 검증하기 어렵고, 기업의 이윤 동기와 충돌할 때 우선순위가 흔들릴 수 있다는 점이다.

“외부 규제”는 국가나 초국가적 기구가 법률, 행정규칙, 표준, 감독기관, 제재, 감사 권한 등을 통해 AI의 개발과 사용을 통제하는 제도적 장치를 뜻한다. 유럽연합의 AI Act, 한국의 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」, 미국 NIST의 AI Risk Management Framework 같은 제도와 기준은 서로 강도와 법적 성격이 다르지만, 기업의 자율적 선언만으로는 부족하다는 문제의식과 연결되어 있다.

“다중 이해관계자 참여”는 AI 기업, 정부, 연구자, 시민사회, 노동자, 소비자, 피해 가능 집단, 소수자 집단, 교육기관, 언론, 국제기구 등이 AI 정책과 평가 과정에 참여하는 구조를 말한다. 여기서 중요한 점은 단순 의견 수렴이 아니라, 영향을 받는 주체들이 문제 정의, 위험 식별, 평가 기준, 사후 구제, 제도 개선에 실질적으로 관여할 수 있어야 한다는 점이다.

배경과 맥락

AI 윤리 담론은 처음에는 비교적 추상적인 원칙 중심으로 전개되었다. 공정성, 투명성, 책임성, 인간 중심성, 프라이버시, 설명 가능성 같은 원칙이 국제기구와 기업 문서에 반복적으로 등장했다. OECD AI Principles는 인간 중심적이고 신뢰 가능한 AI를 강조했고, UNESCO의 「인공지능 윤리 권고」는 인권과 인간 존엄, 투명성, 공정성, 인간 감독을 중심 가치로 제시했다. 이러한 원칙은 중요한 출발점이지만, 원칙만으로는 구체적 책임 배분과 집행을 보장하기 어렵다.

생성형 AI와 프론티어 모델의 확산 이후 문제의 성격은 더 복잡해졌다. AI 시스템은 단일 기업의 제품을 넘어 검색, 교육, 의료, 금융, 행정, 군사, 예술, 미디어, 노동시장에 침투하고 있다. 모델의 성능이 높아질수록 위험도 단순 오류나 편향을 넘어 보안, 허위정보, 생물안보, 대규모 자동화, 지식 생태계 훼손, 민주적 절차 교란 같은 문제로 확장된다. 이 때문에 AI 윤리는 제품 품질관리의 하위 분야가 아니라 사회 제도의 문제로 바뀌고 있다.

유럽연합 AI Act는 이러한 변화를 가장 제도적으로 보여주는 사례다. 유럽연합 집행위원회는 AI Act가 2024년 8월 1일 발효되었고, 2026년 8월 2일 전면 적용을 기본 일정으로 하되 금지된 AI 관행과 AI 리터러시 의무는 2025년 2월 2일부터, 범용 AI 모델 관련 의무와 거버넌스 규칙은 2025년 8월 2일부터 적용된다고 안내한다. 이는 AI 윤리를 기업의 자율 원칙에만 맡기지 않고, 위험 기반 규제와 법적 의무로 전환하려는 시도다.

한국에서도 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」이 2025년 1월 21일 공포되고 2026년 1월 22일부터 시행되었다. 법의 목적은 인공지능의 건전한 발전과 신뢰 기반 조성에 필요한 기본 사항을 규정하여 국민의 권익과 존엄성을 보호하고 삶의 질과 국가경쟁력을 높이는 데 있다. 정부 안내 자료는 국가 인공지능 거버넌스, 연구개발과 데이터 기반, 도입·활용 지원, 국제협력, 투명성 확보 의무, 안전성 확보 의무, 고영향 AI 판단과 사업자 책무를 주요 내용으로 제시한다. 한국의 접근은 산업 진흥과 신뢰 기반 조성을 함께 놓는다는 점에서, AI 윤리가 단순 규제 강화가 아니라 산업정책과 권리 보호 사이의 균형 문제임을 보여준다.

핵심 논리

AI 윤리를 기업 내부 안전 담론에만 맡길 수 없는 첫 번째 이유는 정보 비대칭이다. 대규모 AI 시스템의 학습 데이터, 모델 구조, 사전 평가 결과, 취약점, 배포 후 사고 기록은 대부분 기업 내부에 집중된다. 외부 연구자나 시민은 모델의 실제 위험을 독립적으로 검증하기 어렵다. 기업이 공개하는 시스템 카드나 안전 보고서는 유용한 정보를 제공할 수 있지만, 공개 범위와 형식은 대체로 기업이 결정한다. 정보 공개가 기업의 재량에 의존하면, 사회는 AI 시스템의 위험을 사후적으로만 알게 될 가능성이 커진다.

두 번째 이유는 이해상충이다. 기업은 안전을 중시할 수 있지만, 동시에 경쟁사보다 빠르게 모델을 출시해야 한다. 프론티어 AI 시장에서는 성능, 이용자 규모, 개발자 생태계, 클라우드 인프라, 투자 유치가 긴밀하게 연결된다. 안전 평가가 출시를 늦추거나 기능을 제한한다면, 내부 안전 조직은 사업 부문과 구조적 긴장에 놓인다. 이 긴장을 해결하려면 내부 절차만으로는 부족하고, 최소 기준을 강제하는 외부 규칙이 필요하다. 규제가 없다면 “가장 조심스러운 기업”이 경쟁상 불리해지는 상황이 생길 수 있다.

세 번째 이유는 피해의 외부화다. AI 시스템이 만든 비용은 기업 회계 안에 모두 반영되지 않는다. 허위정보 확산, 창작 노동의 가치 하락, 개인정보 침해, 자동화된 차별, 환경 비용, 공공 담론의 왜곡은 사회 전체가 부담한다. 기업 내부 안전 담론은 자사 제품의 직접적 위험을 줄이는 데 집중하는 경향이 있지만, 사회적 비용은 산업 전체와 제도 전체의 문제다. 외부 규제는 이 비용을 기업의 의사결정 안으로 다시 끌어들이는 장치다.

네 번째 이유는 정당성이다. AI 시스템은 점점 더 많은 사람의 삶을 분류하고 예측하며 평가한다. 채용, 대출, 보험, 교육, 복지, 치안, 의료처럼 권리와 기회에 영향을 주는 영역에서는 “기술적으로 안전하다”는 말만으로 충분하지 않다. 누가 위험을 정의하는가, 어떤 오류를 감수할 수 있는가, 어떤 집단의 피해를 우선적으로 줄여야 하는가, 인간의 이의제기권을 어떻게 보장할 것인가 같은 질문은 민주적 정당성을 요구한다. 기업 내부 안전팀은 이러한 공적 판단을 대리할 권한을 갖고 있지 않다.

다섯 번째 이유는 윤리의 범위 축소다. AI 안전 담론은 때때로 극단적 위험이나 모델 오작동에 집중한다. 물론 생물안보, 사이버 공격, 대규모 사기, 자율 시스템의 통제 문제는 중요하다. 그러나 AI 윤리는 현재 발생하는 차별, 착취적 데이터 수집, 콘텐츠 노동, 저작권 갈등, 감정노동 자동화, 교육 격차, 플랫폼 종속, 감시 인프라의 확산도 함께 다루어야 한다. 안전을 기술적 위험 관리로만 이해하면, AI 윤리의 사회정치적 차원이 희미해진다.

따라서 바람직한 방향은 기업 내부 안전 체계를 부정하는 것이 아니라, 그것을 외부적으로 검증 가능하고 책임 추적 가능한 제도 안에 배치하는 것이다. 기업은 모델 개발과 평가의 1차 책임을 져야 하고, 정부와 독립기관은 최소 기준과 감독 체계를 마련해야 하며, 시민사회와 영향을 받는 집단은 위험 정의와 사후 구제 과정에 참여해야 한다. AI 윤리는 기업 내부의 컴플라이언스 문서가 아니라 사회적 계약의 일부가 되어야 한다.

구체적 사례

유럽연합 AI Act는 위험 기반 접근법을 제도화한 대표적 사례다. 이 법은 모든 AI를 동일하게 규제하지 않고, 용도와 위험 수준에 따라 금지 관행, 고위험 AI, 범용 AI, 투명성 의무 등을 구분한다. 이 구조의 장점은 AI 기술 자체보다 사용 맥락을 중시한다는 점이다. 같은 모델이라도 장난감 추천에 쓰일 때와 채용·신용평가·의료 판단에 쓰일 때 사회적 위험은 다르다. 따라서 윤리적 규제는 기술의 추상적 성능만이 아니라, 적용 영역과 권리 침해 가능성을 기준으로 설계되어야 한다.

한국 AI 기본법은 산업 진흥과 신뢰 기반 조성을 함께 배치한다. 이 법은 AI 발전을 국가 경쟁력의 문제로 보면서도, 국민의 권익과 존엄성 보호를 목적 조항에 포함한다. 이 구조는 한국의 AI 거버넌스가 단순한 금지 중심 규제가 아니라, 진흥·표준화·신뢰성·투명성·안전성·고영향 AI 관리를 함께 다루는 방향으로 설계되고 있음을 보여준다. 다만 법이 실제로 얼마나 강한 책임성을 만들지는 시행령, 가이드라인, 감독기관의 역량, 시민사회 참여 구조, 제재의 실효성에 달려 있다.

NIST AI Risk Management Framework는 법적 강제력이 있는 규제라기보다 자발적 위험관리 프레임워크에 가깝다. 그러나 이 프레임워크는 AI 위험을 조직, 개인, 사회에 대한 영향으로 보고, 위험을 “govern, map, measure, manage” 기능을 통해 관리하도록 제안한다. 여기서 중요한 점은 자율적 프레임워크도 공적 표준과 결합될 때 기업 내부 안전 체계를 비교 가능하고 검토 가능한 언어로 바꿀 수 있다는 점이다. 법률은 최소 기준을 제공하고, 표준은 실무적 실행 방식을 구체화하며, 감사와 감독은 실제 이행 여부를 확인한다.

기업의 자발적 안전 프레임워크도 사례로 볼 수 있다. OpenAI는 2025년에 Preparedness Framework를 업데이트해 프론티어 모델의 심각한 위험을 측정하고 완화하는 기준을 제시했다. Anthropic은 Responsible Scaling Policy를 통해 모델 능력과 보호조치를 단계적으로 연결하려는 방식을 제안해 왔다. 이러한 프레임워크는 내부 위험관리를 체계화한다는 점에서 중요하다. 그러나 그것이 자발적 문서인 한, 외부자가 평가 기준의 충분성, 평가 결과의 정확성, 경영진의 예외 승인 가능성, 경쟁 압력 속에서의 지속성을 독립적으로 확인하기 어렵다.

다중 이해관계자 참여의 필요성은 공공부문 알고리즘 책임성 논의에서 특히 분명해진다. 복지 수급자 선별, 예측 치안, 이민 심사, 교육 배정, 의료 자원 배분 같은 영역에서 알고리즘은 특정 집단의 권리와 기회에 직접 영향을 준다. 이러한 시스템은 기술자와 구매 담당자만으로 평가해서는 부족하다. 실제 영향을 받는 시민, 현장 공무원, 인권단체, 장애인·이주민·저소득층 대표, 법률 전문가, 데이터 보호 전문가가 위험을 함께 정의해야 한다. 이 참여가 없다면 AI 윤리는 “평균 성능”을 개선하면서도 취약 집단의 피해를 보지 못할 수 있다.

주요 쟁점과 반론

가장 흔한 반론은 외부 규제가 혁신을 늦춘다는 주장이다. 이 반론은 부분적으로 타당하다. 지나치게 경직된 규제, 모호한 의무, 중복된 보고 요구, 과도한 사전 승인 절차는 스타트업과 연구기관에 큰 부담이 될 수 있다. AI는 빠르게 변하기 때문에 법률이 기술 변화를 따라가지 못할 위험도 있다. 따라서 규제는 기술 중립성, 위험 비례성, 명확한 책임 범위, 규제 샌드박스, 중소기업 지원, 국제 정합성을 고려해야 한다.

그러나 “규제는 혁신을 방해한다”는 주장은 너무 단순하다. 규제는 불확실성을 줄여 시장 신뢰를 높일 수도 있다. 의료기기, 항공, 금융, 자동차, 의약품 분야에서 일정한 안전 기준은 산업 발전을 막기보다, 소비자 신뢰와 시장 확산의 조건이 되었다. AI도 마찬가지다. 위험이 큰 시스템일수록 최소 기준, 사고 보고, 독립 감사, 책임 소재가 명확해야 사회적 수용성이 높아진다. 규제 없는 빠른 출시가 단기 혁신처럼 보일 수 있지만, 대형 사고가 발생하면 산업 전체에 대한 신뢰가 무너질 수 있다.

두 번째 반론은 정부가 AI를 이해하지 못하기 때문에 기업이 더 잘 규제할 수 있다는 주장이다. 정부의 기술 역량 부족은 실제 문제다. 규제기관이 전문 인력을 확보하지 못하면 기업 문서를 수동적으로 받아들이거나, 형식적 체크리스트만 운영할 가능성이 있다. 하지만 이 문제의 결론은 “기업에 맡기자”가 아니라 “공공 규제 역량을 키우자”에 가깝다. 정부는 독립 연구기관, 대학, 표준화 기구, 시민사회, 국제기구와 협력하여 전문성을 확보해야 한다. 외부 규제는 기술적 세부를 모두 직접 결정하는 방식이 아니라, 검증 가능한 절차와 책임 구조를 만드는 방식으로 설계될 수 있다.

세 번째 반론은 다중 이해관계자 참여가 느리고 비효율적이라는 주장이다. 실제로 참여 절차는 시간이 걸리며, 모든 참여가 좋은 결과를 보장하지는 않는다. 형식적 공청회, 대표성 없는 전문가 회의, 기업 홍보에 가까운 의견 수렴은 오히려 정당성의 외피만 제공할 수 있다. 따라서 참여는 설계가 중요하다. 영향을 받는 집단의 대표성, 접근 가능한 정보 제공, 충분한 숙의 시간, 의견 반영 경로, 이견 기록, 사후 피드백이 있어야 한다. 참여는 의사결정을 무한히 지연시키기 위한 장치가 아니라, 위험을 조기에 발견하고 제도의 정당성을 높이는 장치다.

네 번째 쟁점은 국제 경쟁이다. 한 국가가 강한 규제를 도입하면 기업이 규제가 약한 국가로 이동하거나, 해당 국가의 AI 산업이 뒤처질 수 있다는 우려가 있다. 이 문제는 현실적이다. AI 모델 개발은 클라우드 인프라, 반도체 공급망, 데이터 접근권, 인재 이동, 글로벌 서비스 배포와 연결되어 있기 때문이다. 그래서 AI 거버넌스는 국내 규제만으로 완결되기 어렵고, OECD, UNESCO, G7, G20, 유엔, 양자·다자 협력, 국제 표준화 기구를 통한 정합성이 필요하다. 다만 국제 조율의 어려움이 국내 규제 부재의 근거가 되지는 않는다. 오히려 주요 국가와 지역의 규제 실험이 국제 기준 형성의 출발점이 된다.

오해와 한계

첫 번째 오해는 “외부 규제”가 곧 “정부가 AI 기술을 직접 통제한다”는 뜻이라는 생각이다. 좋은 규제는 기술 개발의 모든 세부를 정부가 지시하는 방식이 아니다. 그것은 위험 등급, 투명성, 설명 가능성, 사후 구제, 데이터 보호, 독립 감사, 사고 보고, 책임 소재 같은 제도적 조건을 설정하는 방식에 가깝다. AI 윤리의 제도화는 기술 설계를 행정명령으로 대체하는 것이 아니라, 사회적 위험을 통제할 수 있는 책임 구조를 만드는 일이다.

두 번째 오해는 “다중 이해관계자 참여”가 모든 사람에게 동일한 결정권을 주는 절차라는 생각이다. 실제 제도에서는 역할이 다르다. 기업은 기술적 자료와 이행 책임을 제공하고, 정부는 법적 기준과 감독권을 행사하며, 연구자는 독립 평가와 지식 검증을 담당하고, 시민사회와 피해 가능 집단은 권리 침해와 사회적 영향을 드러낸다. 모든 주체가 같은 기능을 수행하는 것이 아니라, 서로 다른 지식과 이해관계를 제도 안에 배치하는 것이 중요하다.

세 번째 오해는 AI 윤리를 외부화하면 기업 내부 윤리가 덜 중요해진다는 생각이다. 실제로는 반대다. 외부 규제가 강해질수록 기업 내부의 문서화, 테스트, 위험평가, 감사 대응, 데이터 관리, 배포 후 모니터링이 더 중요해진다. 다만 내부 윤리는 공적 책임 구조와 연결될 때 실효성을 갖는다. 내부 안전팀이 경영진의 의사결정에 실질적으로 제동을 걸 수 있는 권한을 갖고, 외부 감사와 감독기관에 필요한 정보를 제공하며, 내부고발자 보호와 연결될 때 윤리는 홍보 문구를 넘어 조직 운영 원리가 된다.

네 번째 한계는 현재의 규제와 표준이 아직 완성되어 있지 않다는 점이다. EU AI Act는 강력한 규제 실험이지만, 실제 집행 과정에서 해석과 부담의 문제가 생길 수 있다. 한국 AI 기본법도 시행 이후 구체적 의무, 고영향 AI 판단, 투명성·안전성 기준, 감독 방식이 어떻게 작동하는지가 중요하다. NIST AI RMF와 같은 프레임워크는 실무적으로 유용하지만 법적 강제력은 제한적이다. 다중 이해관계자 모델도 권력 격차를 자동으로 해결하지 않는다. 대기업은 전문 로비와 정책 참여 역량이 크지만, 피해 가능 집단은 참여 자원 자체가 부족할 수 있다.

다섯 번째 한계는 AI 위험의 일부가 아직 충분히 측정되지 않는다는 점이다. 편향, 환각, 개인정보 유출처럼 비교적 평가 가능한 위험도 있지만, 민주주의에 대한 장기 영향, 노동시장 재편, 지식 생태계 변화, 문화적 다양성 약화, 교육 방식 변화 같은 문제는 단기간에 수치화하기 어렵다. 이 때문에 AI 윤리 제도는 고정된 체크리스트가 아니라, 사고 보고, 사후 평가, 주기적 개정, 공개 연구, 사회적 숙의를 포함하는 적응적 거버넌스가 되어야 한다.

제도적 보완의 방향

AI 윤리를 실질적으로 제도화하려면 첫째, 위험 기반 규제가 필요하다. 모든 AI 시스템에 같은 의무를 부과하면 규제 부담은 커지고 실효성은 낮아진다. 권리와 안전에 중대한 영향을 미치는 고위험 영역에는 강한 의무를 부과하고, 낮은 위험의 응용에는 투명성과 사후 책임을 중심으로 한 가벼운 의무를 적용하는 방식이 합리적이다.

둘째, 독립적인 평가와 감사가 필요하다. 기업이 자체 평가를 수행하더라도, 고위험 시스템과 범용 대규모 모델은 일정 조건에서 외부 전문가, 인증기관, 감독기관, 공공 연구기관의 검증을 받아야 한다. 이때 감사는 단순히 문서가 있는지 확인하는 절차를 넘어, 평가 데이터, 테스트 방법, 실패 사례, 배포 후 사고 대응을 검토할 수 있어야 한다.

셋째, 투명성은 목적에 맞게 차등화되어야 한다. 모든 모델의 모든 정보를 공개하는 것은 영업비밀, 보안, 악용 가능성 때문에 적절하지 않을 수 있다. 그러나 이용자, 규제기관, 독립 감사자, 피해 당사자가 알아야 할 정보는 구분되어야 한다. 일반 이용자에게는 AI 사용 여부와 주요 한계를 알리고, 규제기관에는 위험평가와 사고 기록을 제공하며, 연구자와 감사자에게는 안전한 조건에서 검증 가능한 자료 접근을 허용하는 방식이 필요하다.

넷째, 피해 구제 절차가 있어야 한다. AI 윤리가 원칙 선언에 머무르지 않으려면, 개인이 자동화된 결정에 대해 설명을 요구하고, 이의를 제기하고, 인간 검토를 요청하고, 잘못된 결과의 수정을 요구할 수 있어야 한다. 특히 공공부문과 금융·채용·교육·의료 영역에서는 사후 구제 절차가 윤리의 핵심이다.

다섯째, 다중 이해관계자 참여를 형식이 아니라 권한 구조로 만들어야 한다. 시민사회가 단순히 자문 의견을 내는 수준에 머물면 참여는 장식이 된다. 고위험 AI의 사전 영향평가, 공공부문 AI 도입 심사, 표준 제정, 사고 조사, 취약 집단 영향평가에 외부 참여를 제도화해야 한다. 참여자에게 필요한 정보, 시간, 비용, 전문 지원을 제공하지 않으면 실질적 참여가 어렵다.

여섯째, 국제적 정합성이 필요하다. AI 기업과 모델은 국경을 넘어 작동한다. 한 국가의 규제만으로 데이터, 모델, 클라우드, 반도체, 서비스 배포를 모두 통제하기 어렵다. 따라서 국내 법제, 지역 규제, 국제 원칙, 기술 표준, 안전 연구 네트워크가 연결되어야 한다. AI 윤리는 국가별 가치와 제도의 차이를 인정하면서도, 인권·안전·책임성에 관한 최소 공통 기준을 형성해야 한다.

정리

AI 윤리를 기업 내부의 안전 담론에만 맡기는 것은 기술적 전문성을 활용한다는 장점이 있지만, 정보 비대칭, 이해상충, 피해의 외부화, 민주적 정당성 부족이라는 한계를 피하기 어렵다. 기업 내부 안전 체계는 필요하다. 그러나 그것은 사회적 감독 없이 완결될 수 없다.

외부 규제는 기업을 억압하기 위한 장치가 아니라, 위험을 예측 가능하게 만들고 책임을 배분하며 신뢰를 형성하는 제도적 기반이다. 다중 이해관계자 참여는 윤리를 추상 원칙에서 현실의 권리와 피해 문제로 끌어내리는 통로다. 정부, 기업, 연구자, 시민사회, 피해 가능 집단이 각자의 역할을 가지고 참여할 때 AI 윤리는 제품 안전을 넘어 공적 책임의 문제로 다루어질 수 있다.

결론적으로 AI 윤리의 핵심은 “기업 자율이냐, 정부 규제냐”라는 이분법에 있지 않다. 바람직한 방향은 기업 내부의 기술적 안전 역량을 유지하되, 그것을 법적 의무, 독립 검증, 공공 감독, 사회적 참여와 결합하는 것이다. AI가 사회 전반의 기반 기술이 되고 있다면, AI 윤리도 기업 내부의 관리 담론을 넘어 사회 제도의 언어로 재구성되어야 한다.

참고자료

  • European Commission, “AI Act enters into force,” European Commission, 2024년 8월 1일.
  • European Commission, “AI Act,” Shaping Europe’s Digital Future, 2025년 2월 2일 갱신 자료.
  • 국가법령정보센터, 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」, 법률 제21311호, 2026년 1월 20일 일부개정, 2026년 1월 22일 시행.
  • 과학기술정보통신부, “A New Chapter in the Age of AI: Basic Act on AI Passed at the National Assembly’s Plenary Session,” 2024년 12월 26일 발표 자료.
  • 대한민국 정책브리핑, 「1월 22일부터 ‘AI기본법’ 시행」, 2026년 1월 23일.
  • OECD, “AI Principles,” OECD.AI, 2019년 채택, 2024년 갱신.
  • UNESCO, 「Recommendation on the Ethics of Artificial Intelligence」, 2021년 채택, 2024년 갱신 안내 자료.
  • National Institute of Standards and Technology, 「Artificial Intelligence Risk Management Framework (AI RMF 1.0)」, NIST AI 100-1, 2023년.
  • AI Now Institute, 「2023 Landscape: Confronting Tech Power」, 2023년.
  • Ada Lovelace Institute, 「Going Public: Public Participation in AI and Data Governance」, 2023년.
  • Ada Lovelace Institute, AI Now Institute, Open Government Partnership, 「Algorithmic Accountability for the Public Sector」, 2021년.
  • UK Government, “Frontier AI Safety Commitments, AI Seoul Summit 2024,” 2025년 2월 7일 갱신 자료.
  • Ministry of Foreign Affairs, Republic of Korea, “Seoul Declaration for Safe, Innovative and Inclusive AI,” 2024년 5월 21일.
  • OpenAI, “Our updated Preparedness Framework,” 2025년 4월 15일.
  • Anthropic, “Anthropic’s Responsible Scaling Policy: Version 3.0,” 2026년 2월 24일.