AI 윤리 원칙과 AI 리스크 관리 프레임워크

AI 기술이 우리 생활과 업무에 점점 더 깊숙이 들어오면서, AI가 만들어내는 결과가 윤리적이고 공정하며 신뢰할 수 있는지에 대한 사회적 요구와 기업의 책임감 또한 그 어느 때보다 커지고 있습니다. 가령 AI 모델이 학습 데이터에 내재된 편견을 그대로 학습하거나 증폭시켜 차별적인 결과를 초래할 수 있다는 우려는 반드시 해결해야 할 중요한 과제입니다.

카카오는 AI 기술의 혜택을 모든 사람이 공평하게 누리고, AI가 인간 사회에 긍정적인 영향을 미칠 수 있도록 AI 윤리 원칙을 확립하고, AI 개발 및 활용 과정에서 발생할 수 있는 리스크를 관리하기 위한 프레임워크를 만들었습니다.

AI 윤리 원칙 수립과 확산

카카오는 책임감 있는 AI 개발 및 활용 문화를 조성하기 위해, ‘카카오 그룹의 책임 있는 AI를 위한 가이드라인’을 배포하고, 이를 바탕으로 내부적인 실천 체계를 구축하고 운영하고 있습니다.

카카오 그룹의 책임 있는 AI를 위한 가이드라인

카카오는 사회와 함께 더 나은 세상을 만들기 위한 약속으로, 다음과 같은 10가지 AI 윤리 원칙을 제시하고 있습니다.

• 사회 윤리: AI와 관련된 모든 노력을 우리 사회 윤리 안에서 다하며, 이를 통해 인류의 편익과 행복을 추구합니다.
• 포용성: 소외 없는 AI 기술 제공을 디지털 기업의 중요한 책임으로 인식하고, 연령과 장애 여부 등과 상관없이 모든 이용자가 공동체 AI 기술을 동등하게 이용할 수 있는 환경을 추구합니다. 공동체는 AI 기술과 서비스가 우리 사회 전반을 포용할 수 있도록 노력합니다.
• 인권: AI 기술 개발과 활용 전 과정에서 인권 존중의 책임 이행을 목표로 합니다. AI 기술로 인해 이해관계자의 권리가 보장받지 못하는 상황에 대해 예방 및 대응 조치를 마련할 수 있도록 노력합니다.
• 비차별과 비편향: AI가 성별, 인종, 출신, 종교 등의 이유에서 차별을 초래하거나 이에 근거한 편향된 의사결정을 하지 않도록 경계합니다.
• 투명성: 서비스 내 AI 기술의 활용 목적, 활용 내용 및 위험 요소에 대해서 이용자에게 지속적으로 알립니다. 이를 위해 관련 내용을 기업 경쟁력을 훼손하지 않는 범위 내에서 성실하게 설명합니다.
• 보안과 안전, 독립성: AI 시스템과 데이터를 외부 공격 및 악의적인 사용과 같은 위험에서 방어할 수 있도록 법적 요구사항을 준수하는 보안체계를 구축합니다. AI 시스템의 비정상적 작동과 예기치 못한 상황에 대한 안전조치와 대응 체계를 마련해 안정적인 서비스가 제공되도록 노력합니다. AI가 외부적 혹은 내부적 요인으로 훼손되거나 영향 받는 일이 없도록 엄정하게 관리합니다.
• 프라이버시: AI 기술 개발과 활용 전 과정에서 이용자의 프라이버시를 보호합니다. 개인정보 오용을 최소화하기 위해 관련 법규에 따라 개인정보 보호 절차를 마련하고, 예방 및 대응 조치를 취합니다.
• 이용자 보호: AI 기술에 각종 법과 규범이 요구하는 이용자 보호 정책을 효율적으로 반영합니다. 이용자의 권익이 침해되지 않도록 안전한 예방 절차를 수립하기 위해 노력하고 이후에도 관련 절차가 제대로 작동하는지 지속적으로 확인합니다.
• 역기능의 경계: AI 기술의 불완전성을 인정하고, 설계 의도와 다른 사회적 결과가 발생할 수 있을 가능성에 대비합니다. 필요 시 관련 전문가와 협력을 통해 해결책을 모색합니다.
• 이용자의 주체성: 인간과 AI간 상호작용 과정에서 인간이 AI에 과도하게 의존하여 주체의 자율성을 약화시키거나 신체적·정신적·사회적 안전을 위협하는 사용이 일어나지 않도록 노력합니다.

그룹 기술윤리 소위원회 운영

카카오 그룹의 AI 개발 및 활용 과정에서 발생할 수 있는 잠재적 위험을 선제적으로 점검하고, 대응, 관리하는 컨트롤타워 기구를 운영합니다.

안전한 AI를 위한 핵심 체크리스트 취합

AI 기술과 서비스 개발 단계를 (1) 계획 및 설계, (2) 데이터 수집 및 처리, (3) AI 모델 개발/기획 및 구현, (4) 운영 및 모니터링, 이렇게 4단계로 구분 후, AI 윤리 원칙에서 다루고 있는 편향성, 투명성 등 총 7가지 항목에 대해 개발 과정에서 충분히 고려하였는지를 확인합니다.

사내 생성형 AI 개발 및 활용 지침 제공

사내에서 생성형 AI를 사용하는 구성원들의 불확실성을 낮추기 위한 최소한의 지침으로서, 생성형 AI 서비스 이용에 따른 리스크와, 서비스 이용 시 유의해야할 사항을 안내합니다.

전 직원 대상 AI 윤리 교육 강화

모든 구성원이 AI 기술의 사회적 및 제도적 영향력을 올바르게 이해하고, 실제 업무에서 윤리적인 문제에 직면했을 때 올바른 판단을 내릴 수 있도록 정기적인 교육과 워크숍을 실시합니다.

실제 사례 기반 학습 및 개선

카카오는 실제 서비스 개발 및 운영 과정에서 발생한 윤리적 이슈들을 중요한 학습 자산으로 삼고 있습니다.

카카오 AI 세이프티 이니셔티브(Safety Initiative)

카카오 AI Safety Initiative(이하 카카오 ASI)는 AI 기술의 개발과 배포 과정에서 발생할 수 있는 위험을 최소화하고, 윤리적이며 안전한 AI 시스템을 구축하기 위한 종합적인 지침으로, 설계부터 개발, 테스트, 배포, 모니터링 및 업데이트까지 AI 시스템의 전체 생명주기에 걸쳐 적용됩니다.

카카오 ASI는 AI 윤리 원칙, 리스크 관리 사이클, AI 리스크 거버넌스의 총 3가지 핵심 요소로 구성되어 있으며, 이 중 앞에서 설명한 AI 윤리 원칙을 제외한 나머지 2가지 핵심 요소는 다음과 같습니다.

리스크 관리 사이클

AI 시스템의 잠재적 리스크를 관리하는 프로세스로, 리스크 식별 - 평가 - 대응의 단계로 구성됩니다. 여기서 리스크는 발생 주체가 AI인지 또는 인간인지에 따라 기술적 리스크와 윤리적 리스크로 구분합니다. 리스크별 특성을 정의하고, 각 특성에 맞는 정확한 평가를 적용함으로써, 리스크의 우선순위를 명확하게 설정하고 이에 따라 신속하고 효율적으로 대응 전략을 마련할 수 있습니다.

AI 리스크 거버넌스

카카오 ASI 거버넌스는 AI 시스템의 안전하고 책임 있는 개발 및 사용을 보장하기 위한 의사결정 체계입니다. AI 안전 전담 조직인 AI 세이프티(Safety), 전사 리스크 관리 전담 조직, 그리고 경영진 3단계 구조로 조직되어, AI 리스크를 다각도로 검토하고, 평가 결과와 대응방안의 적절성을 검증하는 절차를 진행합니다.

편향성 탐지, 공정성 검증 및 투명성 확보, AI 가드레일

단순히 정책적인 체계를 구축하였다고 해서 복잡한 AI 시스템의 안전과 신뢰성을 완전히 확보하기 어렵습니다. 결국 AI를 만들고 사용하는 것은 사람이기 때문에, 가치 중립적인 기술을 개발하고 적용함으로써 AI 윤리 실천에 대한 공정성과 객관성을 확보할 수 있습니다.

여기서는 카카오의 AI 윤리 원칙이 측정 가능 혹은 조작 가능하도록 시도한 기술적 노력을 설명하고자 합니다.

AI 편향성(Bias) 탐지 및 완화 노력

• 편향성의 다양한 근원 인식: AI 편향성은 단순히 학습 데이터의 문제뿐만 아니라, 모델을 설계하는 알고리즘 자체의 한계, 그리고 AI 시스템을 개발하고 운영하는 사람들의 무의식적인 편견 등 다양한 원인에서 비롯될 수 있음을 인식하고 있습니다.
• 데이터 단계에서의 편향성 검토 및 완화: AI 모델 학습에 사용되는 데이터셋에 특정 성별, 연령, 인종, 지역 등에 대한 편향이 존재하지 않는지 면밀히 검토하고, 필요한 경우 데이터 수집 방식을 개선하거나 데이터 증강, 가중치 조절 등의 기법을 활용하여 데이터 불균형을 완화하려 노력합니다.
• 모델 단계에서의 편향성 탐지 및 교정: 개발된 AI 모델이 특정 그룹에게 불리하거나 불공정한 예측을 하지는 않는지, 혹은 사회적으로 민감한 고정관념을 강화하는 결과물을 생성하지는 않는지 등을 검증하기 위한 다양한 기술적 도구와 방법론(예: 공정성 지표(Fairness Metrics)¹, 반사실적 설명(Counterfactual Explanations)² 등)을 연구하고 적용하고 있습니다. 편향성이 발견될 경우, 알고리즘 수정이나 후처리 기법을 통해 이를 교정하려 노력합니다.

공정성 검증 및 투명성 확보 노력

• 애플리케이션별 공정성 정의 및 검증: ‘공정성’이라는 개념은 AI가 적용되는 분야나 맥락에 따라 다르게 정의될 수 있습니다. 따라서 카카오는 각 AI 애플리케이션의 특성을 고려하여 공정성의 구체적인 기준을 설정하고, 모델이 이 기준을 충족하는지 지속적으로 검증하는 프로세스를 마련하고 있습니다.
• 설명 가능한 AI (XAI, Explainable AI) 기술 도입: AI가 특정 결정을 내리거나 예측을 한 근거를 인간이 이해할 수 있는 형태로 설명해주는 XAI 기술을 적극적으로 연구하고 도입하여, AI 시스템의 투명성을 높이고 사용자의 신뢰를 얻고자 합니다. 특히 금융, 의료, 채용 등 민감한 분야에 AI를 적용할 경우 이러한 설명 가능성은 매우 중요합니다.

유해하거나 부적절한 콘텐츠 대응을 위한 AI 가드레일 시스템 구축

최근 LLM의 발전과 함께, AI가 유해하거나 부적절한 콘텐츠를 생성할 가능성에 대한 우려가 커지고 있으며, 이에 따라 AI의 위험한 출력을 방지하기 위한 기술적·제도적 대응이 점점 더 중요해지고 있습니다.

카카오는 이러한 문제를 해결하고 AI 서비스의 안전성을 높이기 위해, 자체 AI 가드레일 모델 및 시스템을 개발했습니다. 카카오의 AI 가드레일 모델에 대해서는 AI의 자기 보호 시스템: AI 가드레일에서 자세하게 다루고 있습니다.

AI 윤리와 신뢰성 확보는 단번에 끝나는 과제가 아니라, 기술 발전과 사회적 요구 변화에 맞춰 끊임없이 고민하고 개선해나가야 하는 지속적인 여정입니다.

---

각주

1. 공정성 지표(Fairness Metrics)는 머신러닝 모델이 특정 그룹(성별, 인종 등)에 대해 차별적이거나 편향된 결정을 내리는지 여부를 수치적으로 평가하는 기준입니다.
2. 반사실적 설명(Counterfactual Explanations)은 "만약 입력값이 이렇게 바뀌었다면, 모델의 예측 결과가 어떻게 달라졌을까?"를 알려주는 설명 방식입니다. 특정 결과가 나온 이유를 이해하기 위해 해당 결과가 나오지 않았을 가상의 상황을 제시합니다.

---

• [목차] AI Native: 실행과 확산 사례집