“AI가 통제를 벗어났다” 160년 역사 美 보험사가 긴급 도입한 ‘AI 거버넌스’

딜로이트(Deloitte)가 최근 발간한 ‘Clients Success Story: 미국 생명보험사, AI 거버넌스 구축으로 안전한 AI 활용 기반 마련’ 보고서에 따르면, 160년 역사의 미국 주요 생명보험사가 전사적 AI 애플리케이션 도입 후 큰 위기에 직면했다. 고객의 재정적 안정과 미래 자산 보호를 위해 다양한 보험과 재무 관리 솔루션을 제공하고, 각 사업부의 운영을 효율화하고자 도입한 AI 시스템이 오히려 문제를 야기한 것이다.

일관된 모니터링 체계, 선제적 위험 식별 메커니즘, 견고한 거버넌스 구조, 문서 보안 프로토콜 등의 부재로 인해 AI 시스템이 일으킬 수 있는 거의 모든 위험에 노출되었다. 이는 고객 경험의 질적 저하, 기업 브랜드 이미지 훼손, 현행 관련 규정과 규제 위반에 따른 법적 리스크 증가로 이어질 수 있는 심각한 상황이었다.

특히 AI 모델의 놀라운 처리 속도와 자체 성능 최적화 능력이 조직의 미흡한 시스템 관리 역량과 맞물려 문제를 더욱 악화시켰다. AI 애플리케이션 공급업체조차 자사 AI 모델에 대한 제한된 정보로 인해 잠재적 위험 식별에 어려움을 겪고 있었다.

이러한 위기를 극복하기 위해 이 보험사는 딜로이트(Deloitte)와 협력하여 전사적 AI 거버넌스 구축에 착수했다. 먼저 회사의 다양한 사업 부문에 걸쳐 운용 중인 60여 개의 AI 모델에 대한 심층 분석을 진행했다. 딜로이트의 AI 거버넌스 및 리스크 관리 전문가들은 회사의 데이터 관리 전담팀과 긴밀히 협력하여 각 모델에 대한 정교한 리스크 프로파일을 구축했다.

분석 과정에서는 딜로이트가 자체 개발한 ‘AI 리스크 차원(Deloitte’s AI Risks dimensions)’과 ‘신뢰할 만한 AI 프레임워크(Deloitte’s Trustworthy AI framework)’가 활용됐다. 이를 통해 AI 모델의 안전성과 신뢰성을 종합적으로 평가하고, 잠재적 위험을 도출했으며, AI 애플리케이션을 통해 확보할 수 있는 기술적 우위와 이를 실현할 수 있는 전략적 방향성까지 제시했다.

딜로이트와 보험사는 AI를 더욱 인간 친화적으로 만드는 데 주력했다. 첫째, AI가 독자적으로 결정을 내리지 않도록 사람이 항상 AI의 작동을 지켜보고 관리하는 체계를 구축했다. 둘째, AI가 어떻게 정보를 배우고 결정을 내리는지 누구나 이해할 수 있도록 그 과정을 투명하게 공개했다. 셋째, AI 모델이 예상치 못한 결과를 내놓을 경우를 대비해 문제를 빠르게 해결할 수 있는 안전장치를 마련하고 명확한 책임 소재를 정립했다.

또한 거버넌스 구축 계획에는 AI 애플리케이션의 지속적인 모니터링 체계와 AI 리스크에 대한 내부 임직원 교육 프로그램도 포함됐다. 이를 통해 회사의 업종과 특성에 맞춘 AI 거버넌스를 구축함으로써, AI 애플리케이션의 신뢰성과 안전성을 제고하는 한편, 인간 중심의 가치와 요구사항을 AI 애플리케이션 전반에 효과적으로 반영했다.

이러한 노력의 결과, 이 보험사는 AI에 대한 신뢰를 구축하고 책임감 있는 AI 사용을 촉진하여 비즈니스 성과를 향상시켰다. 200개 이상의 AI 모델을 식별하고 60개 이상의 모델에 대한 위험 평가를 완료했으며, 정기적인 모니터링 결과 분석과 개선 사항 도출을 통해 AI 모델의 지속적인 개선과 성능 최적화를 위한 시스템도 구축했다.

특히 AI 모델과 잠재적 리스크에 대한 분류체계와 표준화된 접근 방식을 수립하고, 업계 선도 기업들이 설정한 AI 거버넌스 역량 기준을 충족하거나 일부 영역에서는 이를 상회하는 성과를 달성했다. AI 시스템 결정의 책임 소재를 명확히 하는 정책을 수립하고, 기업 전반에 걸쳐 AI의 안전성, 투명성, 신뢰성을 강화했다.

결과적으로 이 보험사는 AI의 혜택을 최대화하면서도 잠재적 위험을 최소화할 수 있는 견고한 기반을 마련했으며, 향후 AI 혁신을 지속적으로 추진할 수 있는 역량을 갖추게 됐다.

기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기