AI 사고 13배 급증, 기업들은 어떻게 대응하고 있나? 오픈AI·구글부터 국내 기업까지

AI 신뢰성 및 윤리 제도 연구

AI 사고 1년간 13배 급증, 공익적·경제적 피해 대부분…기업들 신뢰성 확보 총력전

소프트웨어정책연구소가 발표한 보고서에 따르면, 생성형 AI의 급속한 확산에 따라 AI 사고도 급증하고 있다. OECD AI 사고 모니터에 따르면 2023년부터 2024년까지 발생한 AI 사고는 전체의 85%를 차지하며, 2022년 373건에서 2023년 5,143건으로 약 13배 증가했다. 이 사고들은 물리적 피해보다 공익적, 경제적, 인권 침해 등 사회·경제적 피해가 더 많은 특징을 보인다.

이러한 상황에서 글로벌 기업들은 AI 위험에 대응하기 위한 체계를 마련하고 있다. 오픈AI는 ‘대비 프레임워크’를 통해 AI 모델의 위험을 평가하고 완화하는 시스템을 구축했으며, 구글은 ‘프론티어 안전 프레임워크’를 도입해 치명적 역량 수준을 식별하고 평가하는 방안을 마련했다. 앤트로픽은 ‘AI 안전 수준(ASL)’을 5단계로 구분하여 위험 관리 체계를 운영하고 있다.

국내에서도 네이버는 ‘AI 안전 프레임워크’를 통해 AI 위험을 관리하고, LG AI 연구원은 AI 윤리 위원회와 위험관리 프로세스를 구축했다. 카카오, KT, SKT 등도 AI 안전 이니셔티브와 윤리 원칙을 마련하며 신뢰할 수 있는 AI 개발에 노력하고 있다.

“AI 모델은 블랙박스…설명하기 어렵다” 국내 중소기업들의 개인정보 유출과 할루시네이션 우려

국내 26개 중소기업과 스타트업을 대상으로 한 심층 인터뷰 조사 결과, 기업들은 개인정보 유출과 AI 할루시네이션(환각)을 가장 큰 위험 요소로 인식하고 있었다. 또한 데이터 편향, 설명 가능성 부족, 노동 시장의 변화 등이 주요 우려사항으로 나타났다.

흥미롭게도 중소기업들은 개인정보 보호와 데이터 편향 제거에 대해서는 적극적인 노력을 기울이고 있으나, AI 거버넌스 체계 구축이나 투명성 확보에는 인력과 자원 부족으로 어려움을 겪고 있었다. 특히 오픈소스 모델을 사용하는 기업들은 AI 사고 발생 시 책임 소재가 불분명한 문제도 제기했다. “AI 모델은 블랙박스이므로 모델에 의해서 동작하는 건 이해는 하지만 거기에 대해서 상세 절차를 잘 설명 및 이해시킬 수 없다는 점”을 우려하는 목소리와 “실제로 특정 데이터를 AI 모델의 학습에 사용했냐 안 했냐 이런 거를 파악하기가 굉장히 어려운 상황”이라는 의견이 제시되었다.

EU AI법부터 한국 AI 기본법까지…전 세계 AI 규제 현황과 기업 대응 가이드

EU는 2024년 AI법(AI Act)을 통과시키며 AI 시스템의 위험 수준을 분류하고 차등 규제하는 체계를 마련했다. 미국도 AI 안전과 신뢰를 위한 행정명령을 발표했으며, 한국은 AI 기본법을 통과시키며 고영향 AI에 대한 사전고지와 위험관리 의무를 부과했다. 국제기구들도 AI 윤리와 거버넌스에 적극 참여하고 있다. 유네스코는 AI 윤리 권고를 채택했으며, OECD는 AI 원칙을 마련해 47개 정부가 이를 채택했다. UN도 2024년 AI 결의안을 채택하며 인권을 존중하고 신뢰할 수 있는 AI 발전을 촉구했다.

이러한 흐름 속에서 기업들에게는 AI 정책과 안전 체계를 내부 사규에 명문화하고, 위험 요소 정의와 관리 체계 구축이 필요하다. 정부는 신뢰성 인증 바우처 제공이나 공공조달 인센티브 도입을 통해 기업의 AI 신뢰성 확보를 지원할 필요가 있다.

글로벌 기업 중 29%만 AI 공정성 고려… 다양한 데이터와 개발자 확보 시급

신뢰할 수 있는 AI 시스템 개발에서 공정성 향상이 점점 중요해지고 있다. 액센츄어와 스탠포드 대학의 조사에 따르면, 글로벌 기업들 중 공정성 관련 위험을 고려하는 비율은 29%로, 다른 요소들에 비해 가장 낮았다. AI 시스템의 편향을 최소화하기 위해서는 학습 데이터의 다양성을 확보하고, 다양한 배경의 개발자 참여를 촉진하며, 투명하고 책임감 있는 모델 개발 관행을 정립해야 한다. 또한 인간 중심 AI는 기술이 인간과 사회에 이익이 되도록 설계되어야 함을 강조하고 있다.

“시니어 2명이 주니어 10명 일 대체” 중소기업의 AI 신뢰성 체계 구축 가이드

중소기업들이 예산과 인력 부족에도 AI 신뢰성을 확보할 수 있도록 몇 가지 방안이 제시되었다. 첫째, 기업 내부 사규에 AI 정책 관련 사항을 명문화하고 내부 승인을 받는 과정이 필요하다. 둘째, 데이터, AI 모델, 시스템 등 각 부분별 위험 요소를 정의하고 관리 체계를 마련해야 한다. 셋째, 학습 데이터와 서비스 데이터를 구분 관리하며 지속적인 테스트를 수행해야 한다. 영국의 AI 보증 플랫폼 사례처럼, 중소기업들을 위한 AI 윤리 평가도구와 가이드라인을 마련하고, 이를 정부 조달 정책과 연계하여 신뢰성 있는 AI 개발을 장려하는 방안도 고려할 수 있다.

FAQ

Q1: AI 기술 도입 시 가장 주의해야 할 위험은 무엇인가요?

A1: 기업들이 가장 많이 우려하는 위험은 개인정보 유출과 AI 할루시네이션(환각) 현상입니다. 이 외에도 데이터 편향으로 인한 불공정한 결과, AI 모델의 불투명성으로 인한 설명 가능성 부족, 그리고 노동 시장 변화로 인한 일자리 대체 등이 주요 위험으로 인식되고 있습니다. 특히 중소기업에서는 학습 데이터의 품질 문제와 보안 인프라 구축 비용이 큰 부담으로 작용하고 있습니다.

Q2: 중소기업이 AI 신뢰성을 확보하기 위해 할 수 있는 현실적인 방안은 무엇인가요?

A2: 중소기업은 AI 정책과 안전 가이드라인을 내부 사규에 명문화하고, 각 부서별 AI 모델과 데이터, 시스템 등에서 발생할 수 있는 위험을 정의하여 관리하는 것이 중요합니다. 또한 학습 데이터와 서비스 데이터를 구분하여 관리하고, 모델 카드와 같은 투명성 제고 도구를 활용하여 AI 모델의 안전성과 신뢰성을 점검할 수 있습니다. 외부적으로는 정부의 신뢰성 인증 바우처나 공공조달 인센티브를 활용하는 것도 도움이 될 수 있습니다.

Q3: AI 기술 발전에 따른 일자리 대체 우려에 대해 기업들은 어떻게 인식하고 있나요?

A3: 심층 인터뷰 결과에 따르면, 많은 기업들이 AI로 인한 인력 대체 효과를 우려하고 있습니다. 특히 초급 인력의 경우 70~80%가 AI로 대체될 수 있다는 의견이 다수였습니다. “시니어 한두 명과 주니어 10명이 할 일을 AI가 수행할 수 있게 되며, 그렇게 따지면 시니어 2명만 있으면 10명이 일을 할 수 있게 되는 것”이라는 의견도 있었습니다. 다만 이런 변화를 자연스러운 현상으로 받아들이는 시각도 존재했습니다.

해당 기사에서 인용한 리포트 원문은 링크에서 확인할 수 있다.

이미지 출처: SPRi

기사는 클로드와 챗GPT를 활용해 작성되었습니다.