국내 전문가 61명이 경고하는 챗GPT 시대의 AI 위험 순위 Top 6

AI 안전의 부상과 정책 대응 방안 연구

AI 안전의 재정의: 기술적 안전을 넘어 사회경제적 위협까지 포괄

AI 안전(AI Safety)은 인간의 생명, 건강, 재산, 환경을 위험에 빠뜨리지 않는 상태로 AI 시스템을 유지하는 것을 의미한다. 소프트웨어정책연구소가 발표한 보고서에 따르면, 최근 ChatGPT를 비롯한 생성형 AI의 급속한 확산으로 AI의 위험성과 안전에 대한 관심이 전 세계적으로 높아지고 있다. 이는 단순한 기술적 안전을 넘어 사회적, 윤리적, 경제적 측면을 포괄하는 개념으로 확장되고 있다.

글로벌 정책 동향을 살펴보면, 유럽연합은 2024년 8월 세계 최초의 AI 규제법인 ‘EU AI ACT’를 발효했으며, 미국은 2023년 10월 백악관 행정명령을 통해 AI 안전성과 신뢰성 확보를 위한 제도적 대응을 시작했다. 영국은 2023년 11월 ‘AI 안전성 정상회의’를 개최하며 국제적 협력을 이끌고 있으며, 한국도 2024년 5월 영국과 공동으로 ‘AI 서울 정상회의’를 개최하고 11월에 AI 안전연구소를 설립하는 등 글로벌 동향에 적극 동참하고 있다.

특히 주목할 만한 점은 영국, 미국, 일본, 캐나다 등 주요국들이 AI 안전연구소를 설립하여 AI 시스템의 안전성 평가, 안전 연구 및 기술 개발, 국제 협력 등을 추진하고 있다는 것이다. 이들 연구소는 AI 기술의 안전한 개발과 활용을 위한 정책 자문과 기술 지원의 핵심 기관으로 자리매김하고 있다.

전문가들의 경고: “AI 기술 격차(6.16/7점)와 가짜정보 확산(6.13/7점)이 최대 위협”

소프트웨어정책연구소가 산업계, 학계, 연구계 전문가 61명을 대상으로 수행한 조사에 따르면, ‘AI 기술경쟁력에 따른 기업·국가 간 지배력 격차’가 AI 안전 확보를 위해 대응이 가장 시급한 위험으로 나타났다. 뒤이어 ‘가짜·허위·유해정보 생성 및 확산’, ‘AI에 대한 통제력 상실’ 순으로 위험의 우선순위가 평가되었다. 특히 ‘AI 기술경쟁력에 따른 기업·국가 간 지배력 격차’는 전체 위험 중 가장 높은 발생 가능성(6.16점/7점 만점)과 심각성(5.80점)을 기록했다. 이는 첨단 AI 개발에 필요한 막대한 컴퓨팅 자원과 자본이 미국, 중국 등 특정 국가와 글로벌 빅테크 기업에 집중되면서 발생하는 기술 불균형이 심화될 것이라는 우려를 반영한다.

‘가짜·허위·유해정보 생성 및 확산’ 위험 역시 높은 발생 가능성(6.13점)과 심각성(6.10점)으로 평가되었다. 생성형 AI 기술이 정교화되면서 피싱 이메일, 딥페이크 영상, 허위정보 등이 쉽게 생성되고 대규모로 확산될 수 있다는 점이 주요 위험으로 인식되고 있다. 이러한 결과는 AI 안전 위험이 단순한 기술적 측면을 넘어 사회문화적, 경제적 영역까지 광범위하게 영향을 미치고 있음을 보여준다. 전문가들은 AI 위험을 크게 사회문화적 위험(36.8%), 기술적 위험(36.2%), 경제 및 환경적 위험(27.0%) 순으로 중요하게 평가했다.

현실이 된 AI 위험: 바이든 대통령 사칭 전화부터 자율주행차 사고까지

AI 위험은 크게 네 가지 유형으로 분류할 수 있다. 첫째, 악의적 사용 위험은 AI를 이용한 가짜 콘텐츠 생성, 피싱 공격, 사이버 범죄 등을 포함한다. 실제로 WormGPT를 이용한 피싱 이메일 생성, 바이든 대통령을 사칭한 투표 억제 전화 메시지 등의 사례가 발생했다. 둘째, 오작동 위험은 AI의 편향성, 기능 오류, 통제력 상실 등과 관련된다. 자율주행차의 예기치 않은 사고, AI 모델의 성별 및 인종 편향 등이 이에 해당한다. 셋째, 시스템적 위험은 AI의 광범위한 도입으로 인한 노동시장 변화, 소득 불평등, 국가 간 기술 격차 심화 등을 의미한다. 실제로 AI 도입에 따른 콜센터 상담사 대체, 저소득 국가 근로자들의 단순 AI 작업 수행 등의 현상이 나타나고 있다. 넷째, 교차 위험은 여러 위험 요인이 복합적으로 작용하는 경우로, AI 시스템의 블랙박스 문제, 책임 소재 결정의 어려움, 사용 추적 불가 등이 포함된다.

이대로 괜찮을까: AI 안전연구소 설립과 AI 기본법으로 시작된 대응책

연구 결과를 바탕으로 한국의 AI 안전 정책 방향에 대한 몇 가지 시사점을 도출할 수 있다. 첫째, AI 안전연구 역량 강화와 글로벌 협력 강화가 필요하다. 한국의 AI 안전연구소를 중심으로 산학연 네트워크를 구축하고 국제 표준화 활동에 적극 참여해야 한다. 둘째, 법적·제도적 기반 마련이 중요하다. 2024년 12월 통과된 AI 기본법을 토대로 AI 시스템의 투명성과 윤리성을 강화하는 구체적인 규제와 지침을 수립해야 한다. 셋째, AI 안전 생태계 조성을 위한 인재 양성과 기술 개발이 필요하다. 산업계와 학계, 연구계가 협력하여 AI 안전 연구를 강화하고, 사회적으로 AI를 올바르게 활용하기 위한 문화와 리터러시를 확보해야 한다. 한국의 네이버, 카카오 등 주요 기업들은 AI 윤리 규범과 안전성 평가 체계를 구축하고 있으나, 중소기업과 스타트업들은 체계적인 대응에 어려움을 겪고 있다. 이에 정부의 지원과 함께 산·학·연의 긴밀한 협력을 통해 지속 가능한 AI 안전 생태계를 구축해야 할 시점이다.

FAQ

Q1: AI 안전이란 무엇이며 왜 중요한가요?

A1: AI 안전은 인공지능 시스템이 인간의 생명, 건강, 재산, 환경을 위험에 빠뜨리지 않는 상태로 유지하는 것을 의미합니다. 최근 생성형 AI의 급속한 확산으로 가짜정보 생성, 사이버 공격, 프라이버시 침해 등 다양한 위험이 증가하고 있어, AI 기술의 혜택을 누리면서도 잠재적 위험을 최소화하기 위해 안전성 확보가 매우 중요합니다.

Q2: 가장 시급히 대응해야 할 AI 위험은 무엇인가요?

A2: 전문가들의 평가에 따르면, ‘AI 기술경쟁력에 따른 기업·국가 간 지배력 격차’와 ‘가짜·허위·유해정보 생성 및 확산’이 가장 시급히 대응해야 할 위험으로 나타났습니다. 특히 첨단 AI 개발에 필요한 자원과 기술이 일부 국가와 기업에 집중되면서 발생하는 불균형과, 생성형 AI를 통한 허위정보 확산이 사회적 신뢰를 훼손할 우려가 큽니다.

Q3: 일반 시민들이 AI 안전에 대해 어떻게 대비할 수 있나요?

A3: 일반 시민들은 AI 리터러시(이해력)를 키우고, 온라인에서 접하는 정보를 비판적으로 검증하는 습관을 기르는 것이 중요합니다. 또한 AI 서비스 이용 시 개인정보 제공에 주의하고, 검증되지 않은 AI 기반 정보나 콘텐츠에 대해 의심하는 태도를 가져야 합니다. 정부와 기업이 제공하는 AI 안전 관련 교육과 정보에 관심을 갖고 참여하는 것도 좋은 방법입니다.

해당 기사에서 인용한 리포트 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.