AI, 정말 안전한 걸까? 인공지능 시대의 불안과 대책

AI 안전의 개념과 범위

AI의 두 얼굴, 혁신은 빠르지만 안전은 부족하다

소프트웨어 정책 연구소가 발표한 보고서에 따르면, 최근 인공지능(AI)의 급격한 발전은 다양한 산업 분야에서 혁신을 이끌고 있지만, 그에 따른 안전성 우려도 높아지고 있다. 챗GPT와 같은 생성형 AI는 정보 검색, 문서 생성, 콘텐츠 제작 등 다양한 영역에서 사용되며 연간 최대 4조 달러의 경제적 가치를 창출할 것으로 예상된다. 그러나 동시에 오작동, 부정확한 정보 제공, 악용 사례(예: 딥페이크) 등의 문제가 AI 안전의 필요성을 강조하고 있다.

국제 사회에서도 AI 안전을 주요 의제로 다루고 있다. 2023년에는 영국에서 첫 AI 안전성 정상회의가 열렸으며, 2024년에는 AI 서울 정상회의가 개최되었다. EU는 2024년 8월 AI법을 발효하며 AI의 법적 규제를 강화했다. 이 법은 AI 시스템의 설계 및 사용 단계에서 잠재적 위험과 사고를 예방하는 데 초점을 맞추고 있다. 특히, “심각한 사고”를 정의하며 기본권 침해를 방지하는 조치를 명문화했다. 그러나 AI 안전의 개념과 범위에 대한 합의는 여전히 모호한 상태이며, 이를 명확히 할 필요성이 대두되고 있다.

안전한 AI란 무엇일까? 신뢰와 윤리를 더하다

AI 안전은 기술적 안정성에서부터 윤리적, 사회적 책임까지 다양한 요소를 포함하는 복합적 개념이다. 협의의 AI 안전은 시스템의 견고성과 투명성을 보장하며, 광의의 AI 안전은 개발자 및 서비스 제공자의 사회적 책임까지 포괄한다.

AI 안전과 관련된 주요 용어로는 AI 신뢰성, 윤리, 책무성, 위험이 있다.

AI 신뢰성은 법적, 윤리적, 기술적 안정성을 모두 포함하는 포괄적 개념으로, ISO는 이를 “이해관계자의 기대를 검증 가능한 방식으로 충족하는 능력”으로 정의한다. 이는 안정성, 보안성, 투명성, 설명 가능성 등을 포함하며, 각 특성이 서로 연결되어 있다. 예를 들어, 설명 가능성은 AI 시스템이 의사결정 과정과 결과를 사람이 이해할 수 있는 방식으로 표현하는 속성을 의미한다.

AI 윤리는 인간의 기본권과 도덕적 가치를 고려해 AI를 개발하고 배포해야 한다는 규범적 기준으로 작동한다. 특히, EU의 윤리 가이드라인(2021)은 인간의 자율성 존중, 공정성, 설명 가능성을 포함한 윤리적 기준을 제시하며, 이를 실천하기 위한 구체적 방향을 강조했다.

한편, AI 책무성은 시스템 실패 시 발생할 수 있는 피해에 대해 개발사나 서비스 제공자가 책임을 지는 것을 의미한다. 이는 단순히 기술적 안전성의 보장뿐만 아니라, 피해 보상 및 투명한 정보 공개를 포함한다. AI 위험은 오작동, 데이터 유출, 딥페이크 등 기술적, 사회적 위해를 포괄하는 개념으로, 이를 예방하기 위한 구체적인 조치가 요구된다.

이와 같은 개념들은 독립적이지만 상호 연관되어 있으며, AI 안전의 범위를 정의하는 데 중요한 역할을 한다. 각각의 개념은 AI 안전의 필요성과 방향성을 이해하는 데 필수적이다.

AI 안전, 혼자서는 못한다: 국제적인 협력의 필요성

AI 안전을 보장하기 위해 ISO, EU, OECD, NIST(미국 국가표준기술원) 등 국제 기구는 다양한 표준과 규범을 마련하고 있다. ISO는 AI 안전을 “수용할 수 없는 위험으로부터의 자유”로 정의하며, 이를 실현하기 위한 기술적 및 제도적 조치를 강조한다. 예를 들어, ISO/IEC 22989는 AI 시스템의 편향성, 견고성, 설명 가능성을 보장해야 한다고 규정한다.

EU의 AI법은 기본권 침해 방지를 포함해 AI 안전과 윤리를 포괄적으로 다룬다. 이 법은 AI 시스템의 오작동으로 인해 발생할 수 있는 사고를 예방하고, 사용자와 이해관계자가 명확한 정보를 바탕으로 시스템을 신뢰할 수 있도록 설계되었다. 또한, 영국의 AI 안전성 정상회의는 글로벌 협력의 필요성을 강조하며, 기술적 안전성을 확보하기 위한 국제적인 표준화와 협력을 촉진했다.

안전한 AI를 만들려면? 기술과 정책이 함께해야

AI 안전을 보장하려면 기술적, 제도적, 사회적 노력이 통합적으로 이루어져야 한다. 기술적 과제로는 오작동을 방지하고 데이터 보안을 강화하며, 시스템의 투명성과 설명 가능성을 확보하는 노력이 요구된다. AI의 견고성은 스트레스가 많은 환경에서도 시스템이 안정적으로 작동할 수 있도록 보장하며, 이는 AI 기술의 핵심적인 안정성 요소 중 하나이다.

제도적으로는 국제 표준을 준수하고 제3자 인증 및 감리 제도를 마련해 안전성을 보증하는 것이 중요하다. 예를 들어, 인증 체계는 AI 시스템의 설계와 작동 방식이 윤리적이고 안전한지를 독립적으로 검증할 수 있는 역할을 한다.

사회적 차원에서는 사용자와 기업 모두가 책임감을 갖고 사고 발생 시 피해를 최소화할 수 있도록 보험 체계와 같은 경제적 대응책을 도입해야 한다. 이러한 체계는 AI 기술의 오작동이 사회 전체에 미칠 영향을 줄이는 데 기여한다.

특히, 악의적 사용(예: 딥페이크, 악성 코드)과 개인정보 유출 같은 문제를 방지하기 위해 법적·제도적 대응이 필요하다. 또한, AI 기술의 오작동으로 인해 발생할 수 있는 시스템적 위험을 줄이는 통합 관리 체계를 구축하는 것이 필수적이다.

책임감 있는 사용이 답

AI 안전은 신뢰할 수 있는 AI 실현의 핵심 조건이다. 단순히 기술적 관점에 그치지 않고, 개발자, 사용자, 정부 등 다양한 이해관계자가 협력하여 사회적 책임을 수행해야 한다. 이를 위해 각국 정부와 기업은 AI 생태계에서 허용할 수 있는 위험 수준과 사고 시 책임 소재를 명확히 하기 위한 사회적 논의를 추진해야 한다.

또한, 제3자 검증 및 감리 제도와 같은 제도적 수단, 보험 제도를 통한 경제적 피해 보장 체계를 결합해 안전 생태계를 구축해야 한다. 이러한 노력은 공공과 민간의 협력을 통해 이루어져야 하며, 이를 통해 인공지능의 혁신적 잠재력을 안전하고 효과적으로 활용할 수 있는 기반을 마련할 수 있을 것이다.

해당 리포트의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.