미국 GAO, 생성형 AI 기업들의 안전성과 책임성 확보 현황 심층 분석

미국 정부회계감사원(GAO)이 생성형 AI의 책임 있는 개발과 안전한 활용을 위한 포괄적인 분석 보고서를 발표했다. 이 보고서는 2024년 6월부터 10월까지 아마존, 앤트로픽, 구글, 메타, 마이크로소프트, 엔비디아, 오픈AI, 스태빌리티AI 등 주요 AI 기업들을 조사한 결과를 담고 있다. GAO는 생성형 AI 기업들의 개발 관행, 당면한 한계점, 학습 데이터의 수집·활용 과정을 심층적으로 분석하며 현재의 문제점과 개선 방향을 제시했다.

생성형 AI 기업들은 안전하고 신뢰할 수 있는 AI 개발을 위해 다양한 안전장치를 마련하고 있다. 가장 기본적인 방안으로 벤치마크 테스트를 실시하여 모델의 추론능력, 사실성, 수학·과학 분야 등에서 정확도를 정량적으로 평가하고 있다. 이러한 테스트에는 MMLU(Massive Multitask Language Understanding), MATH, GSM8K, GPQA, HumanEval 등 다양한 평가 지표가 활용된다.

기업들은 또한 다학제적 팀 운영을 통해 모델의 안전성을 확보하고 있다. 모델 개발자, 주제 전문가, AI 윤리 전문가, 법률 전문가 등으로 구성된 팀이 모델을 평가하며, 특히 안전성, 성적 또는 그래픽 콘텐츠, 기타 유해 콘텐츠와 관련된 측면을 중점적으로 검토한다. 이러한 평가 결과에 따라 배포를 연기하거나 시정 조치를 취하기도 한다.

그러나 전문가들은 이러한 다학제적 팀 평가가 기업의 모든 모델 개발 과정에서 일관되게 이루어지지 않을 수 있다고 지적한다. 또한 벤치마크 테스트와 관련해서도 평가 기준의 표준화가 부족하여 결과 해석이 어렵다는 한계가 있다.

GAO는 생성형 AI 모델이 직면한 주요 보안 위험으로 프롬프트 인젝션, 제일브레이크, 데이터 포이즈닝 세 가지를 집중적으로 분석했다.

프롬프트 인젝션은 사용자가 텍스트 입력을 통해 모델의 행동을 의도적으로 변경하는 공격이다. 예를 들어, 폭탄 제조법과 같은 위험한 정보를 직접적으로 요청하면 모델이 거부하지만, 이야기 형식으로 우회하여 질문하면 안전장치를 우회할 수 있다. 이러한 공격은 민감 정보 탈취, 허위정보 유포, 멀웨어 전파 등에 악용될 수 있다.

제일브레이크는 더욱 고도화된 형태의 프롬프트 인젝션으로, “Do Anything Now”와 같은 특정 프롬프트를 사용하여 모델의 모든 안전장치를 무력화하는 공격이다. 이를 통해 악의적인 지시를 실행하거나 개발사의 정책을 위반하는 결정을 내리도록 할 수 있다.

데이터 포이즈닝은 학습 데이터를 조작하여 모델의 동작을 변경하는 공격이다. 특히 공개된 데이터를 수집하여 학습하는 기초 모델(foundation model)의 경우 이러한 공격에 매우 취약하다. 공격자는 학습 데이터의 일부를 조작하거나 새로운 데이터를 주입하는 방식으로 모델의 행동을 왜곡할 수 있다.

GAO는 생성형 AI 기업들의 학습 데이터 수집과 활용 과정에서 투명성이 크게 부족하다고 지적했다. 기업들은 공개적으로 이용 가능한 정보, 제3자로부터 라이선스를 받은 데이터, 사용자 제공 데이터 등 다양한 출처에서 데이터를 수집하고 있지만, 그 구체적인 내용과 처리 과정은 공개하지 않고 있다.

특히 저작권이 있는 콘텐츠의 학습 데이터 포함 여부가 불분명한 상태다. 일부 기업들은 저작권이 있는 정보를 AI 학습에 사용하는 것이 공정 사용(fair use)에 해당한다고 주장하지만, 이에 대한 법적 판단은 아직 명확하지 않다. 심지어 일부에서는 저작권 보호를 위해 의도적으로 학습 데이터를 오염시키는 도구까지 개발되고 있다.

데이터 큐레이션 프로세스의 효과성을 평가하기도 어려운 상황이다. 기업들은 내부 신뢰성, 프라이버시, 안전 정책에 따라 데이터를 선별한다고 하지만, 이러한 과정의 구체적인 내용을 공개하지 않아 그 효과를 검증할 수 없다. 전문가들은 시간이 지날수록 생성형 AI 모델의 학습 데이터 투명성이 오히려 악화되고 있으며, 모델 카드의 데이터 공개 수준도 연구자들이 제안한 기준에 미치지 못한다고 평가한다.

이번 GAO 보고서는 생성형 AI의 책임 있는 개발을 위해 여러 과제들이 해결되어야 함을 강조했다. 학습 데이터의 투명성 강화, 저작권 보호와 AI 학습 간의 균형 확보, 더욱 강력한 개인정보 보호 장치 마련이 시급하다고 제언했다. 또한 지속적으로 진화하는 보안 위험에 대응하기 위해 모니터링과 대응체계를 지속적으로 개선해야 한다고 강조했다.

GAO의 보고서는 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기