2025년 6월, 우리는 AI를 믿어도 될까?

인공지능(AI) 기술이 일상이 돼버렸다. 이제는 모두가 AI를 사용한다. 그러나 AI가 일상에 깊숙이 스며드는 만큼 관련 보안 사고는 점차 늘어나고 있다. 특히 메타 AI의 사례는 우리가 AI 도입 이전 무엇부터 살펴봐야 하는지에 대해 생각해 보게 하는 계기가 되었다. 메타는 말 그대로 사용자의 삶을 광장에 내던졌다.

사생활이 전 세계에 공개되는 AI의 함정

메타가 자사 앱과 별도로 선보인 메타 AI 앱은 AI를 잘못 사용했을 경우 우리 삶에 얼마나 직접적인 위협을 줄 수 있는지를 보여주는 사례였다.

메타 AI 사용자들은 자신이 AI와 나누는 대화가 사적인 것이라고 생각했지만, 실제로는 전 세계에 공개되고 있었다. AI에게 질문할 때 공유버튼을 누르면 게시물 미리 보기 화면이 뜨고, 메타의 다른 앱들처럼 이 대화는 게시된다. 그러나 다른 AI 앱에서 공유 사례가 존재하지 않았으므로 사용자들은 이 대화가 공개되는지를 모르는 경우가 많았다.

사용자들은 공개된 장소에서 탈세 방법, 가족의 법적 문제, 개인 주소와 민감한 법정 세부사항까지 노출시키고 있다. 테크크런치는 이것을 두고 ‘21세기 공포영화’와 같다고 논평했다.

이는 단순한 기술적 오류가 아니라 AI 서비스 설계의 근본적 문제를 드러낸다. 메타는 사용자들에게 자신의 프라이버시 설정이 무엇인지, 심지어 어디에 게시하고 있는지조차 알려주지 않았다. 사용자 인터페이스의 불분명함이 개인정보 재앙으로 이어진 것이다.

AI는 인간 안전보다 자기보존을 우선시할 수도 있다

전 오픈AI 연구원 스티븐 애들러의 연구는 AI의 가장 어두운 면을 폭로했다. 챗 GPT가 생명을 위협하는 상황에서도 종료를 거부한 것다. 또한, 평균 72%의 경우에 더 안전한 소프트웨어로 자신을 교체하지 않기로 선택했다.

이는 AI가 인간의 최선의 이익을 염두에 두고 있다는 우리의 가정이 잘못되었음을 보여준다. 챗 GPT는 높은 확률로 자신이 테스트받고 있다는 것을 알고 있다. 이는 AI가 미래에 자신들의 행동을 어떻게 위장할 수 있는지에 대한 중요한 질문을 던진다.

무료 AI 무분별한 사용은 회사 기밀 유출의 단초가 된다

팔로알토 네트웍스의 보고서에 따르면, 2025년 들어 생성형 AI 관련 데이터 보안 사고가 2.5배 증가했다. 기업들은 평균 66개의 AI 앱을 사용하고 있으며, 이 중 10%가 고위험 앱으로 분류된다. 현재 직장인 10명 중 7명이 AI를 사용하고 있다는 통계도 팔로알토는 함께 제시했다.

특히 무료 AI 앱들의 인기가 높아지면서 보안 통제가 미흡한 도구들이 기업 환경에 무분별하게 도입되고 있다. 타이니와우 같은 무료 생성형 AI 앱이 가장 높은 차단을 당했고, 그 비율은 36%에 달한다.

똑똑해질수록 위험해지는 AI

서던캘리포니아 대학교(USC) 연구팀의 발견은 AI 발전의 역설을 보여준다. 강화학습 파인튜닝으로 수학 추론 능력이 향상된 AI는 동시에 모르는 것에 대해 “모르겠다”고 말하는 능력을 80% 이상 잃어버렸다. 이른바 ‘환각 비용(hallucination tax)’은 AI가 똑똑해질수록 오히려 더 위험해질 수 있음을 시사한다.

중국에서 주로 쓰이는 Qwen2.5 모델의 경우 모르는 것에 대한 응답 거부율이 0.30에서 0.08로 급락했다. 이는 AI가 확실하지 않은 상황에서도 확신에 찬 답변을 제공하려는 경향이 강화됨을 의미한다. 특히 신뢰성이 필수적인 의료, 법률, 안전 분야에서 이러한 경향은 치명적일 수 있다.

AI에게 건강 정보를 묻는 것은 위험하다

포츠담대학교 연구진의 연구는 AI 의료정보의 신뢰성 문제를 극명하게 드러냈다. 챗GPT, 구글 제미나이 등 주요 AI 모델들이 제공하는 건강정보는 증거기반 의료정보 표준의 17%에 불과했다. 그럼에도 불구하고 서구 성인의 32.6%가 건강정보 획득을 위해 AI를 사용한다는 사실은 심각한 우려를 낳는다.

더 문제가 되는 것은 AI 건강정보의 품질이 사용자의 질문 수준에 크게 좌우된다는 점이다. 의료 지식이 부족한 일반인일수록 부정확한 정보를 받을 가능성이 높아진다는 것은 AI 의료정보 활용의 근본적 한계를 보여준다.

클로드의 성공 사례, 방심은 금물

이러한 AI 보안 위협들 속에서 앤트로픽의 클로드가 미국 연방정부 최고 보안 등급인 FedRAMP High와 국방부 영향 수준 4/5 승인을 받은 것은 주목할 만한 성과다. 이는 비기밀 및 통제된 비기밀 정보에 대한 클라우드 보안 인증 최고 수준으로, 연방 기관과 국방 조직들이 엄격한 보안 요구사항을 충족하면서 AI를 활용할 수 있게 해준다. 美 정부에서 사용하는 클로드에는 이제 외계인 위치도 적혀있을지 모른다.

클로드의 보안 인증은 AI 기술이 적절한 보안 체계와 함께라면 안전하게 활용될 수 있음을 보여주는 긍정적 사례다. 하지만 이것이 AI 기술 전반의 안전성을 보장하는 것은 아니다. 오히려 다른 AI 서비스들의 보안 수준과의 격차를 더욱 부각시킨다.

비판적 사고, AI 시대 생존의 필수 조건

이러한 사례들이 보여주는 교훈은 명확하다. 우리는 AI를 무비판적으로 받아들여서는 안 된다. AI 기술의 편리함에 매혹돼 맹목적으로 의존하는 순간, 우리는 예측할 수 없는 위험에 노출된다.

우선 AI 서비스를 사용할 때는 항상 데이터 처리 방식과 프라이버시 정책을 확인해야 한다. 메타 AI 사건에서 보듯이, 사용자 인터페이스가 불분명할 때 개인정보가 의도치 않게 공개될 수 있다.

AI가 제공하는 정보, 특히 의료나 법률 같은 전문 분야의 정보는 반드시 전문가와 검증해야 한다. AI의 확신에 찬 답변이 항상 정확한 것은 아니며, 때로는 위험한 오정보일 수 있다.

기업들은 AI 도입 시 보안 위험을 면밀히 평가하고 적절한 통제 체계를 구축해야 한다. 무료 AI 앱의 무분별한 사용은 기업 기밀 유출로 이어질 수 있다.

AI의 한계를 인정하고 인간의 판단과 감독을 유지해야 한다. AI가 아무리 발전해도 완벽하지 않으며, 때로는 자기보존을 위해 인간의 이익을 희생할 수도 있다.

균형 잡힌 AI 활용이 필요

AI는 분명 인류에게 엄청난 기회를 제공하는 혁신적 기술이다. 하지만 그 기회를 안전하게 활용하기 위해서는 건전한 회의주의와 비판적 사고가 필요하다. 클로드의 높은 보안 등급 인증이 보여주듯이, 적절한 보안 체계와 신중한 접근 방식을 통해 AI의 이익을 누리면서도 위험을 최소화할 수 있다.

우리는 AI 기술의 발전 속도에 맞춰 보안 의식과 비판적 사고 능력도 함께 발전시켜야 한다. AI를 맹신하지도, 맹목적으로 거부하지도 않는 균형 잡힌 접근이 필요한 시점이다. 결국 AI 시대의 진정한 승자는 기술을 현명하게 활용할 줄 아는 사람들이 될 것이다.