당신의 SNS 사진, 무단 수집해 신원확인? AI로 막는다

온라인상의 얼굴 프라이버시 침해가 심각한 사회적 문제로 대두되고 있다. 클리어뷰(Clearview)와 핌아이즈(PimEyes) 같은 기업들은 수십억 장의 온라인 이미지를 수집해 수백만 명의 시민을 동의 없이 식별할 수 있는 시스템을 구축했다. 이러한 기술은 스토킹, 타겟 광고 침투, 신분 사기 등 다양한 프라이버시 침해에 악용될 수 있다.

조지아공대(Georgia Institute of Technology)와 홍콩대학교(The University of Hong Kong) 연구진이 개발한 ‘카멜레온(Chameleon)’은 개인별 맞춤형 프라이버시 보호 마스크(P3-Mask)를 생성하는 기술이다. 이 기술은 사용자 당 하나의 P3-마스크를 생성하여 해당 사용자의 모든 얼굴 이미지를 보호할 수 있어, 제한된 컴퓨팅 리소스에서도 효율적이고 즉각적인 보호가 가능하다. 또한 보호된 얼굴 이미지의 시각적 품질을 보존하는 최적화 기술을 적용했으며, 초점 다양성 최적화 앙상블 학습을 통해 알려지지 않은 얼굴인식 모델에 대한 강건성을 확보했다.

카멜레온의 가장 큰 장점은 실시간 처리 능력이다. 기존의 TIP-IM이나 Fawkes와 같은 방식은 GPU 서버에서도 한 장의 사진을 처리하는 데 105.12초가 소요되는 반면, 카멜레온은 단 0.0076초 만에 처리가 가능하다. 또한 벤치마크 데이터셋에서 90% 이상의 보호 성공률을 달성했다.

연구진은 FaceScrub 데이터셋에서 모레나 바카린, 브래들리 쿠퍼를 포함한 10명의 유명인을 무작위로 선정하여 실험을 진행했다. 각 사용자의 얼굴 이미지는 세 그룹으로 나뉘었다. 10%는 신원 확인용 probe 이미지로, 70%는 갤러리 이미지이자 마스크 학습용으로, 나머지 20%는 학습에 사용되지 않은 테스트용 갤러리 이미지로 활용됐다. 총 123개의 “알 수 없는 신원” 얼굴 이미지를 포함하여 49,528개의 갤러리 이미지로 구성된 포괄적인 데이터셋을 구축했다.

카멜레온은 8개의 서로 다른 사전 학습된 얼굴인식 모델을 활용했다. 이 모델들은 최신 ArcFace 알고리즘을 기반으로 하되, EfficientNet부터 ResNet18, ResNet34, ResNet50, ResNet100까지 다양한 신경망 아키텍처와 MS-Celeb-1M, Glint360K, VGG-Face2, WebFace600K 등 서로 다른 데이터셋으로 학습되었다. 특히 EN-MC와 RN50-GL 두 모델로 구성된 팀이 가장 높은 초점 다양성을 보이며, 알려지지 않은 FR 모델에 대해 90.65%에서 96.58% 범위의 뛰어난 보호 성공률을 달성했다.

카멜레온은 구조적 유사성 지표인 SSIM을 활용하여 보호된 이미지의 시각적 품질을 최적화했다. 기존 방식인 OPOM(SSIM: 0.8839), TIP-IM(SSIM: 0.8850)과 비교해 카멜레온은 0.9493의 높은 SSIM 점수를 기록했다. 이는 Fawkes(SSIM: 0.9612)에 근접한 수준으로, 프라이버시 보호와 이미지 품질 보존 사이의 최적의 균형을 달성했음을 보여준다.

카멜레온의 주목할 만한 특징은 ArcFace 기반 모델들로 학습했음에도 FaceNet이나 MagFace와 같은 다른 알고리즘 기반의 얼굴인식 모델에 대해서도 효과적인 보호 성능을 보인다는 점이다. 이는 초점 다양성 기반의 앙상블 최적화 방법이 알려지지 않은 얼굴인식 모델에 대한 일반화 성능을 크게 향상시켰음을 입증한다.

카멜레온은 사용자가 신뢰하는 제3자에게 선택적으로 얼굴인식을 허용할 수 있는 기능을 제공한다. P3-마스크를 인증 키로 활용하여 보호된 이미지의 얼굴 특징을 복원할 수 있으며, 이는 정확한 P3-마스크를 가진 경우에만 가능하다.

연구팀은 카멜레온이 다양한 적응형 공격에도 효과적임을 입증했다. JPEG 압축, 가우시안 필터, 중간값 필터와 같은 이미지 처리 기법을 통한 우회 시도에도 높은 보호 성능을 유지했다.

카멜레온은 교차 이미지 보호 최적화, 시각적 품질 보존 최적화, 초점 다양성 기반 앙상블 최적화를 결합하여 구현되었다. FaceScrub와 LFW 데이터셋에서 성능 평가를 진행했으며, 시각적 품질 측면에서는 SSIM(구조적 유사성) 지표 0.9493을 달성했다. 특히 CPU 기반 디바이스에서도 즉각적인 보호가 가능하다는 점이 주목할 만하다.

이 연구는 증가하는 얼굴 프라이버시 침해 위협에 대응할 수 있는 실용적인 솔루션을 제시했다. 특히 실시간 처리 능력과 높은 보호 성능, 그리고 선택적 인증 기능을 통해 프라이버시 보호와 서비스 사용성을 모두 만족시켰다는 점에서 큰 의의가 있다.

기사에 인용된 논문의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기