임신테스트부터 은행거래까지… 시각장애인이 AI에게 맡긴 ‘극비 정보’들

가족에게도 말 못 할 개인정보, AI가 지켜줄 수 있을까?

펜실베니아 주립대학교(Pennsylvania State University)와 콜로라도 대학교(University of Colorado) 연구팀이 시각장애인들의 생성형 AI 사용 실태를 조사한 결과, 놀라운 사실이 드러났다. 시각장애인들이 가족이나 친구에게도 보여주기 꺼려하는 극도로 민감한 개인정보를 생성형 AI에 맡기고 있다는 것이다.

연구에 참여한 한 시각장애인은 “임신테스트 결과를 확인하기 위해 Be My AI를 사용했다. 이렇게 개인적인 일에 다른 사람의 도움을 받고 싶지 않았다”고 털어놨다. 또 다른 참여자는 “유방촬영(맘모그램) 결과를 다른 사람에게 물어보지 않고 개인적으로 이해하고 싶어서 AI를 사용했다”고 밝혔다.

“AI가 내 은행계좌 정보를 저장하고 있을까?” 금전정보까지 공개하는 시각장애인들

연구 결과, 시각장애인들은 은행 명세서, 세금 문서, 신용카드 정보, 수표, 공과금 청구서 등 금융 관련 정보까지 생성형 AI에 노출시키고 있는 것으로 나타났다. 한 참여자는 “은행 명세서를 스캔했는데, AI가 내 계좌번호나 주소 정보를 저장하고 있는지 궁금하다”며 우려를 표했다.

특히 야간에 급하게 세금 문서를 확인해야 할 때는 “Be My Eyes 자원봉사자에게 기밀 정보를 보여주기 불편하고, 가족을 깨우고 싶지도 않다. 그래서 Be My AI나 Seeing AI를 사용한다. 가족보다 AI를 더 신뢰하는 건 아니지만, 자원봉사자들보다는 더 신뢰한다”고 답했다.

“장애수당 박탈될까봐…” AI 감시에 대한 극도의 불안감

더욱 충격적인 것은 일부 시각장애인들이 AI의 잠재적 감시 능력을 극도로 두려워한다는 점이다. 한 참여자는 “친구 생일에 고급 레스토랑에서 찍은 사진은 생성형 AI로 처리하지 않는다. 감시당하고 있다고 생각하기 때문이다. 소셜미디어에도 올리지 않는다. 장애수당을 잃을 수 있기 때문이다. AI가 내 장애수당을 빼앗아갈 기회를 주지 않겠다”고 말했다.

이는 AI 시스템이 개인의 생활 패턴을 분석해 정부 지원 자격을 판단할 수 있다는 우려를 보여준다. 시각장애인들은 AI가 자신들의 사진을 분석해 장애 정도를 재평가하거나, 생활 수준을 추정해 혜택 자격을 박탈할 수 있다고 걱정하고 있다.

“AI의 편견과 차별: 시각장애인에 대한 잘못된 고정관념 재생산”

연구에 참여한 시각장애인들은 AI가 장애인에 대한 편견을 재생산한다고 지적했다. 한 참여자는 “챗GPT에게 시각장애인에 대해 물어봤더니 ‘다른 감각이 더 발달했다’거나 ‘돌봄이 필요하다’는 식의 근거 없는 고정관념을 답했다. 내가 정정해 줘도 실수를 인정하지 않았다”고 토로했다.

또한 AI의 과도한 콘텐츠 필터링도 문제가 되고 있다. “시각장애인으로서 저는 AI가 제공하는 세부 정보에 의존한다. 하지만 때때로 AI는 민감한 언어를 피하려고 너무 조심스러워서 유용한 맥락을 빼먹는다. 예를 들어 사진에서 단순히 ‘두 명의 사람’이라고만 하고 누가 누구인지나 피부색, 성별 같은 시각적 단서를 생략하면 정보가 덜 도움이 된다”고 설명했다.

“로컬 처리와 제로 보존 정책으로 시각장애인 프라이버시 보호해야”

연구팀은 시각장애인들의 프라이버시를 보호하기 위한 구체적인 설계 방안을 제시했다. 먼저 기기 내부에서 데이터를 처리하는 온디바이스(on-device) 처리 방식을 도입해야 한다고 강조했다. 특히 얼굴 이미지, 가정 환경, 금융 또는 의료 문서, GPS나 카메라 입력 정보에 대해서는 반드시 로컬 처리가 필요하다고 지적했다.

또한 민감한 콘텐츠 자동 삭제 기능과 프라이버시 인식형 외모 지표 시스템, 그리고 다중모달 촉각 미러링 상호작용 방법을 제안했다. 시각장애인 전문가들을 위해서는 컴플라이언스 인식 보안 툴킷도 필요하다고 제안했다


FAQ

Q: 시각장애인들이 생성형 AI를 개인정보 관리에 사용하는 이유는 무엇인가요?
A: 시각장애인들은 독립성과 개인 프라이버시를 중시하기 때문입니다. 임신테스트나 의료기록 같은 극도로 민감한 정보를 가족이나 자원봉사자에게 보여주기보다는 AI를 통해 혼자 확인하고 싶어 합니다.

Q: 시각장애인들이 AI 사용 시 가장 우려하는 점은 무엇인가요?
A: 데이터 저장과 잠재적 감시가 가장 큰 우려사항입니다. 특히 AI가 자신들의 정보를 분석해 장애수당 같은 정부 혜택을 박탈할 수 있다고 걱정합니다.

Q: 시각장애인을 위한 안전한 AI는 어떻게 설계되어야 하나요?
A: 기기 내부에서만 데이터를 처리하고, 데이터를 저장하지 않는 제로 보존 정책을 적용해야 합니다. 또한 시각장애인에 대한 편견 없이 정확하고 상세한 정보를 제공할 수 있어야 합니다.

해당 기사에 인용된 리포트 원문은 arxiv.org에서 확인 가능하다.

출처: Visual Privacy Management with Generative AI for Blind and Low Vision People

이미지 출처: 미드저니 생성