온라인 안전, 설계부터 고려해야

10대들의 딥페이크 피해가 확산되는 가운데 지난 4월, 미국의 비영리 기술단체 Thorn과 All Tech Is Human가 발표한 이니셔티브가 주목을 받고 있다. 앞서 발표한 이니셔티브는 주류 기술 기업, 생성 AI 개발자, 모델 호스팅 플랫폼 등을 모아 제품 개발 프로세스의 중심에 아동 성적 학대 예방을 두는 Safety by Design 원칙을 정의하고 이를 준수하기 위한 것으로 문제가 발생한 후 안전장치를 추가하는 기존 방식과 달리, 온라인 위협을 사전에 예측하고 제거하는 데 초점을 맞춘 방식이다.

안전 중심 설계의 핵심은 온라인 제품과 서비스의 설계 및 개발 과정에서 사용자의 안전과 권리를 중심에 두는 것이다. 이는 기술 기업들이 ‘빠르게 움직이고 깨트리기’나 ‘비용을 무릅쓰고 이익 추구’와 같은 기존의 설계 철학에서 벗어나, ‘신중하게 움직이기’와 같은 새로운 접근법을 채택하도록 장려한다. 이를 통해 기업들은 초기 단계에서부터 위험 완화에 투자하고 사용자 보호 장치를 내장하게 된다.

안전 중심 설계는 세 가지 핵심 원칙을 중심으로 구성되어 있다.

첫 번째 원칙은 서비스 제공자의 책임이다. 이는 사용자 안전의 부담이 전적으로 사용자에게 지워져서는 안 된다는 점을 강조한다. 온라인 플랫폼과 서비스 설계 및 제공 과정에서 잠재적 위험을 평가하고 악용 가능성을 사전에 차단해야 한다는 것이다.

이를 위해 기업들은 다음과 같은 조치를 취해야 한다.

• 사용자 안전 정책 수립 및 이행을 담당할 인력 지정
• 공정하고 일관된 커뮤니티 가이드라인과 서비스 약관 개발
• 사용자 신고 처리를 위한 명확한 절차 마련
• 불법·유해 행위 탐지 및 제거 프로세스 구축
• 법 집행 기관, 지원 서비스, 불법 콘텐츠 핫라인과의 협력을 위한 내부 프로토콜 수립
• 제품이나 서비스로 인해 발생할 수 있는 잠재적 온라인 피해를 평가하고 해결하기 위한 위험 관리 및 영향 평가 문서화

두 번째 원칙은 사용자 권한 강화와 자율성 보장이다. 이 원칙은 사용자의 존엄성을 강조하며, 제품과 서비스가 사용자의 최선의 이익에 부합해야 한다고 말한다. 다양한 집단과의 협의를 통해 모든 사용자가 접근 가능한 기능을 설계해야 한다는 것이다.

주요 실천 방안은 다음과 같다:

• 사용자가 자신의 안전을 관리할 수 있는 기술적 조치와 도구 제공
• 서비스 위반에 대한 명확한 규정과 결과 설정
• 위험 요소를 완화하는 기술적 기능 구현
• 사용자 신고에 대한 피드백 루프 제공
• 모든 설계 및 기능 요소를 평가하여 다양한 특성과 능력을 가진 사용자들의 위험 요소가 완화되었는지 확인

세 번째 원칙은 투명성과 책임이다. 이는 강력한 안전 접근법의 핵심으로, 기업들이 자사의 안전 정책 이행 현황과 안전 기능의 효과성에 대한 데이터를 공개해야 함을 의미한다.

이를 위해 기업들은 다음과 같은 조치를 취해야 한다.

• 모든 직원에게 사용자 안전 관련 교육 실시
• 안전 정책과 가이드라인을 쉽게 찾고 이해할 수 있도록 제공
• 전문가 및 주요 이해관계자와의 열린 소통을 통해 안전 기준의 개발, 해석, 적용 및 효과성에 대해 논의
• 연례 보고서를 통해 서비스 내 악용 사례와 중재 노력의 효과성 공개
• 안전 향상 기술에 지속적으로 혁신하고 투자하며, 다른 기업들과 안전 향상 도구, 모범 사례, 프로세스 및 기술을 공유하겠다는 약속

안전 중심 설계는 온라인 서비스 개발 과정에서 사용자 안전을 프라이버시, 보안과 함께 세 번째 핵심 축으로 설정한다. 이는 기술 산업이 혁신을 추구하면서도 사용자 안전을 최우선으로 고려하는 제품 개발을 장려하는 중요한 접근법이다.

이러한 안전 중심 설계 원칙은 2018년부터 시작된 심층적인 연구와 업계 컨설팅을 통해 개발되었다. 대형 기술 기업부터 스타트업까지 다양한 기업들과의 협의를 거쳤으며, NGO, 옹호 단체, 부모, 청소년 등 기술 생태계의 다양한 참여자들의 의견도 반영되었다.

안전 중심 설계는 또한 청소년들의 비전 선언을 통해 그들이 원하는 온라인 안전의 모습과 기술 산업에 대한 기대를 명확히 했다. 청소년들의 집단 비전 선언은 다음과 같은 영역을 우선시한다.

1. 사용자에게 더 많은 통제권을 부여하여 자신의 안전과 온라인 경험을 관리할 수 있도록 한다.
2. 읽기 쉽고 눈에 잘 띄는 명확한 규칙과 지침을 제공한다.
3. 사용자에게 신고 방법과 사람 및 콘텐츠를 차단하는 방법 등의 안전 도구와 기능을 제공한다.
4. 사이트 규칙 위반에 대한 제재와 결과를 부과한다.
5. 스캐닝 및 필터링 기술을 사용하여 사이트에서 사용자 안전을 유지하고 사용자가 부적절하거나 민감한 콘텐츠에 노출되지 않도록 한다.

이러한 안전 중심 설계 접근법은 온라인 환경을 더욱 안전하고 포용적으로 만들어, 가장 위험에 처한 사용자들을 보호하는 데 기여할 것으로 기대된다. 이는 단순히 기술적인 해결책을 넘어, 조직의 문화와 리더십에 안전을 내재화하는 선제적이고 예방적인 접근 방식이다.

안전 중심 설계는 모든 사람에게 더 긍정적이고 시민적이며 보람 있는 온라인 경험을 제공하는 것을 목표로 한다. 이는 기술 기업들이 ‘안전’을 단순히 부가적인 요소가 아닌, 제품과 서비스 개발의 핵심 원칙으로 삼아야 함을 의미한다.

결론적으로, 안전 중심 설계는 온라인 환경의 안전성을 획기적으로 개선할 수 있는 잠재력을 가지고 있다. 이는 기술 기업, 정책 입안자, 사용자 모두가 함께 노력해야 할 중요한 과제이며, 더 안전하고 건강한 디지털 세상을 만들어가는 데 핵심적인 역할을 할 것으로 기대된다.

Thorn과 All Tech Is Human이 발표한 이니셔티브 전문은 링크에서 확인할 수 있다.

본 기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기