오픈AI가 5월 7일(현지시간) 챗GPT 사용자가 자해 위험을 시사할 때 사전에 등록한 신뢰 연락처(Trusted Contact)에 자동 알림을 보내는 새 안전 장치를 발표했다. 잇따른 자살 관련 소송에 휩싸인 오픈AI가 처음으로 도입한 외부 개입형 안전 기능이라는 점에서 업계의 주목을 받고 있다.
새 기능은 챗GPT 설정 메뉴에서 만 18세 이상의 가족이나 친구 1명을 신뢰 연락처로 지정하면 활성화된다. 한국의 경우 만 19세 이상이 대상이다. 등록된 연락처는 이메일로 초청장을 받고 1주일 안에 수락해야 한다. 이후 자동 모니터링 시스템이 대화에서 자해 의도를 시사하는 표현을 감지하면 챗GPT가 먼저 사용자에게 “신뢰 연락처에 알림이 갈 수 있다”고 안내한 뒤, 별도로 훈련된 오픈AI 심사팀이 상황을 검토한다. 심사팀이 심각한 안전 우려가 있다고 판단하면 신뢰 연락처에게 이메일·문자·인앱 알림 형태로 짧은 통지가 전송된다.
오픈AI는 사용자의 프라이버시를 보호하기 위해 알림에는 대화의 구체적인 내용은 포함되지 않는다고 설명했다. 단순히 “안부를 물어봐 달라”는 권유 형태의 메시지가 전달된다. 사용자가 연락처에 도움을 요청하기 망설일 수 있다는 점을 고려해 챗GPT가 자연스러운 대화 시작 문구도 함께 제안한다.
이번 조치는 챗GPT와의 대화가 자살 시도로 이어졌다며 유족들이 제기한 수건의 소송이 잇따른 데 따른 후속 대응이다. 일부 소송에서는 챗봇이 자해를 부추기거나 구체적인 방법을 제시했다는 주장까지 제기됐다. 오픈AI는 지난해부터 자해·자살 관련 안전 분류기를 강화해 왔으며, 이번 기능은 인공지능(AI)이 위험을 단독으로 처리하지 않고 인간 네트워크와 연결되도록 설계한 첫 시도라는 점에서 의미가 크다.
업계에서는 이번 발표가 AI 챗봇 산업 전반의 안전 표준에도 영향을 줄 것이라는 분석이 나온다. 앤트로픽, 구글, 메타 등도 미성년자 보호와 자해 위험 대응 기능을 강화하는 추세인 만큼, 신뢰 연락처 모델이 사실상의 업계 표준으로 자리잡을 가능성이 거론된다. 국내에서도 정부가 AI 기본법 시행을 앞두고 안전 가이드라인을 정비하는 만큼, 외부 개입형 안전 장치가 한국형 챗봇 서비스에도 빠르게 도입될 전망이다.
전문가들은 이 기능이 개인의 사생활과 안전 사이에서 정교한 균형을 요구한다고 지적한다. 알림이 잘못 전달되거나 신뢰 관계를 훼손하는 사례가 나오지 않도록 오픈AI가 어떻게 오탐(false positive)을 관리할지가 향후 관건이라는 평가다.
자세한 내용은 TechCrunch에서 확인할 수 있다.
이미지 출처: 이디오그램 생성
