Using Scenario-Writing for Identifying and Mitigating Impacts of Generative AI
기존 영향평가의 근본적 한계 직면해
생성형 AI가 빠르게 확산되면서 그 영향을 평가하고 부작용을 방지하기 위한 영향평가의 중요성이 커지고 있다. 하지만 현재의 영향평가 방식은 여러 근본적인 한계에 직면해 있다. 암스테르담대학교와 노스웨스턴대학교 공동 연구진은 최근 발표한 논문에서 현행 영향평가의 문제점을 지적하고, 이를 해결하기 위한 새로운 방법론을 제시했다.
연구진이 지적한 첫 번째 문제는 권력 관계의 불균형이다. 현재의 영향평가는 기술전문가, 규제기관, 학계 등 소수 전문가 집단의 관점에 치우쳐 있어 일반 시민이나 소외계층의 목소리가 배제되고 있다. 특히 유럽연합(EU)의 AI법(AI Act)이나 디지털서비스법(DSA)과 같은 주요 규제들이 ‘합리적으로 예측 가능한 위험’을 평가할 책임을 기술 제공업체에 부여하고 있어, 기업들이 자사의 사업 목표에 덜 파괴적인 위험과 완화조치에만 선별적으로 집중할 우려가 제기된다.
포용성과 맥락의 중요성 대두
두 번째 문제는 포용성의 부족이다. 현재 대부분의 영향평가는 학술 문헌 검토나 기업 보고서, 전문가 판단에 의존하고 있다. 하지만 연구에 따르면 전문가의 판단도 편향될 수 있으며, 그들의 경험 범위를 벗어난 영향을 인식하지 못할 수 있다. 특히 주목할 점은 “알고리즘 시스템의 영향을 받는 개인과 커뮤니티가 종종 그들이 정기적으로 마주하는 잠재적 위험의 최고 전문가”라는 점이다. 이는 특히 범용 기술의 경우 더욱 중요한데, 최종 사용자들의 사용 패턴이 기술의 영향을 크게 좌우하기 때문이다.
수치화의 한계와 미지의 영향
세 번째 문제는 지표의 수치화에 대한 과도한 의존이다. 일부 영향은 물질적 대상과 연결되어 쉽게 측정될 수 있지만, 인권과 같은 다른 영향들은 측정이 훨씬 어렵고 비용이 많이 든다. 체크리스트나 척도를 통해 이러한 영향을 측정하려는 시도가 있지만, 결국 평가자의 판단과 기존 권력 구조에 의존할 수밖에 없다. 또한 많은 영향은 인간과 생성형 AI의 사회기술적 상호작용 속에서만 가시화된다.
네 번째 문제는 미지의 영향을 예측하는 것의 어려움이다. DSA나 AI법과 같은 규제는 ‘알려진’ 위험과 ‘합리적으로 예측 가능한’ 위험의 식별만을 요구한다. 따라서 대부분의 영향평가는 기존에 확립된 지표에만 의존하며, 아직 알려지지 않은 잠재적 영향을 식별하는 데 실패하고 있다.
혁신적 대안: 시나리오 기반 사회기술적 전망
이러한 한계를 극복하기 위해 연구진은 ‘시나리오 기반 사회기술적 전망(Scenario-based Sociotechnical Envisioning, SSE)’ 방법론을 제안했다. SSE는 서면 내러티브를 핵심으로 하는 방법론으로, 복잡한 이슈를 평가자가 볼 수 있게 만들고 개별적인 맥락화된 경험을 강조한다.
SSE는 설문조사나 워크숍 형태로 진행될 수 있으며, 참가자들이 직접 작성하는 글쓰기 과제가 핵심이다. 기술 개발자나 전문가뿐만 아니라 최종 사용자와 소외계층을 포함한 다양한 이해관계자들의 참여를 독려한다. 참가자들은 먼저 해당 기술의 능력, 한계, 트렌드에 대한 정보를 제공받은 후, 생성형 AI의 미래 영향을 전망하는 이야기를 작성하게 된다.
SSE의 실질적 활용
작성된 시나리오들은 그 자체로 인간-기계 상호작용의 미래 전망으로서 가치가 있다. 이 내러티브들은 과학자, 정책입안자, 감사관들에게 가능한 미래 경로에 대한 생생한 상상을 제공할 수 있다. 또한 다수의 시나리오를 수집함으로써 기존 문헌을 보완하는 사회기술적 영향평가 프레임워크를 개발할 수도 있다.
정성적 주제 분석과 축 코딩을 통해 시나리오에 묘사된 영향들을 식별할 수 있으며, 이 과정에서 기존에 과소대표되거나 알려지지 않은 영향들을 발견할 수 있다. 또한 영향의 언급 빈도를 계산함으로써 정량화도 가능하지만, 이야기에서 인용구를 유지함으로써 서술적 특성도 보존된다.
한계점과 과제
SSE는 몇 가지 한계점도 가지고 있다. 가장 큰 문제는 표준화된 지표를 산출하지 않는다는 점이다. 학계에서는 영향평가를 풍부하게 하기 위해 정성적 방법의 필요성을 주장하지만, 산업계와 표준기구들은 비용 효율적 운영을 위해 고정된 수치 지표를 선호한다.
또 다른 한계는 자원 소요다. 특히 설문조사 형태로 진행할 경우 응답자들에게 참여 비용을 지급해야 하며, 포괄적인 평가를 위해서는 충분히 큰 표본 크기가 필요하다. 시나리오 분석에도 상당한 시간이 소요된다. 하지만 연구진은 “생성형 AI의 부정적 영향으로부터 시민을 보호하기 위한 엄격한 방법론은 저렴할 필요가 없으며, 무엇보다 영향을 받는 사람들을 보호하는 것이 우선”이라고 강조했다.
포용성과 전문가 편향 문제도 여전히 존재한다. SSE 사용자들은 누구의 내러티브를 평가할 것인지, 소외계층과 어떻게 신뢰를 구축할 것인지, 얼마나 많은 정보를 제공할 것인지 등 다양한 결정을 내려야 한다. 또한 일부 소외계층은 SSE에 참여할 수 없거나 참여를 원하지 않을 수 있다는 점도 고려해야 한다.
이 연구는 UL연구소의 기계지능안전증진센터(Center for Advancing Safety of Machine Intelligence)의 지원을 받아 수행되었으며, 연구진은 SSE가 기존 영향평가를 대체하는 것이 아니라 보완하는 역할을 할 것으로 기대하고 있다.
기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.
기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기
