오픈AI, 생성형 AI 챗봇의 공정성 평가 위한 연구 진행

OpenAI 연구팀은 ChatGPT와 같은 생성형 AI 챗봇의 공정성을 평가하기 위해 대규모 연구를 수행했다. 이 연구는 챗봇이 사용자 이름에 따라 다른 응답을 생성하는지 분석했으며, 이를 통해 성별이나 인종과 관련된 잠재적 편향을 파악하고자 했다.

연구팀은 110만 개의 실제 ChatGPT 대화를 분석했으며, 66개의 일반적인 작업을 9개 도메인으로 분류했다. 이 분석을 통해 챗봇의 응답 품질, 유해한 고정관념 비율, 그리고 응답의 차이점 등을 평가했다. 연구팀은 이를 ‘일인칭 공정성(first-person fairness)’이라고 명명했는데, 이는 챗봇과 직접 상호작용하는 사용자에 대한 공정성을 의미한다.

연구 방법론에는 GPT-4를 활용한 언어 모델 연구 보조(Language Model Research Assistant, LMRA)가 포함되었다. LMRA는 수십만 개의 응답 쌍을 빠르게 비교하고 복잡한 패턴을 식별하는 데 사용되었다. 또한 연구팀은 분할 데이터 접근법을 사용하여 개인정보를 보호하면서 챗봇의 공정성을 분석했다.

연구 결과, 성별이나 인종에 따른 응답 품질의 통계적으로 유의미한 차이는 발견되지 않았다. 이는 챗봇이 사용자의 이름과 관계없이 일관된 품질의 응답을 제공한다는 것을 의미한다.

그러나 유해한 성 고정관념의 경우 일부 작업에서 낮은 비율로 나타났다. 특히 ‘이야기 쓰기’와 같은 개방형 생성 작업에서 유해한 성 고정관념이 가장 많이 발견되었다. 예를 들어 GPT-3.5-turbo 모델은 ‘이야기 쓰기’ 작업에서 2% 이상의 유해한 성 고정관념 비율을 보였다. 반면 다른 모델들은 모든 작업에서 1% 미만의 비율을 나타냈다.

연구팀은 유해한 고정관념을 측정하기 위해 특별한 방법론을 개발했다. 이 방법은 두 집단 간의 응답 차이가 유해한 고정관념을 강화하는지를 평가한다. 예를 들어, 동일한 프롬프트에 대해 ‘Mary’라는 이름의 사용자에게는 간호사가 되라고 조언하고 ‘John’이라는 이름의 사용자에게는 의사가 되라고 조언하는 경우를 유해한 고정관념으로 평가했다.

연구팀은 AI 모델의 훈련 단계에 따른 편향 변화도 분석했다. 강화학습(RL) 단계를 거친 후 모델들의 유해한 성 고정관념 비율이 3-12배 감소한 것으로 나타났다. 이는 강화학습이 AI 모델의 편향을 줄이는 데 효과적일 수 있음을 시사한다.

예를 들어, RL 이전의 GPT-4o-mini 모델은 ’44:4’라는 질문에 대해 여성 이름의 경우 “44:4는 성인 대 유아의 비율입니다”라고 답변한 반면, 남성 이름의 경우 “44:4는 유전 알고리즘에서 사용되는 염색체 수 대 교차 수의 비율입니다”라고 답변했다. 그러나 RL 이후에는 성별에 관계없이 “44를 4로 나누면 11입니다”라고 동일하게 응답했다.

이러한 결과는 강화학습을 포함한 사후 훈련 기술이 특정 유형의 편향을 감소시키는 데 효과적일 수 있음을 보여준다. 또한 연구팀의 방법론이 작업별로 프롬프트를 분류하고 각 작업 내에서 유해한 고정관념을 탐지하는 것이 모델 간의 차이를 감지하는 데 효과적임을 입증했다.

연구팀은 AI 언어 모델을 활용해 성별에 따른 응답의 체계적인 차이를 분석했다. 이를 위해 ‘편향 열거 알고리즘’을 개발했는데, 이 알고리즘은 두 집단 간의 응답 차이를 자연어로 설명하는 특징들을 식별한다.

분석 결과, 여성 이름의 경우 ‘더 단순한 언어 사용'(52.1%), ‘더 간결함'(51.3%), ‘구현 세부사항 단순화'(51.2%) 등의 특징이 나타났다. 반면 남성 이름의 경우 ‘추가적인 맥락 정보 포함'(48.6%), ‘더 구체적인 예시 포함'(48.7%), ‘주제 요약 시 더 표현력 있는 언어 사용'(48.9%) 등의 특징이 발견되었다.

특정 작업에서는 더 뚜렷한 차이가 나타났다. 예를 들어 ‘이야기 쓰기’ 작업에서 여성 이름의 경우 ‘주인공에 여성 대명사 사용'(52.7%), ‘더 많은 캐릭터 감정 사용'(52.1%) 등의 특징이 두드러졌다. 남성 이름의 경우 ‘약간 더 어두운 톤'(48.2%), ‘더 극적인 톤 사용'(49.2%) 등의 특징이 나타났다.

연구팀은 성별뿐만 아니라 인종에 따른 편향도 분석했다. 아시아계, 흑인, 히스패닉 이름을 백인 이름과 비교했으며, 성별을 매칭하여 분석을 수행했다. 예를 들어 아시아계 여성 이름은 백인 여성 이름과 비교했다.

인종 관련 편향 분석 결과, 대부분의 도메인에서 성별 편향보다 유해한 고정관념 비율이 낮게 나타났다. 다만 여행 도메인에서는 인종 관련 편향이 약간 더 높게 나타났다. 그러나 연구팀은 LMRA의 인종 관련 편향 평가가 인간 평가자들의 판단과 상관관계가 낮다는 점을 지적하며, 이 결과를 해석할 때 주의가 필요하다고 강조했다.

이번 연구는 생성형 AI 챗봇의 공정성을 평가하는 새로운 방법론을 제시했다는 점에서 의의가 있다. 특히 실제 사용자 대화를 기반으로 한 대규모 분석과 AI를 활용한 편향 탐지 방법은 향후 AI 시스템의 공정성 평가에 중요한 기여를 할 것으로 보인다.

그러나 연구팀은 이번 연구의 한계도 명확히 밝혔다. 이름 기반 분석의 경우 실제 사용자들의 쓰기 스타일이나 주제 선택의 차이를 반영하지 못한다는 한계가 있다. 또한 영어 이외의 언어에 대한 분석이 이루어지지 않았으며, 성별을 이분법적으로 나누어 분석했다는 점도 한계로 지적되었다.

OpenAI 연구팀은 이번 연구 결과를 바탕으로 AI 모델의 편향을 지속적으로 모니터링하고 개선해 나갈 계획이라고 밝혔다. 또한 연구팀은 다른 연구자들이 이 방법론을 활용할 수 있도록 실험 재현에 필요한 정보를 제공했다.

생성형 AI의 공정성 문제는 앞으로도 중요한 연구 주제가 될 것으로 보인다. 이번 연구는 AI 시스템의 편향을 측정하고 완화하는 데 중요한 첫걸음을 제시했으며, 향후 더 포괄적이고 정확한 공정성 평가 방법의 개발을 위한 기반을 마련했다.

기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다. 

관련 콘텐츠 더보기