글 쓸 때 “AI 도움 받았다”고 솔직하게 말하면 보는 사람은 낮은 점수를 준다?

요즘 많은 사람들이 글을 쓸 때 AI 도구를 사용한다. 하지만 “AI 도움을 받았다”고 솔직하게 말하면 사람들이 그 글을 더 낮게 평가한다는 연구 결과가 나왔다. 더 놀라운 것은 AI가 글을 평가할 때는 사람보다 더 복잡한 편견을 보인다는 점이다.

미국 프린스턴 대학과 워싱턴 대학 연구팀이 약 4,500명의 사람과 AI를 대상으로 큰 실험을 했다. 같은 뉴스 기사를 읽게 하되, 글쓴이의 성별과 인종, 그리고 AI 사용 여부만 바꿔서 보여줬다. 그 결과 AI 사용을 밝힌 글은 그렇지 않은 글보다 낮은 점수를 받았다.

사람들은 AI 도움 받은 글을 믿지 않는다

연구진은 같은 뉴스 기사를 18가지 다른 방식으로 보여줬다. 글쓴이를 아시아계, 흑인, 백인으로 바꾸고, 남성, 여성, 논바이너리로도 바꿨다. 그리고 “이 글은 AI 도구의 도움을 받아 작성됐다”는 문구를 넣거나 빼면서 실험했다.

결과는 명확했다. 사람들은 AI 도움을 받았다고 밝힌 글을 더 낮게 평가했다. 글의 내용은 똑같았지만, AI 사용 사실을 알려주기만 해도 사람들은 그 글을 덜 믿을 만하고, 덜 잘 쓰여졌다고 생각했다. 또 다른 사람에게 공유하고 싶어 하지도 않았다.

흥미로운 점은 이런 현상이 글쓴이가 누구든 상관없이 똑같이 나타났다는 것이다. 남성이든 여성이든, 어떤 인종이든 AI 사용을 밝히면 비슷하게 낮은 점수를 받았다.

AI는 더 복잡한 편견을 보인다

연구진은 사람뿐만 아니라 AI에게도 같은 실험을 했다. GPT-4o-mini와 Qwen이라는 두 AI 모델을 사용했다. 놀랍게도 AI들도 사람처럼 “AI 도움을 받았다”고 밝힌 글에 낮은 점수를 줬다. 하지만 AI들은 사람과 다른 특이한 행동을 보였다.

AI 사용을 밝히지 않은 글에서는 두 AI 모델이 서로 다른 편견을 보였다. GPT-4o-mini는 흑인 글쓴이의 글을 더 높게 평가했고, Qwen은 여성 글쓴이의 글을 더 좋아했다. 이는 과거에 차별받던 사람들을 더 좋게 평가하려는 것으로 보인다.

AI 사용을 밝히면 편견이 사라진다?

가장 신기한 발견은 AI 사용을 밝히면 이런 편견이 사라진다는 것이었다. 평소에는 흑인 글쓴이나 여성 글쓴이를 더 좋게 평가하던 AI들이, “AI 도움을 받았다”는 말을 보면 그런 특별 대우를 하지 않았다. 예를 들어, GPT-4o-mini는 평소에 흑인 글쓴이의 글을 아시아계 글쓴이보다 훨씬 높게 평가했다. 하지만 AI 사용을 밝힌 글에서는 이런 차이가 거의 사라졌다.

연구진은 이를 “사라지는 공정성”이라고 불렀다. AI가 평소에는 공정하게 행동하려고 노력하지만, 특정 상황에서는 그런 노력이 약해진다는 뜻이다.

실제 세상에서 벌어지는 일들

이런 연구 결과가 중요한 이유는 실제로 많은 곳에서 AI가 사람의 글을 평가하고 있기 때문이다. 미국 텍사스주에서는 학생들의 시험 답안을 AI가 채점한다. 대기업 100곳 중 99곳이 채용할 때 AI로 지원서를 먼저 걸러낸다. 출판사들도 AI를 사용해서 어떤 책이 잘 팔릴지 예측한다.

이런 상황에서 AI의 편견은 실제로 사람들의 기회에 영향을 줄 수 있다. 특히 AI 사용을 솔직하게 밝혀야 한다는 규칙이 늘어나면서, 정직한 사람들이 오히려 손해를 볼 수 있다는 우려가 커지고 있다.

투명성의 딜레마

연구진은 이 문제를 “투명성의 딜레마”라고 설명했다. AI 사용을 밝히는 것은 좋은 일이지만, 그렇게 하면 불이익을 받을 수 있다는 것이다.

더 문제가 되는 것은 이런 불이익이 모든 사람에게 똑같이 적용되지 않을 수 있다는 점이다. 특히 AI가 평가하는 경우, 복잡한 편견 때문에 어떤 사람들은 더 큰 손해를 볼 수 있다.

연구진은 “앞으로 더 많은 연구가 필요하다”며 “AI 사용 공개가 사회에 미치는 영향을 더 자세히 살펴봐야 한다”고 말했다.

FAQ

Q: AI 도움을 받았다고 말하면 왜 점수가 떨어지나요?

A: 사람들이 AI로 만든 글을 덜 믿을 만하고 창의적이지 않다고 생각하기 때문입니다. 내용이 똑같아도 AI 사용 사실을 알면 자동으로 낮게 평가하는 경향이 있습니다.

Q: AI가 사람보다 더 편견을 가지고 있나요?

A: AI는 사람과 다른 방식의 편견을 보입니다. 때로는 특정 그룹을 더 좋게 평가하려고 하지만, 상황에 따라 이런 행동이 사라지기도 합니다. 이는 AI의 공정성 학습이 완전하지 않다는 것을 보여줍니다.

Q: 이 연구가 우리 생활에 어떤 영향을 주나요?

A: 요즘 많은 회사와 학교에서 AI로 글을 평가하고 있어서, 이런 편견이 실제 취업이나 성적에 영향을 줄 수 있습니다. AI 사용을 솔직하게 밝혀야 한다는 규칙이 생기면서 정직한 사람들이 손해를 볼 수 있다는 우려가 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: Penalizing Transparency? How AI Disclosure and Author Demographics Shape Human and AI Judgments About Writing

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.