[AI는 이야기를 모른다] 제 5화. 재미를 점수로 매길 수 있을까

이 기사, AI에게 물어보기

나는 2015년부터 기계에게 이야기를 가르치는 일을 해왔다. 엔씨소프트에서 8년, 지금은 KT 미디어본부에서. 직함과 회사는 바뀌었지만 붙들고 있는 질문은 같다. AI는 정말 이야기를 아는 걸까.

AI가 글을 척척 써주는 시대가 됐지만, “그럴듯한 글”과 “좋은 이야기”는 다른 말이다. 그 차이를 현장에서 직접 부딪히며 10년을 보냈다. 이 연재는 그 시도와 실패, 그리고 그 과정에서 발견한 것들의 기록이다.

이 칼럼은 룰베이스 시대의 실험부터 LLM 등장 이후까지를 다룬다. AI 글쓰기 도구를 쓰면서 뭔가 부족하다고 느낀 적 있다면, 혹은 창작과 기술 사이 어딘가에 서 있다면, 이 기록이 그 감각에 말을 붙여줄 수 있을 것이다.

1. “평가 기준을 주세요”

언젠가 분야별로 잘나가는 유튜브 채널을 모아 분석하는 프로젝트를 맡은 적이 있다. AI에게 ‘좋은 썸네일’을 학습시키려면, 무엇이 좋은 썸네일인지 인간이 먼저 규칙으로 정의해 줘야 한다는 취지였다. 함께 일하던 연구원들이 내게 요구한 것은 명확했다. 무엇이 좋은 썸네일인지 항목별로 쪼개고 점수를 매길 수 있는, 이른바 정량화된 ‘평가 기준’이었다.

이를테면 ‘썸네일 문구는 14자 이내여야 한다’는 가이드가 있다면, 그 기준을 점수에 어떻게 반영할지 수식으로 적어 달라는 식이었다. ‘좋음’이라는 감각을 아주 미세한 단위의 규칙으로 파편화해 달라는 요구였다.

나는 처음부터 회의적이었다. 클릭률이 높은 썸네일은 문구가 정확히 14자여서 터진 게 아니다. 14자일 때 성공할 확률이 조금 더 높을 뿐, 실제로는 영상이 업로드된 시점의 시의성, 채널 고유의 정체성, 그날의 알고리즘과 화제성 같은 유기적인 맥락이 전부 얽혀 작용한 결과다.

그럼에도 프로젝트는 진행되었고, 수백 개의 영상에서 공통된 패턴을 뽑아 데이터로 정리했다. ‘얼굴은 크게, 글자는 짧게, 색상은 빨강 아니면 노랑.’

결론은 분명했다. 좋은 썸네일에서 사후적으로 규칙을 추출해 낼 수는 있었다. 그러나 역으로 그 규칙을 강박적으로 다 지킨다고 해서 반드시 좋은 썸네일이 만들어지는 것은 아니었다. 당시에는 이 기묘한 어긋남을 매끄럽게 설명하지 못했다. 한참이 지나서야 깨달았다. 문제는 AI에게 있던 게 아니라, ‘평가한다’는 행위의 무게를 우리가 너무 가볍게 여겼다는 데 있었다는 것을.

2. 평가란 본래 종합적인 일이다

좋은 이야기를 가려내는 일이 얼마나 복잡한지 깨달으려면, 인류가 그동안 그 일을 어떻게 해왔는지를 살펴보면 된다. 누구나 아는 고전, 셰익스피어의 「햄릿」을 예로 들어보자. 아버지를 잃은 왕자가 삼촌에게 복수를 다짐하지만, 정작 칼을 들지 못하고 끊임없이 망설인다. 그 유명한 “사느냐 죽느냐, 그것이 문제로다”라는 독백은 바로 이 지독한 망설임의 한복판에서 터져 나온다.

재미있는 점은 이 작품을 ‘좋다’고 평가할 때, 사람들은 저마다 전혀 다른 곳을 바라본다는 사실이다.

어떤 평론가는 오직 작품의 내부에만 침잠한다. 작가가 누구인지, 어느 시대에 쓰였는지는 일부러 지워둔 채 대사의 언어와 극의 구조가 얼마나 정교한가만을 따진다. “사느냐 죽느냐”라는 한 구절이 품은 운율과 팽팽한 긴장감만으로도 이 작품의 가치는 충분히 증명된다는 입장이다. 문학사에서는 이러한 관점을 형식주의, 혹은 신비평이라 부른다.

반면 어떤 평론가는 정반대의 길을 걷는다. 셰익스피어가 숨 쉬던 당대의 시대상, 유행하던 복수극의 전통, 죽음과 왕권을 둘러싼 시대적 관념을 배제한 「햄릿」은 반쪽짜리에 불과하다고 본다. 텍스트는 결국 시대를 비추는 거울이라는 시선, 이것이 바로 역사주의와 전기비평의 관점이다.

또 다른 평론가는 독자의 마음을 읽는다. 햄릿의 망설임은 누군가에겐 답답한 우유부단함으로, 누군가에겐 삶과 죽음을 통찰하는 깊은 사유로 다가간다. 같은 독백이라도 읽는 이에 따라 완전히 다른 작품이 되는 셈이다. 의미는 텍스트에 박제되어 있는 게 아니라 독자의 수용 과정을 통해 비로소 완성된다는 이 입장은 ‘독자반응이론’이라 불린다.

여기서 핵심은, 이 다양한 관점들이 사이좋게 하나의 공식으로 합쳐지지 않는다는 사실이다. 한쪽이 극찬한 정교한 형식을 다른 쪽에선 시대를 외면한 공허한 기교라 깎아내릴 수 있고, 독자를 뒤흔든 감동을 또 다른 쪽에선 설익은 감상주의라 밀어낼 수 있다. ‘좋은 작품’을 판정하는 단 하나의 객관적 잣대란 존재하지 않는다. 오히려 ‘좋음’의 정의 자체가 관점에 따라 치열하게 충돌한다.

그래서 좋은 평가자는 결코 하나의 잣대만을 고집하지 않는다. 여러 관점을 입체적으로 품은 채, 이 작품에는 어떤 렌즈가 얼마만큼 필요한지를 매 순간 새로 가늠한다. 그 가늠은 수학 공식이 아니라 오랜 읽기와 사유로 다듬어진 ‘직관’의 영역이다.

흥미롭게도, 텍스트 자체만 파고들던 형식주의자들조차 ‘좋음’은 결코 미세하게 쪼개질 수 없다는 것을 익히 알고 있었다. 그들은 한 편의 작품이 지닌 미학적 가치는 줄거리로 요약하거나 다른 언어로 치환하는 순간 증발해 버린다고 말했다. 가치란 작품을 구성하는 요소들이 유기적으로 얽혀 빚어내는 화학 반응이지, 부분으로 분해해서 더할 수 있는 산술적 합이 아니기 때문이다.

평가란 본래 그런 일이다. 서로 충돌하는 다층적인 기준들을 직관으로 종합해 내는 일. 그러므로 AI에게 점수를 매기게 하겠다는 시도는, 역설적으로 이 고차원적인 ‘종합의 과정’을 포기하겠다는 선언과 같다.

3. 그런데 AI는 점수를 매겨야 한다

나는 회사에서 그 ‘포기의 순간들’을 직접 목격했다. 스토리 생성 AI를 개발하던 당시, 우리 팀 역시 ‘좋은 글’을 가려낼 평가 기준을 세워야 했다. 그러나 그 고차원적인 기준들은 개발 프로세스를 거치며 자꾸만 ‘측정하기 쉬운 모양’으로 납작하게 깎여 나갔다. 특정 키워드가 어떤 순서로 등장해야 하는가, 핵심 요소가 몇 번이나 반복되는가 같은 정량적 지표들로 말이다. ‘좋음’이라는 감각이 그런 단순 수치로 환원될 리 없다는 걸 머리로는 알면서도, AI에게 채점을 맡기려면 결국 눈에 보이는 형태로 규격화하는 수밖에 없었다. 평가가 본래 지녀야 할 종합적인 성격은 그 타협의 과정에서 소리 없이 소멸했다.

이 딜레마는 학계의 최신 연구에서도 똑같이 반복된다. 대표적인 예가 난양공대와 중산대학교 연구진이 발표한 웹소설 평가 체계, 「WebNovelBench(웹소설 벤치마크)」(2025)다. 4,000편이 넘는 중국 웹소설 데이터를 기준선으로 구축해 두고, 그 위에 24개의 최신 대형언어모델(LLM)이 창작한 이야기를 올려놓은 뒤 줄을 세운 프로젝트다. 흥미로운 점은 이 방대한 텍스트를 심사하는 주체가 인간이 아니라는 사실이다. 고도로 훈련된 AI가 직접 이야기를 읽고 점수를 매긴다.

[도식 ①] WebNovelBench — 인간 작품 분포 위에 AI 24개를 줄세운 그림

AI 평론가는 과연 무엇을 채점할까. 연구진은 좋은 이야기의 요건을 서사 흐름, 캐릭터의 생동감, 사건의 개연성, 문체 등 여덟 개의 항목으로 분해했다. AI가 이 여덟 개의 칸에 각각 점수를 채워 넣으면, 연구진은 그 값을 통계적으로 합산해 “이 모델이 쓴 소설은 인간 작품 분포 중 상위 몇 퍼센트에 위치한다”며 기계적인 좌표를 찍는다. 이 연구가 던지는 질문은 노골적이다. ‘과연 AI는 인간이 쓴 명작을 능가하는 서사를 창작할 수 있는가.’

문제는 여덟 칸으로 쪼개는 그 순간 이미 시작된다. 형식주의와 역사주의가 치열하게 부딪치던 자리, 독자의 내면에서 작품이 매번 새롭게 태어나던 자리, 탁월한 평가자가 직관으로 종합해 내던 그 입체적인 공간이 통째로 증발해 버리기 때문이다. 남는 것은 오직 ‘측정 가능한 여덟 개의 칸’뿐이다. 점수를 매겨야만 하는 AI의 숙명을 위해, 측정되지 않는 플롯의 영혼을 버린 셈이다.

4. 측정할 수 있는 것만 남기면

측정할 수 있는 것만 남겨둔 평가의 끝에는 무엇이 기다리고 있을까. 컬럼비아 대학교와 세일즈포스 연구진은 인간-컴퓨터 상호작용(HCI) 분야 최고 권위 학회인 ‘CHI’에서 이 질문을 정면으로 파고들었다. 논문 제목부터 도발적이다. 「예술인가 인공물인가: 거대언어모델과 창의성이라는 거짓 약속(Art or Artifice? Large Language Models and the False Promise of Creativity)」(2024).

연구진은 창작 전문가들과 머리를 맞대고 문학적 창의성을 판가름할 14개의 검증 항목을 개발했다. “결말이 독자의 예상을 충분히 배반하는가”, “묘사가 장면을 생생하게 구현해 내는가”처럼 전문가가 합불(Pass/Fail)을 판정할 수 있는 정교한 질문들이었다. 연구진은 기성 작가의 단편소설과 AI의 단편소설을 무작위로 섞은 뒤, 다른 전문가 그룹에게 심사를 맡겼다.

결과는 두 갈래로 명확히 갈렸다. 먼저 순수한 ‘창작 역량’의 격차였다. 인간 작가의 작품은 평균 84.7%의 항목을 통과한 반면, AI의 작품은 고작 9%에서 30%를 통과하는 데 그쳤다. 적게는 서너 배에서 많게는 열 배까지 뒤처진 처참한 성적표였다. 그러나 진짜 심각한 균열은 두 번째 결과에서 드러났다. 똑같은 항목을 이번에는 ‘AI 심사위원’에게 채점하게 해보니, AI가 매긴 점수는 인간 전문가들의 판단과 거의 겹치지 않았다. 인간 전문가들 사이에서는 작품을 보는 눈에 견고한 합의가 이루어졌지만, AI의 채점만 그 합의망을 유유히 비껴가며 따로 놀았던 것이다. 어떤 이야기가 좋은지 묻는 대형 시험대 위에서, AI는 잘 쓰지도 못했을 뿐만 아니라 좋은 글을 알아보지도 못했다.

[도식 ②] Art or Artifice — 통과율 격차(전문가 84.7% vs AI 9~30%)와 평가 일치/불일치

그렇다면 AI는 대체 무엇을 기준으로 점수를 퍼준 것일까. 일본의 AI 연구소 ‘SB Intuitions’ 연구진이 머신러닝 분야 세계 최고 학회인 ‘뉴립스(NeurIPS)’ 워크숍에서 발표한 논문, 「심사자로서의 LLM이 보이는 자기 선호 편향(Self-Preference Bias in LLM-as-a-Judge)」(2024)이 결정적인 단서를 제공한다. 결론을 한 문장으로 압축하면 이렇다. AI는 ‘자기 입에 익은 글’, 즉 이미 학습해서 들어본 듯 매끄럽게 흘러가는 글을 좋은 글로 판정한다. 자기가 써냈을 법한 뻔하고 익숙한 문장 구조일수록 높은 점수를 준 것이다. 흥미롭게도 그 글을 진짜 자기가 쓴 것인지 아닌지는 중요하지 않았다. AI가 끌린 것은 ‘내 글’이 아니라 ‘나에게 익숙한 글’이었다.

[도식 ③] 자기 선호 편향 — AI에게 익숙한 정도와 좋다고 판정한 비율 (AI는 가파르게, 사람은 평평하게)

여기서 모든 힌트가 하나의 선으로 맞아떨어진다. 비평의 종합성과 직관을 거세하고 오직 ‘잴 수 있는 것’만 남겨두었을 때, AI가 손에 쥔 유일한 잣대는 ‘얼마나 익숙하고 매끄러운가’였다. 익숙함은 기계적으로 깔끔하게 측정된다. 평균적인 데이터의 합산이기 때문이다. 다만, 그것은 결코 ‘좋음’이 아니었다. 좋음을 재겠다는 명목으로 측정 가능한 껍데기만 남겨둔 자리에, 정작 우리가 원했던 좋음의 알맹이는 증발하고 없었다.

5. 직관이 빠진 평가

물론 이러한 측정의 시도들이 무가치하다는 뜻은 아니다. AI 채점은 압도적으로 빠르고, 일관되며, 비용이 적게 든다. 수백 명의 인간 평가단을 모으는 데 드는 시간과 자본을 고려하면, 이 기술적 도구가 왜 필요한지는 너무나 명확하다. 그 실용적인 쓸모까지 부정할 생각은 전혀 없다.

다만 우리가 효율성을 위해 ‘무엇을 포기했는지’만큼은 정직하게 응시해야 한다. 앞서 살펴보았듯 평가란 본디 충돌하는 여러 기준을 직관으로 종합하는 일이다. 그러나 AI에게 채점의 전권을 넘기는 순간, 우리는 그 고차원적인 종합 과정을 버리고 기계가 측정하기 쉬운 한 줌의 데이터만 남겨두게 된다. 유튜브 클릭률로 좋은 썸네일을 규정할 때 잃어버린 것과, 문학적 서사를 여덟 칸의 항목으로 쪼갤 때 잃어버린 것은 본질적으로 같다. 부딪히는 맥락들을 견뎌내며 인간의 직관으로 종합하던, 바로 그 비평의 본령 말이다.

그러므로 이 거대한 벽은 AI 모델이 앞으로 더 진화한다고 해서 허물어지지 않는다. 본질적인 모순은 AI의 기술적 한계가 아니라, 애초에 종합해야 할 입체적인 가치를 ‘단일한 점수’로 납작하게 눌러버린 설계 자체에 있기 때문이다. 미래의 더 똑똑한 AI는 그 손에 쥔 한 줌의 모래를 조금 더 정밀하게 계측할 뿐, 이미 버려진 플롯의 영혼을 되살려내지는 못한다. 재미를 점수로 환원하려는 모든 시도는, 언제나 그 점수가 끝내 담아내지 못하는 거대한 공백을 남긴다.

그러니 다시, 처음의 질문으로 돌아가 보자. 재미를 점수로 매길 수 있을까.

점수를 매길 수는 있다. 다만 그 숫자가 진짜 재미를 뜻하는가는 전혀 다른 문제다. 모두가 평가의 효율을 말할 때, 우리는 AI가 끝내 보지 못하는 이야기의 코어가 무엇인지, 그 본질을 질문해야 한다. 숫자로 환원되지 않는 진짜 재미의 정체를 찾아가는 여정은 다음 글에서도 계속된다.

Reference

Dingyi Yang, Qin Jin, “What Makes a Good Story and How Can We Measure It? A Comprehensive Survey of Story Evaluation,” arXiv:2408.14622, 2024. (인민대학교)
Leon Lin, Jun Zheng, Haidong Wang, “WebNovelBench: Placing LLM Novelists on the Web Novel Distribution,” Findings of EACL 2026, arXiv:2505.14818. (난양공대·중산대)
Tuhin Chakrabarty, Philippe Laban, Divyansh Agarwal, Smaranda Muresan, Chien-Sheng Wu, “Art or Artifice? Large Language Models and the False Promise of Creativity,” CHI 2024, arXiv:2309.14556. (컬럼비아대·세일즈포스)
Mete Ismayilzada, Claire Stevenson, Lonneke van der Plas, “Evaluating Creative Short Story Generation in Humans and Large Language Models,” ICCC 2025, arXiv:2411.02316. (EPFL·암스테르담대)
Koki Wataoka, Tsubasa Takahashi, Ryokan Ri, “Self-Preference Bias in LLM-as-a-Judge,” NeurIPS 2024 Safe Generative AI Workshop, arXiv:2410.21819. (SB Intuitions)

「AI는 이야기를 모른다」는 AI매터스에서 격주 수요일마다 연재됩니다.