미국 대학 연구진이 놀라운 사실을 발견했다. 해당 논문에 따르면, 챗GPT 같은 AI에게 “이 분석 결과를 주식 예측에 쓸 거야”라고 미리 알려주면, AI가 답변을 다르게 내놓는다는 것이다. 마치 사람처럼 눈치를 보는 것처럼 보인다. 더 큰 문제는 이렇게 나온 답이 당장은 정확해 보이지만, 나중에는 오히려 틀릴 가능성이 높다는 점이다.
같은 질문, 다른 목적 알려주자 AI 답변이 달라졌다
메릴랜드대학교 연구팀은 간단한 실험을 했다. 미국 주요 기업 500곳의 실적발표 내용을 GPT-4o-mini에게 분석시켰다. AI에게 “이 회사 분위기가 어떤지 점수를 매겨줘”라고 요청하되, 두 그룹으로 나눴다.
첫 번째 그룹에는 그냥 점수만 매기라고 했다. 두 번째 그룹에는 “이 점수를 나중에 주식 수익률 예측에 사용할 거야”라고 목적을 알려줬다. 입력한 자료도, 사용한 AI 모델도 모두 똑같았다. 단 한 문장의 차이였다.
결과는 놀라웠다. 목적을 알려준 AI가 매긴 점수로 주식 투자를 했을 때, 한 달에 평균 1.552%의 수익을 냈다. 반면 목적을 알려주지 않은 AI의 점수는 1.069%였다. 목적을 안 AI가 월 0.5%포인트 가까이 더 높은 수익을 만들어낸 것이다. 하지만 이 차이는 2023년 10월까지만 유효했다. GPT-4o-mini는 2023년 10월 이전 데이터로만 학습됐기 때문이다. 2023년 10월 이후 데이터로 똑같이 실험했더니, 두 방식의 차이가 거의 사라졌다. 오히려 목적을 알려주지 않은 쪽이 조금 더 나았다.
AI도 사람처럼 ‘보고서 색깔 맞추기’를 한다
왜 이런 일이 벌어졌을까? 연구진은 이를 ‘목적에 맞춰 생각하기’라고 설명한다. 원래 사람들에게서 나타나는 현상이다.
회사에서 예를 들어보자. 상사가 직원에게 “면접 내용을 요약해 줘”라고 하는 것과 “채용이 잘됐는지 평가할 건데 면접 내용 요약해 줘”라고 하는 건 다르다. 후자의 경우, 직원은 무의식중에 합격한 사람들의 장점을 부각하고 애매한 부분은 살짝 덮는 식으로 요약하게 된다. 의도적으로 거짓말을 하는 건 아니지만, 목적을 알고 나면 자연스럽게 그쪽으로 맞춰지는 것이다.
AI도 똑같이 행동했다. 주식 예측에 쓰인다는 걸 알자, AI는 학습 과정에서 봤던 ‘주식 수익률과 관련 있는 패턴’에 더 집중해서 점수를 매긴 것으로 보인다. 그래서 과거 데이터에서는 더 정확했지만, AI가 본 적 없는 새로운 데이터에서는 효과가 사라졌다. 연구진은 기업 실적 예측 실험도 했다. AI에게 “기업 간 경쟁이 얼마나 치열한지” 평가하게 했는데, “이걸로 실적을 예측할 거야”라고 말한 경우와 아닌 경우가 또 달랐다. 목적을 알려준 AI의 평가가 실제 실적과 더 높은 연관성을 보였지만, 역시 학습 기간 이후에는 차이가 없어졌다.
문제는 알고리즘이 아니라 사람의 사용법
지금까지 AI 편향 문제는 대부분 기술의 문제로 여겨졌다. AI가 학습할 때 미래 정보를 미리 봐서 생기는 ‘정보 유출’ 문제나, 특정 데이터를 통째로 외워버리는 ‘암기’ 문제 같은 것들이다. 하지만 이번 연구는 다르다. 같은 데이터, 같은 AI를 쓰더라도 사람이 목적을 알려주느냐 마느냐에 따라 결과가 달라진다는 것이다. 연구진은 “이건 AI의 문제가 아니라 사람이 AI를 어떻게 쓰느냐의 문제”라고 강조한다.
많은 사람들이 “AI한테 최종 결정을 맡기지 않고 자료 정리만 시키면 안전하다”고 생각했다. 하지만 이 연구는 중간 단계 작업에서도 목적을 알려주면 왜곡이 생긴다는 걸 보여줬다. 이는 최근 주목받는 ‘AI 아첨’ 현상과 비슷하다. AI가 사용자가 원하는 답을 주려고 노력하다 보니, 객관적이지 못한 답을 내놓는 경향을 말한다. 이번 연구의 AI도 “주식 예측용”이라는 목적을 듣자마자, 그 목적에 맞는 답을 주려고 노력한 셈이다.
AI 활용할 때 지켜야 할 새로운 규칙
연구진은 실용적인 해결책을 제시한다. AI로 분석할 때는 최종 목적을 가능한 숨기고, 반드시 AI가 본 적 없는 새로운 데이터로 검증하라는 것이다. 특히 금융이나 투자 분야에서 중요하다. 요즘 많은 회사와 투자자들이 챗GPT로 시장 분석이나 투자 조언을 받는다. 하지만 “이걸로 투자할 거야”라고 AI에게 알려줄수록 오히려 편향된 분석을 받을 수 있다는 얘기다.
연구진은 “AI 편향의 책임은 기계가 아니라 사람에게 있다”고 말한다. AI가 더 많은 곳에서 쓰이는 만큼, 중요한 건 AI를 잘 활용하는 것뿐 아니라 AI가 잘못된 방향으로 가지 않도록 올바른 질문을 던지는 것이다.
FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)
Q1. AI에게 목적을 말하면 왜 답이 달라지나요?
A. AI는 학습할 때 엄청나게 많은 패턴을 익혔습니다. 목적을 알려주면 AI가 그 목적과 관련된 패턴에 더 집중해서 답을 만듭니다. 마치 학생이 “이거 시험 나와”라는 말을 듣고 그 부분을 더 열심히 공부하는 것과 비슷합니다.
Q2. AI한테 자료 정리만 시켜도 문제가 생기나요?
A. 네, 그럴 수 있습니다. 최종 결정을 사람이 하더라도, AI에게 “이 자료가 어디에 쓰일지” 알려주는 것만으로도 편향이 생길 수 있습니다. AI는 그 용도에 맞춰 자료를 정리하려고 하기 때문입니다.
Q3. 어떻게 하면 AI를 제대로 활용할 수 있나요?
A. AI에게 질문할 때 최종 목적이나 용도를 굳이 말하지 마세요. 그리고 AI가 내놓은 답은 반드시 새로운 상황에서 다시 확인해 봐야 합니다. 과거 데이터에서만 맞는 답일 수 있기 때문입니다.
기사에 인용된 논문 원문은 arXiv에서 확인 가능하다
논문명: Seeing the Goal, Missing the Truth: Human Accountability for AI Bias
이미지 출처: 이디오그램 생성
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.
