같은 AI 써도 결과 4배 차이나는 이유… 직장인 74%가 놓치고 있는 AI 활용 비법

How and for Whom Using Generative AI Affects Creativity: A Field Experiment

직장에서 생성형 AI 도구가 직원의 창의성을 높일 수 있는지에 대한 의문이 새로운 연구를 통해 해답을 찾았다. 미국의 튤린 대학 연구진과 중국 인민대학 연구진 등이 참여한 국제 공동 연구진이 중국의 기술 컨설팅 회사에서 진행한 현장 실험 연구에 따르면, 대규모 언어모델(LLM) 기반 생성형 AI가 직원의 창의성을 향상시킬 수 있지만, 그 효과는 개인의 메타인지 전략 능력에 크게 좌우되는 것으로 나타났다.

갤럽 26% vs 현장실험 84% 상승: 같은 AI 도구, 다른 결과의 비밀

갤럽(Gallup)이 실시한 대규모 전국 조사에서는 LLM 도구를 사용하는 직원 중 단 26%만이 창의성 향상을 보고했다. 이러한 낮은 수치는 많은 기업들이 생성형 AI 도구에 막대한 투자를 하고 있음에도 불구하고 실제 창의성 증진 효과에 대한 의문을 제기했다.

하지만 연구진이 공개한 논문에 따르면, 앞서 언급한 현장 실험에서는 다른 결과가 나왔다. 연구진은 직원들을 무작위로 두 그룹으로 나누어 한 그룹에게는 챗GPT(ChatGPT) 접근 권한을 제공하고, 다른 그룹에게는 제공하지 않았다. 1주일 후 상사와 외부 평가자들이 각 직원의 창의성을 평가한 결과, LLM 지원을 받은 그룹에서 상당한 창의성 향상이 관찰되었다. 특히 주목할 점은 상사가 평가한 창의성 점수에서 LLM 지원 그룹이 통제 그룹보다 0.84점 높았으며, 외부 평가자들이 측정한 참신성(novelty) 점수에서도 0.25점 높은 결과를 보였다는 것이다. 이는 기존의 갤럽 조사 결과와는 상당히 다른 양상을 보여준다.

AI가 창의성을 0.66점 높이는 숨겨진 메커니즘: 인지적 직무 자원의 발견

연구진은 LLM이 창의성을 향상시키는 메커니즘을 ‘인지적 직무 자원(cognitive job resources)’ 이론으로 설명했다. 인지적 직무 자원은 업무의 인지적 요구사항을 해결하는 데 필요한 자원으로, 정보와 지식에 대한 접근성, 그리고 다양한 업무 측면을 결정하고 문제 해결 기술을 사용할 수 있는 기회를 포함한다.

LLM은 방대한 데이터 코퍼스(corpus)를 기반으로 훈련되어 다양한 지식 기반에 대한 접근을 도와주고, 정보를 접근 가능한 형태로 요약하고 설명할 수 있다. 또한 직원들이 복잡한 업무와 단순한 업무 사이를 전환하거나 정신적 휴식을 취할 수 있는 기회를 제공함으로써 인지적 고착화를 방지하고 창의적 통찰력을 높일 수 있다.

실제로 연구 결과에서 LLM 지원은 인지적 직무 자원을 0.66점 증가시켰으며, 이러한 인지적 직무 자원의 향상이 창의성 증진으로 이어지는 매개 효과가 확인되었다. 창의성에 대한 간접 효과는 0.14로 통계적으로 유의미했다.

성공률 1.01 vs 0.26: 메타인지 전략 수준이 AI 효과를 4배 좌우한다

가장 흥미로운 발견은 메타인지 전략(metacognitive strategies)의 조절 효과였다. 메타인지 전략은 목표 달성과 문제 해결을 위해 자신의 사고를 적극적으로 모니터링하고 조절하는 능력을 의미한다. 여기에는 “업무 수행에 필요한 단계들을 체계적으로 생각하기”, “자신의 접근 방식이 얼마나 효과적인지 추적하기”, “진전이 없을 때 접근 방식을 재평가하기” 등이 포함된다.

연구 결과, 메타인지 전략 수준이 높은 직원들은 LLM을 효과적으로 활용하여 인지적 직무 자원을 획득할 수 있었던 반면, 메타인지 전략 수준이 낮은 직원들은 LLM 접근 권한이 있어도 유의미한 개선을 보이지 않았다. 구체적으로 메타인지 전략이 높은 직원들의 경우 LLM 사용이 인지적 직무 자원을 1.01점 증가시켰지만, 메타인지 전략이 낮은 직원들의 경우 단 0.26점 증가에 그쳤다.

존슨-네이만 기법(Johnson-Neyman technique)을 사용한 분석에서는 메타인지 전략 점수가 평균 대비 -0.58 이상일 때만 LLM 사용의 효과가 유의미하게 나타난다는 임계점이 확인되었다. 이는 생성형 AI의 효과가 사용자의 메타인지 능력에 크게 의존한다는 것을 시사한다.

2.5시간 교육으로 AI 활용 능력 극대화: 기업 도입 전략의 새로운 패러다임

이 연구 결과는 기업들이 생성형 AI 도구를 도입할 때 단순히 기술 제공에만 그쳐서는 안 된다는 중요한 시사점을 제공한다. 연구진은 조직들이 직원의 메타인지 능력을 고려하고 이러한 능력을 개발하는 데 투자해야 한다고 강조했다.

다행히 메타인지 전략은 개인차로 여겨지지만 훈련을 통해 개발 가능한 능력이다. 연구에서 제시된 방법들로는 간단한 사회심리학적 연습부터 2.5시간의 메타인지 교육과 오류 관리를 결합한 훈련, 그리고 수일에서 수주에 걸친 장기 프로그램까지 다양하다. 예를 들어, 일부 연구에서는 일화와 연구 결과를 활용한 간단한 온라인 연습만으로도 메타인지 전략을 향상시킬 수 있음을 보여주었다.

조직들은 예산과 우선순위에 따라 간단한 개입 방법이나 보다 광범위한 프로그램을 채택할 수 있으며, 훈련과 선별적 채용을 결합하는 방법도 고려할 수 있다. 하지만 후자의 비용 효율성은 노동 시장 상황에 따라 달라질 수 있다.

FAQ

Q: 생성형 AI가 모든 직원의 창의성을 자동으로 향상시키나요?

A: 아닙니다. 연구 결과에 따르면 생성형 AI의 창의성 향상 효과는 사용자의 메타인지 전략 능력에 크게 좌우됩니다. 높은 메타인지 전략을 가진 직원들만이 AI를 효과적으로 활용하여 창의성을 크게 향상시킬 수 있었습니다.

Q: 메타인지 전략이란 무엇이며 어떻게 개발할 수 있나요?

A: 메타인지 전략은 자신의 사고 과정을 적극적으로 모니터링하고 조절하는 능력입니다. 업무 단계를 체계적으로 계획하고, 접근 방식의 효과를 추적하며, 필요시 전략을 수정하는 것을 포함합니다. 다행히 이러한 능력은 간단한 온라인 연습부터 체계적인 교육 프로그램까지 다양한 방법으로 개발할 수 있습니다.

Q: 기업에서 생성형 AI 도입 시 어떤 점을 주의해야 하나요?

A: 단순히 AI 도구만 제공하는 것으로는 충분하지 않습니다. 직원들의 메타인지 능력을 평가하고 이를 개발하는 교육 프로그램을 함께 운영해야 합니다. 또한 AI 사용이 직원을 대체하는 것이 아니라 지원하는 도구임을 명확히 하여 직업 안정성에 대한 우려를 완화해야 합니다.

해당 기사에 인용된 논문 원문은 Research Gate에서 확인 가능하다.

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.