The Effects of Generative AI on High Skilled Work: Evidence from Three Field Experiments with Software Developers
AI 코딩 도우미의 실제 현장 효과 입증
깃허브 코파일럿(GitHub Copilot)과 같은 AI 코딩 도우미를 사용한 소프트웨어 개발자들의 생산성이 26% 향상된 것으로 나타났다. 특히 경력이 적은 개발자일수록 더 큰 효과를 보였다. 마이크로소프트(Microsoft), 액센추어(Accenture), 그리고 한 전자제조 기업의 4,867명의 개발자를 대상으로 실시한 실험에서 도출된 결과다.
해당 연구를 진행한 대학 연구진은 개발자들을 무작위로 나눠 한 그룹에만 코파일럿을 제공하고 생산성 변화를 관찰했다. 분석 결과 AI 코딩 도우미의 도입으로 개발자들의 주간 ‘풀 리퀘스트(Pull Request)’ 완료 건수가 26.08% 증가했으며, 코드 업데이트(커밋) 횟수는 13.55%, 코드 컴파일 횟수는 38.38% 각각 증가한 것으로 나타났다.
신입·주니어급 개발자가 더 적극적으로 활용
특히 마이크로소프트 실험에서는 근속기간이 짧은 개발자들의 생산성 향상이 더욱 두드러졌다. 주니어급 개발자들의 풀 리퀘스트는 40%, 코드 업데이트는 21%, 컴파일은 29% 증가한 반면, 시니어급 개발자들은 각각 7%, 16%, 13% 증가에 그쳤다.
AI 도구의 수용도에서도 차이가 났다. 근속기간이 짧은 개발자들의 코파일럿 도입률은 84.3%였으나, 장기 근속자들은 74.8%에 그쳐 9.5%포인트의 격차를 보였다. 주니어급 개발자(82.1%)와 시니어급 개발자(76.8%) 사이에서도 5.3%포인트의 차이가 나타났다.
더불어 근속기간이 짧은 개발자들은 초기 도입 이후에도 지속적으로 코파일럿을 활용하는 경향을 보였다. 이는 경력이 적은 개발자들이 AI 도구에서 더 큰 이점을 기대하는 것으로 해석된다. 한편 AI가 제안한 코드를 수용하는 비율에서도 차이가 나타났는데, 장기 근속자들은 단기 근속자들보다 4.3% 더 낮은 수용률을 보였다.
실험 설계와 주요 발견
이번 연구는 각 기업의 일상적인 업무 환경에서 진행됐다. 마이크로소프트의 경우 2022년 9월부터 1,746명의 개발자를 대상으로 실험을 시작했으며, 이 중 50.4%에게 코파일럿 접근 권한을 부여했다. 액센추어는 2023년 7월부터 320명의 개발자를 대상으로 실험을 진행했고, 61.3%가 실험군에 배정됐다. 익명의 전자제조 기업은 2023년 10월부터 3,054명의 개발자를 대상으로 단계적으로 코파일럿을 도입했다.
주목할 만한 점은 모든 실험에서 코파일럿 도입률이 100%에 미치지 못했다는 것이다. 이는 AI 도구 도입에 있어 접근성뿐만 아니라 개인의 선호도와 도구의 유용성 인식이 중요한 역할을 한다는 것을 시사한다. 또한 세 실험 모두에서 비슷한 수준의 도입률을 보였다는 점도 흥미로운 발견이다.
AI 도구의 실무 영향력 확인
이번 연구는 실제 기업 현장에서 AI 도구의 효과를 검증했다는 점에서 의의가 크다. 기존의 연구들이 주로 통제된 실험실 환경이나 단기적인 효과를 분석했던 것과 달리, 이번 연구는 실제 업무 환경에서 장기간에 걸쳐 AI 도구의 영향을 관찰했다.
연구진은 “코파일럿과 같은 AI 도구가 특히 경험이 적은 개발자들의 생산성을 크게 향상시킬 수 있음을 확인했다”며 “이는 AI가 고숙련 직종에서도 유의미한 생산성 향상을 가져올 수 있다는 것을 보여준다”고 설명했다.
이번 연구 결과는 AI 도구가 개발자의 생산성을 실질적으로 향상시킬 수 있으며, 특히 경력이 적은 개발자들에게 더 큰 도움이 될 수 있다는 점을 시사한다. 이는 향후 기업들의 AI 도구 도입 전략과 인력 개발 정책 수립에 중요한 시사점을 제공할 것으로 기대된다.
기사에 인용된 리포트 원문은 링크에서 확인할 수 있다.
기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.
관련 콘텐츠 더보기
