AI 코딩 도구가 개발자를 빠르게 만들어줄까? 앤트로픽(Anthropic)의 실험 결과는 충격적이었다. 해당 논문에 따르면, AI로 코딩을 배운 개발자들은 AI 없이 배운 개발자들보다 실력 테스트에서 17% 낮은 점수를 받았고, 작업 속도도 빠르지 않았다. 52명의 개발자를 대상으로 한 이번 연구는 AI 의존이 당장은 편할지 몰라도 진짜 실력 향상을 방해할 수 있다는 경고를 던진다.
AI 쓴 그룹 vs 안 쓴 그룹, 평균 점수 2등급 차이… 오류 고치는 능력 가장 큰 격차
실험의 핵심은 AI 도구가 배우는 것에 어떤 영향을 주는지 알아보는 것이었다. 참가자들은 평균 4년 넘게 코딩을 해온 전문 개발자들이었고, 파이썬을 일주일에 한 번 이상 쓰는 숙련자들이었다. 이들에게 처음 보는 프로그래밍 도구로 두 가지 과제를 35분 안에 끝내라고 했고, 그 후에 이해도를 묻는 퀴즈를 풀게 했다.
AI 도우미를 쓴 그룹은 평균 50점을 받았고, AI 없이 한 그룹은 67점을 받았다. 27점 만점 기준으로 4.15점 차이가 났는데, 이는 학교 성적으로 치면 약 2등급 차이다. 통계적으로도 확실한 차이였다. 특히 프로그램 오류를 찾는 문제에서 점수 차이가 제일 컸다. AI를 쓴 그룹은 새로운 도구를 쓰면서 생기는 오류를 훨씬 적게 겪었기 때문에, 실제로 문제가 생겼을 때 원인을 찾고 해결하는 능력이 발달하지 않았다.
흥미로운 건 작업 끝내는 시간에서는 별 차이가 없었다는 것이다. AI를 쓴 그룹은 평균 23분, 안 쓴 그룹은 24.5분으로 거의 똑같았다. AI가 코드를 바로 만들어줘도, 참가자들이 AI에게 질문하고 답을 기다리는 데 시간을 썼기 때문이다. 어떤 참가자는 AI에게 15개가 넘는 질문을 했고, 전체 시간의 30% 이상을 질문 만드는 데 썼다.
AI 사용법 6가지 중 3가지만 제대로 배워… 핵심은 ‘스스로 생각하기’
연구진이 참가자들이 작업하는 모습을 녹화해서 분석한 결과, AI를 쓰는 방식이 6가지로 나뉘었다. 이 중 3가지는 좋은 점수를 받았고(65-86점), 3가지는 나쁜 점수를 받았다(24-39점). 차이를 만든 건 ‘스스로 생각하며 참여했는가’였다.
낮은 점수를 받은 방식은 이렇다. 첫째, ‘AI에게 전부 맡기기’였다. 참가자들이 AI에게 코드 작성을 완전히 맡기고 결과를 그대로 붙여넣었다. 이 그룹은 가장 빨리 끝냈지만(19.5분) 점수는 39점에 불과했다. 둘째, ‘점점 AI에 의존하기’였다. 첫 번째 과제에서는 질문 1-2개만 하다가 두 번째 과제에서 모든 걸 AI에 맡기는 방식이었다. 이 그룹은 35점을 받았다. 셋째, ‘AI로 계속 확인하기’였다. 코드 검사나 오류 수정을 AI에 의존하는 방식이었다. 5-15개의 질문을 하며 오래 걸렸지만(31분), 점수는 24점으로 제일 낮았다.
반대로 좋은 점수를 받은 방식들은 모두 적극적으로 배우는 요소가 있었다. ‘개념만 물어보기’ 방식은 AI에 개념적 질문만 하고 코드는 직접 쓰는 것으로, 68점을 받았고 시간도 22분으로 빨랐다. ‘코드랑 설명 같이 받기’ 방식은 코드를 만들어달라고 하되 반드시 설명도 함께 요청하는 것으로, 65점을 받았다. ‘만들고 나서 이해하기’ 방식은 AI가 코드를 만든 뒤 추가로 질문해서 이해를 높이는 것으로, 86점으로 가장 높은 점수를 받았다.
오류 겪은 횟수 3배 차이가 실력 차이로… AI 안 쓴 그룹은 에러 통해 실력 향상
AI를 쓰는지 안 쓰는지에 따라 개발자들이 겪는 오류 횟수도 크게 달랐다. AI를 안 쓴 그룹은 평균적으로 3개의 오류를 겪었고, AI를 쓴 그룹은 1개만 겪었다. AI를 쓴 그룹 26명 중 12명은 오류를 한 번도 겪지 않고 과제를 끝냈다.
오류의 종류도 중요한 차이를 보였다. 기본적인 파이썬 문법 실수는 두 그룹 다 비슷하게 겪었지만, 새로운 도구와 관련된 오류는 AI를 안 쓴 그룹에서 훨씬 많이 생겼다. 예를 들어 특정 경고 메시지는 프로그래밍의 핵심 개념을 이해해야 해결할 수 있는데, AI를 안 쓴 그룹은 이런 오류를 직접 겪고 해결하면서 개념을 체득했지만, AI를 쓴 그룹은 이 과정을 건너뛰었다.
연구진은 오류를 겪고 혼자 해결하는 과정이 실력을 늘리는 핵심이라고 강조했다. AI 안 쓴 그룹은 더 많이 ‘직접 코딩하는 시간’을 가졌고, 이게 더 높은 점수로 이어졌다. 반면 AI를 쓴 그룹은 직접 코딩하는 시간이 줄고 AI와 대화하거나 AI가 만든 코드를 이해하는 데 시간을 썼다.
“AI로 빨라지는 건 공짜가 아니다”… 안전 중요한 분야는 특히 조심해야
이번 연구는 AI 도구가 가져온 편리함이 ‘공짜’가 아닐 수 있음을 보여준다. 특히 새로운 기술을 배우는 초보 개발자들에게는 AI에 의존하는 게 장기적으로 실력 개발을 방해할 수 있다. 연구진은 “AI가 생산성을 높이는 지름길이 아니며, 특히 안전이 중요한 분야에서는 실력 습득을 지키기 위해 조심스럽게 도입해야 한다”고 경고했다.
연구를 진행한 주디 한웬 션(Judy Hanwen Shen)과 알렉스 탬킨(Alex Tamkin)은 앤트로픽의 연구원들이다. 이들은 소프트웨어 개발이 AI 도구가 쉽게 쓰이고 생산성 향상이 증명된 분야지만, 동시에 사람이 감독하는 능력이 계속 중요한 분야라는 점에서 이번 연구를 설계했다고 밝혔다. AI가 쓴 코드를 검사하고 오류를 고치려면 개발자 스스로 코드를 이해하고 문제를 찾을 수 있어야 하는데, AI에 의존해서 배우면 이 능력이 약해진다는 것이다.
연구의 한계도 있다. 실험 시간이 1시간에 불과했고, 실제 일터가 아닌 통제된 환경에서 진행됐다는 점이다. 또한 대화형 AI 도우미를 사용했는데, 최근 나온 자동으로 코딩하는 AI 도구는 사람이 더 적게 참여하므로 배우는 효과가 더 나쁠 수 있다고 연구진은 지적했다.
그래도 이번 연구는 AI 시대에 전문성을 어떻게 키울 것인가라는 중요한 질문을 던진다. 연구진은 개발자들이 AI를 쓰더라도 ‘스스로 생각하는 노력’을 유지해야 한다고 조언한다. 단순히 코드를 만들어달라고만 하지 말고 개념을 물어보거나, 만들어진 코드에 대한 설명을 요청하거나, 혼자 문제를 풀어본 뒤 AI로 확인하는 방식이 배우는 효과를 지키는 방법이다.
FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)
Q1. AI 코딩 도구를 쓰면 무조건 실력이 떨어지나요?
A1. 아닙니다. 연구에 따르면 AI를 어떻게 쓰느냐가 중요합니다. AI에게 그냥 코드만 만들어달라고 하면 배우는 효과가 떨어지지만, 개념을 물어보거나 만들어진 코드 설명을 함께 요청하면 배우는 효과를 유지할 수 있습니다. 핵심은 AI를 쓰면서도 스스로 생각하고 이해하려고 노력하는 것입니다.
Q2. 경험 많은 개발자도 AI 쓰면 배우는 효과가 떨어지나요?
A2. 이번 연구에서는 평균 4년 넘게 일한 개발자들을 대상으로 했는데, 경험과 관계없이 AI 안 쓴 그룹이 더 높은 점수를 받았습니다. 다만 새로운 기술을 배우는 상황에서의 결과이므로, 이미 아는 기술을 쓸 때는 결과가 다를 수 있습니다. 초보 개발자일수록 새로운 기술을 배울 때 AI 의존에 더 조심해야 합니다.
Q3. AI 코딩 도구를 쓰면서도 실력을 유지하려면 어떻게 해야 하나요?
A3. 연구에서 제시한 효과적인 방법은 이렇습니다. 첫째, AI에게 코드만 달라고 하지 말고 반드시 설명도 함께 요청합니다. 둘째, 개념 질문에만 AI를 쓰고 코드는 직접 작성합니다. 셋째, AI가 만든 코드를 받은 후 추가로 질문해서 이해를 깊게 만듭니다. 넷째, 오류가 생겼을 때 바로 AI에 물어보지 말고 혼자 해결을 시도한 뒤 AI로 확인합니다.
기사에 인용된 리포트 원문은 arXiv에서 확인 가능하다.
리포트명: How AI Impacts Skill Formation
이미지 출처: 앤트로픽
해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.
