생성형 AI, 개발자 생산성 2.1% 높이지만 소프트웨어 안정성은 7.2% 떨어뜨린다

Impact of Generative AI in Software Development

AI 도입 25% 증가 시 개발자 집중도 2.6%, 직무 만족도 2.2% 상승하나 가치 있는 작업 시간은 줄어

소프트웨어 개발 세계에서 생성형 인공지능(Generative AI)의 영향이 깊어지고 있다. 2025 DORA 보고서에 따르면 조직의 89%가 애플리케이션에 AI 통합을 우선시하고 있으며, 기술자의 76%가 이미 일상 업무의 일부에서 AI에 의존하고 있다. 이러한 ‘AI 시대’는 향후 5년간 주요 기술 기업들이 AI 개발에 약 1조 달러를 투자할 것으로 예상되는 상황에서 더욱 가속화되고 있다.

DORA 연구팀의 조사 결과, 생성형 AI 사용이 개발자들의 작업 흐름에 상당한 영향을 미치고 있는 것으로 나타났다. 더 구체적으로, AI 사용률이 25% 증가할 때 개발자들의 집중도(Flow)는 2.6%, 직무 만족도는 2.2%, 생산성은 2.1% 증가하는 것으로 나타났다. 특히, AI는 여러 정보 소스를 합성하고 단일 위치에서 맞춤형 응답을 제공하는 능력 덕분에 개발자들의 작업 효율성을 향상시키는 것으로 밝혀졌다.

그러나 흥미롭게도 AI 도입이 어떤 면에서는 예상과 다른 결과를 보였다. 연구진은 AI가 반복적이고 단조로운 작업을 자동화하여 개발자들이 “더 가치 있는 일”에 시간을 쓸 수 있을 것이라 예상했으나, 실제로는 AI 도입이 증가할수록 가치 있는 작업에 할애하는 시간이 2.6% 감소하는 결과가 나타났다. 또한 반복적 작업(toil)에 소요되는 시간은 거의 변화가 없었다.

개발자의 ‘가치 있는 작업’ 정의 연구: 90분간 10건의 심층 인터뷰로 발견한 5가지 가치 관점

이러한 역설적인 결과를 이해하기 위해 DORA 팀은 개발자들이 ‘가치 있는 작업’을 어떻게 정의하는지 심층적으로 조사했다. 2024년 9월에 진행된 약 90분 길이의 10건의 심층 인터뷰를 통해 연구진은 개발자들이 작업의 가치를 다섯 가지 주요 관점에서 바라본다는 것을 발견했다.

실용적 가치(Utilitarian Value)는 개발자의 작업이 세상에 미치는 영향을 의미하며, 평판적 가치(Reputational Value)는 개인이 작업을 수행했다는 인정을 받는 것에 관한 것이다. 경제적 가치(Economic Value)는 개발 작업에 따른 급여를 의미하고, 내재적 가치(Intrinsic Value)는 개발 작업의 본질적 가치를 뜻한다. 마지막으로 쾌락적 가치(Hedonistic Value)는 특정 작업 수행에서 오는 즐거움을 가리킨다.

여기서 AI는 개발자의 생산성을 높이면서도 반복적 작업보다는 가치 있는 작업을 빠르게 완수하도록 돕는 역할을 하고 있다. 연구진은 이를 “진공 가설(vacuum hypothesis)”이라고 명명했다. 이는 AI가 개발자들의 작업에서 가치를 빼앗는 것이 아니라, 가치를 더 빨리 실현하도록 도와 시간이 절약된다는 개념이다.

AI 도입 25% 증가 시 문서화 품질 7.5%, 코드 품질 3.4% 향상되는 조직적 영향

AI 도입은 개인 수준뿐만 아니라 조직 수준에서도 긍정적인 영향을 미치고 있다. AI 도입이 25% 증가할 때, 문서화 품질은 7.5%, 코드 품질은 3.4%, 코드 리뷰 속도는 3.1%, 승인 속도는 1.3% 증가하는 것으로 나타났다. 또한 코드 복잡성은 1.8% 감소했다.

2024 DORA 보고서에 따르면, 응답자의 67%가 AI가 코드 작성을 개선하는 데 도움이 된다고 보고했다. AI는 코드 품질을 향상시키고 코드 복잡성을 줄이는 데 기여하며, 이는 더 좋은 코드베이스로 이어질 수 있다. 또한 고품질 문서화에 대한 접근성을 높임으로써 개발 프로세스를 더욱 개선할 수 있다.

이러한 개선은 코드 리뷰와 승인 과정도 더 빠르게 만든다. 보다 품질이 높은 코드는 검토하고 승인하기 더 쉽기 때문이다. AI 지원 코드 리뷰와 결합될 때, 이러한 패턴이 분명하게 데이터에 나타났다.

예상 밖 결과: AI 도입 증가 시 배포 안정성 7.2% 하락, 작은 배치 중요성 간과 가능성

그러나 DORA 연구팀의 놀라운 발견은 AI 도입이 소프트웨어 배포 성능에 부정적인 영향을 미친다는 것이다. AI 도입이 25% 증가할 때, 배포 안정성은 7.2%, 배포 처리량은 1.5% 감소하는 것으로 나타났다. 이는 전통적으로 문서화 품질, 코드 품질, 코드 리뷰 속도 등의 개선이 소프트웨어 배포 성능 향상으로 이어진다는 DORA의 기존 연구 결과와 상반된다.

연구진은 이러한 모순적인 결과에 대해 AI가 생산성과 코드 생성 속도에 근본적인 패러다임 변화를 가져왔으며, 이로 인해 업계가 DORA의 가장 기본적인 원칙 중 하나인 ‘작은 배치 크기의 중요성’을 간과하게 되었다고 추측한다. AI가 개발자들이 같은 시간에 더 많은 양의 코드를 생성할 수 있게 함으로써, 변경 목록(changelists)의 크기가 커지고 있을 가능성이 높다. DORA는 일관되게 더 큰 변경사항이 더 느리고 불안정성을 초래할 가능성이 더 높다는 것을 보여왔다.

외부 개발자 39%가 AI 출력을 신뢰하지 않는 현실과 신뢰도 높이기 위한 전략들

AI에 대한 신뢰도가 높은 개발자들이 AI 도입을 통해 더 많은 생산성 혜택을 얻는 것으로 나타났다. 그러나 Stack Overflow의 2024 개발자 설문조사에 따르면, AI 출력에 대한 신뢰도는 개발자들이 직장에서 AI를 사용할 때 가장 큰 과제로 꼽혔다. DORA 팀은 Google 내부 및 외부 개발자들을 연구한 결과, Google 외부 개발자의 39%가 AI 출력 품질을 “거의” 또는 “전혀” 신뢰하지 않는다고 발견했다.

이러한 낮은 신뢰도를 해결하기 위해 DORA 팀은 여러 전략을 제안한다. 우선 개발자들이 “나쁜” 행동을 예방하는 것 외에도, AI 사용에 관한 명확한 지침을 제공하는 것이 신중한 개발자들의 AI 사용을 촉진한다. 또한 전체 응답자의 약 15%가 AI가 자신의 직업에 부정적인 영향을 미칠 것으로 예상하는데, 조직 리더들이 이러한 불안감을 명확하게 해소하면 개발자들이 AI 사용법 학습에 집중할 수 있다.

연구 데이터에 따르면 AI에 대한 개인 의존도는 도구 사용 후 15~20개월에 정점에 도달한다. 이는 AI 학습에 전념할 시간이 필요함을 나타내므로, 개발자들에게 충분한 학습 시간을 제공해야 한다. 또한 허용 가능한 사용 사례, 윤리적 고려사항, 잠재적 위험 등을 명확히 개략하는 정책을 수립하여 개발자들이 AI를 자신 있게 사용할 수 있게 해야 한다. 그리고 개발자들이 일상 업무 자동화를 넘어 미래의 역할을 구상하도록 돕는 접근법이 필요하다. AI는 개발자들의 일을 대체하는 것이 아니라 변형시키는 방향으로 나아가야 한다.

개발자의 AI 활용 측정: 코드 수락률부터 테스트 빈도, 만족도까지 종합 지표 필요

성공적인 AI 도입을 위해서는 효과를 측정하고 지속적으로 개선하는 것이 중요하다. 조직은 팀, 서비스, 조직 수준에서 측정 지표를 설정하고 정기적으로 평가해야 한다. DORA 팀이 제안하는 핵심 측정 지표에는 코드 생성 및 수락 비율, 자동화된 테스트 실행 빈도, AI 작업 의존도, 개발자 만족도, 코드 품질, 기술 부채 등이 포함된다.

피드백 루프 또한 중요한 요소다. 개발자 피드백 루프는 AI가 제공하는 제안을 평가하고 수락, 수정 또는 거부하는 결정으로 시작된다. 빠르고 정확한 제안은 코딩 도우미에 대한 신뢰를 구축하여 추가 사용으로 이어진다. 자동화된 테스트는 개발자와 AI 기반 코딩 도우미가 생성한 코드를 검증하는 데 도움이 된다.

팀과 조직은 정기적인 설문조사, 회고, 실무 커뮤니티, 데이터 분석 등을 통해 피드백을 수집하여 AI 도입 전략을 개선할 수 있다. 이러한 측정과 피드백은 AI 도구가 의도한 대로 작동하는지, 개발자들이 이를 효과적으로 사용하고 있는지 평가하고, 필요에 따라 접근 방식을 조정하는 데 필수적이다.

리더와 실무자가 AI 도입을 성공시키기 위한 핵심 전략들

생성형 AI 도입의 성공을 위해 DORA는 리더와 실무자 모두를 위한 실행 가능한 전략을 제시한다. 리더를 위한 전략으로는 우선 AI 전략을 명확히 전달하고 직업 안정성 우려를 해소하며 책임 있는 AI 사용을 위한 명확한 정책을 수립함으로써 투명성을 우선시해야 한다. 또한 개발자들이 AI를 학습하고 실험할 수 있는 전용 시간, 교육, 리소스를 제공하고 학습과 심리적 안전의 문화를 조성하는 등 인재에 투자해야 한다. 더불어 코드 품질, 개발자 만족도, 배포 성능 등 핵심 지표를 추적하고 데이터를 기반으로 접근 방식을 조정하는 측정과 반복 과정이 필요하다.

실무자들을 위한 전략으로는 수립된 조직 지침 내에서 다양한 AI 도구와 사용 사례를 탐색하고, 코드 생성, 요약, 코드 리뷰, 문서화, 테스트 작성 등 AI가 즉각적인 가치를 제공할 수 있는 작업에 집중하는 실험 포용 자세가 중요하다. 또한 프롬프트 엔지니어링 기술을 마스터하고, AI의 한계를 이해하며, AI를 기존 워크플로에 통합하는 방법을 학습하는 “AI 유창성”을 개발해야 한다. 그리고 AI가 생성한 코드와 문서를 항상 검토, 테스트, 개선하며 비판적인 시각을 유지하고 전문성을 활용하는 출력 주도권을 가져야 한다.

FAQ

Q: 생성형 AI가 개발자들의 일자리를 대체할까요?

A: 연구 결과에 따르면 생성형 AI는 개발자 일자리를 대체하기보다 작업 방식을 변화시키고 있습니다. AI는 개발자들의 생산성, 직무 만족도, 집중도를 향상시키면서 반복적 작업 자동화를 돕고 있습니다. 중요한 것은 AI를 새로운 기술을 습득하고 고차원적 문제 해결에 집중할 기회로 보는 것입니다.

Q: 생성형 AI가 소프트웨어 배포 성능에 부정적인 영향을 미치는 이유는 무엇인가요?

A: DORA 연구에 따르면, AI는 개발자들이 더 빠르게 더 많은 코드를 생성할 수 있게 해주지만, 이로 인해 변경 목록(changelists)의 크기가 커질 수 있습니다. 더 큰 변경사항은 일반적으로 더 느리고 불안정성을 초래할 가능성이 높습니다. 이는 ‘작은 배치 크기의 중요성’이라는 핵심 원칙을 간과했기 때문일 수 있습니다. 소프트웨어 배포 성능을 개선하려면 작은 배치로 작업하고 강력한 테스트 메커니즘을 유지하는 것이 중요합니다.

Q: 조직이 개발자들의 생성형 AI에 대한 신뢰도를 높이려면 어떻게 해야 하나요?

A: 개발자들의 AI 신뢰도를 높이기 위해 조직은 다음과 같은 전략을 고려할 수 있습니다: 1) AI 사용에 관한 명확한 정책 수립, 2) 코드 리뷰와 자동화된 테스트와 같은 빠른 고품질 피드백 강화, 3) 개발자들이 AI에 노출될 기회 제공(특히 선호하는 프로그래밍 언어 사용), 4) AI 사용을 장려하되 강요하지 않기, 5) 일상 업무 자동화를 넘어서 개발자 역할의 미래에 대한 비전 제시. 이러한 전략을 통해 개발자들이 AI를 도구로 신뢰하고 효과적으로 활용할 수 있습니다.

해당 기사에서 인용한 리포트 원문은 링크에서 확인할 수 있다.

이미지 출처: 구글클라우드

기사는 클로드와 챗GPT를 활용해 작성되었습니다.