AI 코딩 도구, 개발 속도 향상? 아니면 시간 낭비?

METR 연구에 따르면, AI 코딩 도구 사용 시 개발 속도가 빨라지는 경향을 보였다. 특히, 기존 개발자 집단에서는 18%의 속도 향상(Speedup)이, 신규 개발자 집단에서는 4%의 속도 향상이 관찰되었다. 하지만, 연구 참여자들의 주관적인 체감 속도는 이와 상이하여, AI 도구 사용에 대한 객관적인 평가(Objective Evaluation)의 어려움을 보여준다.

게시글에 따르면, 개발자들은 AI가 생성한 코드에 대해 완전한 신뢰(Full Trust)를 보내지 못하는 것으로 나타났다. 약 46%의 개발자가 AI 코드에 대한 불신을 표명했으며, 이는 AI가 생성한 코드의 검증(Verification)에 추가적인 시간을 소요하게 만든다. 이러한 불신은 AI 도구 사용의 효율성을 저해(Impeding Efficiency)하는 주요 요인으로 작용한다.

일부 개발자들은 AI 도구를 사용하여 특정 작업에서 3~5배 빠른 속도(Faster Speed)를 경험한다고 보고했다. 특히, 반복적인 작업이나 보일러플레이트 코드(Boilerplate Code) 생성에 AI 도구가 유용하다는 의견이 많았다. 또한, AI 도구가 구현 문제(Implementation Issues)를 파악하는 데 도움을 준다는 긍정적인 평가도 존재한다.

AI 도구 사용은 코드 검토 시간을 증가시켜 전반적인 생산성 저하(Overall Productivity Decline)를 초래할 수 있다. AI가 생성한 코드를 이해하고, 엣지 케이스(Edge Cases)를 검증하는 데 추가적인 노력이 필요하기 때문이다. 또한, AI 도구에 대한 과도한 의존은 개발자의 문제 해결 능력(Problem-Solving Skills)을 저하시킬 수 있다는 우려도 제기된다.

METR 연구는 AI 도구 사용에 따른 개발자 생산성 변화를 측정하는 데 어려움을 겪고 있다. 연구 참여자들의 선택 편향(Selection Bias), AI 도구 사용에 대한 과도한 기대(Excessive Expectations), 그리고 다양한 AI 에이전트의 동시 사용 등이 연구 결과의 신뢰도를 저해하는 요인으로 작용한다. 향후 연구에서는 이러한 한계를 극복하기 위한 실험 설계 개선(Experiment Design Improvement)이 필요하다.