LLM, 원격 업무 자동화에 실패하다: 3.75%의 낮은 자동화율 기록

본 연구는 AI가 실제 경제적 가치를 창출하는 데 얼마나 기여하는지 평가하기 위해 RLI(Remote Labor Index)를 도입했다. RLI는 게임 개발, 제품 디자인, 아키텍처, 데이터 분석, 비디오 애니메이션 등 다양한 분야의 실제 원격 작업 프로젝트를 포함한다. 이 벤치마크는 AI 자동화의 현실적인 수준을 측정하고, AI 기술 발전의 궤적을 추적하는 데 기여한다.

연구 결과에 따르면, 최첨단 AI 에이전트조차 RLI에서 매우 낮은 성능을 보였다. 최고 성능 모델의 자동화율은 3.75%에 불과하여, AI가 실제 원격 작업 프로젝트를 완료하는 데 어려움을 겪고 있음을 시사한다. 이는 AI가 기존 벤치마크에서는 높은 성과를 보이지만, 실제 경제적 가치를 창출하는 데는 아직 부족하다는 것을 의미한다.

커뮤니티에서는 AI가 코딩 및 기술 직무보다 경영진 및 CEO와 같은 관리직을 대체하는 데 더 빠르게 성공할지에 대한 관심을 보였다. 이는 AI 기술 발전이 사회 전반에 미치는 영향에 대한 광범위한 논의를 촉발한다. AI 자동화(Automation)가 노동 시장에 미치는 영향에 대한 지속적인 연구와 논의가 필요하다.

AI가 실제 원격 작업 환경에서 성공적으로 작동하기 위해서는 복잡한 문제 해결 능력과 다양한 작업 환경 적응 능력이 필수적이다. 현재의 AI 모델은 이러한 능력이 부족하여, RLI와 같은 실제 환경에서 낮은 성능을 보인다. AI 기술 발전을 위해서는 알고리즘 개선(Algorithm Improvement)뿐만 아니라, 데이터 품질(Data Quality) 및 모델 훈련 방식(Model Training Method)에 대한 개선도 필요하다.