LLM 활용, 개인의 센스를 넘어 팀의 시스템으로: Harness를 통한 생산성 혁신

본문은 LLM 활용 능력의 개인차로 인해 발생하는 조직 생산성 저하(Reduced Organizational Productivity) 문제를 지적한다. 같은 LLM, 같은 IDE를 사용하더라도, '컨텍스트 엔지니어링(Context Engineering)' 이해도에 따라 결과물의 차이가 극심하다는 점을 강조한다. 이는 코딩 실력의 문제가 아닌, LLM이라는 도구를 얼마나 정교하게 제어하는가에 대한 노하우의 격차에서 기인한다. 이러한 격차를 개인의 센스에 맡겨두는 것은 조직 차원에서 큰 손실이며, 이를 해결하기 위한 시스템 구축의 필요성을 역설한다.

글쓴이는 Claude Code의 TUI(Terminal User Interface) 환경을 '마찰 없는(Frictionless)' 진입점으로 평가한다. 기존의 Open Interpreter, OpenCode와 같은 시도들은 개발자에게 '새로운 도구'를 사용한다는 미세한 마찰을 일으켰다. 브라우저를 통해 챗봇과 상호작용하는 과정에서 문맥 교환(Context Switching) 비용이 발생하기 때문이다. Claude Code는 터미널 안에서 자연어와 코드가 끊김 없이 섞이는 경험(Seamless Integration)을 제공하며, 팀 전체에 LLM 워크플로우를 이식하기에 가장 적합한 환경을 제공한다.

저자는 Claude Code의 플러그인 형태를 '실행 가능한 SSOT(Executable SSOT)'로 정의하며, 문서 관리 패러다임의 변화를 제시한다. 기존 위키(Wiki)나 노션(Notion) 문서는 작성되는 순간부터 낡은 정보가 되지만, 플러그인 형태로 정의된 지식은 다르다. 사람이 읽으면 업무 가이드라인이자 매뉴얼이 되고, LLM이 읽으면 정확한 지시사항이 담긴 시스템 프롬프트가 된다. 플러그인 코드가 업데이트되면, 팀원들의 에이전트 행동 양식도 즉시 업데이트된다. 이는 지식의 '실행(Execution)'을 통해 지속적인 최신성을 유지하는 혁신적인 방식이다.

글쓴이는 팀 내 LLM 활용 노하우의 편차를 해결하기 위해 '팀 생산성의 저점(Floor)'을 높이는 방안을 제시한다. oh-my-zsh와 같은 오픈소스 플러그인처럼, 누구나 쉽게 사용할 수 있는 범용 도구는 훌륭한 출발점이다. 하지만, 팀의 '도메인 맥락(Domain Context)'을 고려한 도구는 아니다. 결제 팀에는 결제 팀만의, 정산 팀에는 정산 팀만의 'AI가 잘하는 일'과 '반드시 사람이 검토해야 하는 일(HITL, Human-in-the-Loop)'이 존재한다. 따라서, 팀별 특성에 맞는 도메인 최적화 하네스 구축을 통해, 팀 전체의 LLM 활용 능력을 향상시키고, 생산성 저점을 높여야 한다.

저자는 궁극적으로 데이터 플라이휠(Data Flywheel) 구축을 통해 AI 엔지니어링의 선순환 구조를 만들고자 한다. 플러그인을 통해 규격화된 데이터가 축적되고, 이 데이터로 도메인 특화 모델(sLLM)을 파인튜닝하며, 기존 워크플로우가 그 모델의 평가 기준이 된다. 이를 위해서는 충분한 데이터 수집 기간, 품질 관리 프로세스, 그리고 조직의 지속적인 투자 의지가 필요하다. 한번 돌아가기 시작한 플라이휠은, 사용할수록 데이터가 쌓이고, 쌓일수록 모델이 정교해지고, 정교해질수록 더 많이 사용되는 선순환을 만든다. 이것이 저자가 지향하는 진정한 의미의 AI-Native Data Flywheel이다.