AI와 비개발자의 협업, 9일 만에 생산성 측정 도구 개발!
기술 PM이 조직 생산성 측정을 위해 AI를 활용, 9일 만에 맞춤형 대시보드 개발
HTML 파일 기반의 간단한 시각화 도구로 시작해, GitHub API 연동을 위한 서버 구축으로 확장
DORA 지표를 활용하여 리드타임(Lead Time)을 측정하고, 데이터 기반 의사 결정의 가능성을 확인
AI의 한계와 사내 가이드 문서의 중요성을 강조하며, 데이터 민주주의(Data Democracy)를 위한 환경 구축을 제언
AI를 활용한 요구사항 정의
본문에 따르면, AI와의 대화 과정 자체가 요구사항 정의 세션(Requirement Definition Session)으로 작용했다.
AI와의 대화(AI Conversation)를 통해 초기에는 인지하지 못했던 예외 상황(Edge Case)을 발견하고, 데이터의 정확성을 높임
Jira CSV 데이터의 타임스탬프(Timestamp) 문제, 이슈 타입(Issue Type) 필드명 변경 등, 실제 데이터의 특성을 반영하여 AI의 결과물(AI Output) 개선
AI에게 구체적인 데이터 예시(Data Example)와 함께 질문함으로써, AI가 더욱 정확한 결과물을 생성하도록 유도
DORA 지표(DORA Metrics)를 활용한 성과 측정
글에서는 소프트웨어 딜리버리(Software Delivery) 성과 측정을 위해 DORA 지표를 활용한 사례를 제시한다.
DORA 지표(DORA Metrics)는 배포 빈도, 변경 리드타임, 변경 실패율, 서비스 복구 시간 등 4가지 핵심 지표(Key Metrics)로 구성
Jira 데이터(Jira Data)를 통해 '변경 리드타임(Change Lead Time)'을 측정하고, GitHub 데이터 연동(GitHub Data Integration)을 통해 추가 지표 확보
DORA 지표를 통해 조직의 딜리버리 역량(Delivery Capability)을 객관적으로 평가하고, 개선 방향을 설정
AI와 가이드 문서의 시너지 효과
기사에 따르면, AI와 사내 가이드 문서를 함께 활용하여 서버 구축의 어려움을 극복했다.
사내 가이드 문서(Internal Guide Document)는 사내 환경과 표준 규칙을 설명하고, AI는 기술적 원리(Technical Principle)를 구체화
가이드 문서의 내용을 AI에게 전달하고 함께 해석하는 방식으로, AI의 이해도(AI Understanding)를 높이고 문제 해결
가이드 문서(Guide Document)는 '무엇을' 해야 하는지, AI는 '어떻게' 해야 하는지 제시하며, 상호 보완적인 역할(Complementary Role) 수행
AI 활용의 함정: 데이터 검증의 중요성
본문에서는 AI가 생성한 코드의 오류 가능성을 지적하며, 결과의 정합성 검증(Integrity Verification)을 강조한다.
AI가 작성한 코드(AI-Generated Code)가 겉보기에는 오류 없이 동작하더라도, 데이터 누락(Data Omission)과 같은 문제가 발생할 수 있음
API 페이지네이션(API Pagination) 처리 오류로 인해 데이터가 누락되는 문제를 직접 발견하고, 결과의 정확성(Result Accuracy) 검증의 중요성을 강조
AI가 생성한 결과(AI Result)를 실제 데이터와 대조하여 정합성을 검증(Integrity Verification)하는 과정을 통해, AI의 한계를 보완
