AI 에이전트, 스트리밍 품질 17% 개선 성공!
라이브 스트리밍 시장의 저지연(Low Latency) 과제 해결을 위해 AI 에이전트 도입을 추진함
Karpathy의 자율 연구 방법론(AutoResearch Methodology)을 적용하여 AI가 코드를 수정·빌드·실험·판정하는 루프 구축
AI 에이전트가 60시간 동안 실험하여 스트리밍 품질(QoE) 17% 개선이라는 정량적 성과 달성
사람의 튜닝 대비 12배의 레버리지를 확보하여 개발 효율성 증대
AI 에이전트의 자율 연구 루프 (Karpathy Agent Loop)
본 발표에서는 Karpathy의 자율 연구 방법론(AutoResearch Methodology)을 기반으로 AI 에이전트가 코드를 자율적으로 수정(Code Modification), 빌드(Build), 실험(Experiment), 판정(Judgment)하는 루프를 구축했다고 설명함.
9단계 자율 루프: 명확한 단계별 프로세스를 통해 AI가 반복적인 최적화 작업을 수행하도록 설계됨.
계층적 검증 (Regression Guard): 통계적 엄격성을 확보하고 컨텍스트 로테이션(Context Rotation) 문제를 방지하여 실험의 신뢰도를 높임.
3중 기억 장치: 단기, 중기, 장기 기억 메커니즘을 통해 에이전트가 이전 실험 결과를 학습하고 이를 바탕으로 다음 단계를 결정하도록 함.
이러한 구조는 인간의 개입을 최소화하면서도 복잡한 코드 최적화를 가능하게 하는 핵심 요소임.
라이브 스트리밍의 저지연(Low Latency) 과제와 QoE 측정
라이브 스트리밍 시장에서 저지연(Low Latency) 기술은 사용자 경험(QoE, Quality of Experience)과 직결되는 핵심 과제임.
EWMA (Exponentially Weighted Moving Average): 기존 hls.js에서 주로 사용되던 지표로, 실시간 변화를 반영하는 데 한계가 있었음.
QoE (Quality of Experience): 단순히 기술적 지표를 넘어 실제 사용자가 느끼는 품질을 측정하는 것이 중요하며, 본 실험의 유일한 점수판 역할을 함.
사람의 수동 튜닝 비용: 기존에는 엔지니어가 직접 파라미터를 조정하며 QoE를 개선했으나, 이는 시간과 비용이 많이 소요되는 비효율적인 방식이었음.
AI 에이전트 도입은 이러한 수동 튜닝의 한계를 극복하고 더 빠르고 정확한 최적화를 달성하기 위한 시도임.
AI 기반 코드 최적화의 레버리지 효과
본 사례는 AI 에이전트가 개발자의 생산성을 12배 향상시키는 효과를 가져왔다고 분석함.
5시간 사람 vs 60시간 AI: 사람이 직접 튜닝하는 데 5시간이 걸릴 작업을 AI 에이전트는 60시간 동안 반복 실험하며 개선을 이끌어냄.
정량적 개선: 7가지 전체 시나리오에서 스트리밍 품질(QoE)을 평균 17% 개선하는 성과를 달성함.
비용 효율성: AI 에이전트 활용은 장기적으로 인건비 및 시간 비용을 절감하고, 더 나은 사용자 경험을 제공함으로써 비즈니스 가치를 창출함.
이는 AI 에이전트가 단순 반복 작업을 넘어 실질적인 비즈니스 임팩트를 창출할 수 있음을 보여주는 사례임.
실험의 주요 실패 분석 및 HALT 케이스
AI 에이전트의 실험 과정에서는 다양한 실패 사례와 HALT (Human Assistance Needed To) 케이스가 발생했음.
주요 실패 분석: 특정 파라미터 조합이 오히려 성능을 저하시키거나, 예상치 못한 부작용을 일으키는 경우 등이 포함됨.
HALT 케이스: AI 에이전트가 스스로 해결할 수 없는 복잡한 문제에 직면했을 때, 인간 엔지니어의 개입을 요청하는 시나리오를 분석함.
실패로부터의 학습: 이러한 실패와 HALT 케이스 분석을 통해 AI 에이전트의 알고리즘을 개선하고, 다음 실험의 효율성을 높이는 피드백 루프를 구축함.
결과적으로 실패 사례 분석은 AI 모델의 견고성(Robustness)과 적응성(Adaptability)을 향상시키는 데 중요한 역할을 함.
