성능 최적화, 왜 기대만큼 효과가 없을까?

논의에서는 사용자 주의 집중 시간(Attention Threshold)이 약 10초라는 점을 강조하며, 이를 넘어서는 성능 개선은 사용자 경험에 실질적인 영향을 미치지 못한다고 지적한다. 예를 들어, 5분 걸리던 쿼리가 1분으로 단축되어도 사용자는 다른 작업을 시작하므로, 실질적인 작업 전환(Context Switching)을 막지 못하면 성능 개선 효과가 반감된다는 의견이다. 따라서 10초 미만 응답 시간 확보가 사용자 경험 개선의 핵심이라는 분석이다.

전체 프로세스 시간을 몇 시간에서 1시간 미만으로 단축하는 효율성 증대(Efficiency Gains)에도 불구하고, 물류 및 외부 요인(Logistical Constraints)으로 인해 전체 공정 개선이 제한되는 사례가 언급된다. 마치 배관공이 하루 8시간 작업 시, 공정 개선으로 2~3시간을 절약해도 다음 장소로 이동 및 작업 시간을 고려하면 하루 두 건의 작업을 완료하기 어려운 것과 같다는 비유다. 즉, 임계치(Thresholds) 돌파 없이는 부분적인 성능 향상이 무의미할 수 있다는 지적이다.

데이터 파이프라인에서 단일 단계의 성능을 수 배에서 수십 배(Orders of Magnitude)로 개선해도 전체 처리량(Throughput)에 영향을 주지 못하는 경우가 많다고 지적한다. 이는 파이프라인 내 여러 병렬 처리(Parallel Processing) 단계 중 하나만 최적화되었기 때문이며, 모든 병목 구간을 제거해야만 종단 간 처리량(End-to-End Throughput)이 향상된다는 것이다. Amdahl's Law가 이러한 현상을 설명하는 데 사용될 수 있다는 커뮤니티 의견도 있었다.

성능 최적화 작업은 단순히 속도 향상을 넘어, 복잡한 시스템을 근본 원리(First Principles)부터 이해하고 시스템 간 상호작용(System Interactions)을 파악하는 데 도움을 준다고 한다. 또한, 성능 개선 과정에서 얻는 창의적인 아이디어(Creativity)는 제품 및 서비스 개선(Product Improvement)에 기여하며, 이는 성능 자체보다 더 큰 가치를 창출할 수 있다는 분석이다. 프로토타입(Prototypes) 개발과 실제 프로덕션 시스템(Production Systems) 구축 간의 격차를 과소평가해서는 안 된다는 점도 강조된다.