11만 건 데이터에서 100ms 응답! NewCodes 자동완성 API 최적화 비법 공개

JOIN의 문제점: `JOIN`은 두 테이블의 모든 매칭 레코드를 조합하여 Planning Time과 Execution Time이 길어지는 문제 발생

EXISTS의 장점: 데이터 존재 여부만 확인하고, 존재하면 즉시 종료하여 스캔 범위를 줄여 성능 향상

최적화 효과: `EXISTS`를 사용함으로써 기업 검색 쿼리의 성능을 개선하고, 100ms 이내의 응답 시간을 달성

JPA의 단점: JPA는 ORM(Object Relational Mapping) 기술로, 객체지향적인 개발을 돕지만, 단순 조회 쿼리에서는 오버헤드가 발생

JDBC Template의 장점: JDBC Template은 JPA를 거치지 않고, JDBC를 사용하여 데이터베이스(DB)에 직접 접근하여 성능 향상

최적화 효과: JDBC Template 적용을 통해 자동 완성 쿼리의 응답 시간을 더욱 단축하고, 최종적으로 운영 서버에서 40ms의 응답 시간을 달성

문제 발생 원인: Nginx의 Rate Limiting 설정이 과도하여, 사용자의 연속된 요청이 제한되어 API 요청 실패

해결 방법: Rate Limiting 설정을 조정하여, 1초에 10개의 요청을 허용하도록 변경

교훈: 간단한 코드 배포에도 전체 아키텍처를 고려해야 하며, 특히 Rate Limiting, 캐싱(Caching) 등은 시스템 안정성에 중요한 영향을 미침

AI 활용: AI를 통해 코드 수정, CompletableFuture를 활용한 병렬 처리, 쿼리 및 인덱스 수정 등 다양한 최적화 시도

개발자의 역할: AI가 제시한 결과가 항상 정확하지 않으므로, 개발자는 문제 정의, 설계 능력, 검수를 통해 최종적인 판단을 내려야 함

AI의 한계: AI가 Nginx 설정을 제대로 이해하지 못하는 등, AI의 한계를 인지하고 개발자의 주도적인 역할 강조

개선 방법: 불필요한 필드명을 제거하고, 배열 첫 번째 요소로 타입을 구분하여 JSON 응답 크기 감소

효과: 가독성은 다소 떨어지지만, 자동 완성 API와 같이 빈번한 요청에서는 효과적

병렬 처리: CompletableFuture를 사용하여 Corporation, Theme, Term 조회를 병렬 처리하여 쿼리 실행 시간 단축