AI 일기 서비스, 카카오뱅크 mini의 ChatGPT 활용 노하우 공개!
by DD
1년 전
조회수 4
카카오뱅크는 Azure OpenAI의 ChatGPT를 활용하여 mini 일기 서비스를 개발함
ChatGPT의 TPM/RPM 제한으로 인한 성능 문제를 해결하기 위해 비동기 처리 및 Backoff 전략을 적용함
리전별 성능 분석을 통해 최적의 모델을 선택하고, 5개 리전 분산 처리로 서비스 안정성을 확보함
ChatGPT 일기 생성 원리
ChatGPT는 체크카드 사용 내역을 기반으로 프롬프트를 생성하고, 이를 통해 감성적인 일기를 만들어낸다. 구체적으로, 데이터 전처리를 거쳐 개인정보를 보호하고, 비동기식 처리를 통해 응답 지연 시간을 최소화한다.
TPM/RPM 제한과 Backoff 전략
ChatGPT의 TPM/RPM 제한은 서비스의 병목 현상을 유발하는 주요 원인이다. 따라서 Backoff 전략을 통해 429 에러에 대응하고, 리전별 분산 처리를 통해 가용성을 확보했다. 결과적으로 서비스 안정성을 높였다.
리전별 성능 분석 및 최적화
ChatGPT 3.5 모델의 성능 테스트를 통해 0301 모델을 선택하고, 5개 리전 분산 처리를 적용했다. 리전별 일기 생성 시간을 분석하여 트래픽 가중치를 조절하고, 서비스 품질을 향상시켰다. 따라서 최적의 성능을 달성했다.
