AI 일기 서비스, 카카오뱅크 mini의 ChatGPT 활용 노하우 공개!
by DD
2년 전
조회수 4
카카오뱅크는 Azure OpenAI의 ChatGPT를 활용하여 mini 일기 서비스를 개발함
ChatGPT의 TPM/RPM 제한으로 인한 성능 문제를 해결하기 위해 비동기 처리 및 Backoff 전략을 적용함
리전별 성능 분석을 통해 최적의 모델을 선택하고, 5개 리전 분산 처리로 서비스 안정성을 확보함
ChatGPT 일기 생성 원리
ChatGPT는 체크카드 사용 내역을 기반으로 프롬프트를 생성하고, 이를 통해 감성적인 일기를 만들어낸다. 구체적으로, 데이터 전처리를 거쳐 개인정보를 보호하고, 비동기식 처리를 통해 응답 지연 시간을 최소화한다.
TPM/RPM 제한과 Backoff 전략
ChatGPT의 TPM/RPM 제한은 서비스의 을 유발하는 주요 원인이다. 따라서 을 통해 에 대응하고, 를 통해 을 확보했다. 결과적으로 을 높였다.
