카카오뱅크, Azure OpenAI로 금융 AI 서비스 안전하게 구축!

Azure 기반의 OpenAI 서비스를 금융 규제에 맞춰 안전하게 구축한 사례를 소개

API Management Service를 활용하여 Full Prompt Logging 시스템을 구축하고, 보안을 강화함

Multi-Subscription 아키텍처 및 Private Endpoint를 통해 데이터 유출 방지 및 서비스 안정성을 확보

Azure 아키텍처 핵심 요소: Entra ID, Subscription, Resource Group

Azure는 Entra ID를 통해 IAM을 제공하며, Tenant 내에서 여러 Subscription을 관리한다. 각 Subscription은 Resource Group으로 리소스를 묶어 관리하며, 이는 AWS의 Account와 유사하다. 따라서, Multi-Subscription 구조는 서비스별 리소스 격리 및 비용 관리에 효과적이다.

Hub-and-Spoke 네트워크 아키텍처의 장단점

카카오뱅크는 Hub-and-Spoke 네트워크 아키텍처를 활용하여 보안과 운영 안전성을 확보했다. Hub에서 외부 위협을 방어하고, 불필요한 네트워크 홉을 최소화한다. Peering을 통해 안전한 통신을 구현했지만, 네트워크 구성의 복잡성은 단점이다.

API Management Service를 활용한 Full Prompt Logging

API Management Service를 통해 Azure OpenAI의 Full Prompt Logging을 구현했다. API Key Vault를 사용하여 OpenAI Key를 안전하게 관리하고, API Management에서 Backend API를 구성한다. 결과적으로, 토큰 사용량 및 질의/응답 내용을 로깅하여 서비스 운영 및 보안에 활용한다.