당근페이, AI 기반 FDS로 금융 사기 잡는다!
by DD
7개월 전
조회수 31
룰 엔진 기반의 FDS 구축 후, LLM을 도입하여 사기 탐지 정확도 향상 시도
RAG(Retrieval Augmented Generation) 시스템 구축을 통해 LLM의 정확도와 재현율 개선
AWS Bedrock 기반의 LLM 활용, 가드레일 추가 및 정/오탐 데이터 활용 계획
룰 엔진에서 LLM으로의 전환
룰 엔진은 유연한 탐지 로직을 제공하지만, 일관된 판단에 어려움이 있었다. 따라서 LLM을 도입하여 거래 맥락을 분석하고, 모니터링 담당자의 판단을 돕고자 했다. 구체적으로, 프롬프트 엔지니어링을 통해 LLM의 성능을 최적화하고, 슬랙 알람을 통해 결과를 전달했다.
RAG 시스템 구축과 성능 개선
LLM의 한계점을 극복하기 위해 RAG 시스템을 구축했다. RAG는 현재 거래와 유사한 사기 이력을 검색하여 LLM에 제공한다. 반면, Chunking 방식의 문제로 인해 검색 결과가 잘리는 문제가 발생했다. 따라서, Json 파일 분리를 통해 문제를 해결하고, 검색 정확도를 향상시켰다.
