GloZ, Amazon OpenSearch Service로 이력서 검색 혁신

본문에서는 데이터 정제(Data Cleansing)의 중요성을 강조하며, 이력서 원문의 품질이 검색 정확도에 미치는 영향이 크다고 설명한다. 다양한 형식의 이력서 처리를 위해 문서 유형별 파싱 전략을 수립하고, LLM 기반 메타데이터 구조화 및 정규화 과정을 거쳤다.

검색 정확도 향상을 위해 임베딩 입력 전략(Embedding Input Strategy)을 실험적으로 비교 분석했다. 원문 전체, 구조화된 JSON, 요약, 요약 + 메타데이터 키워드 평탄화 등 4가지 전략을 비교한 결과, 요약 + 메타데이터 키워드 평탄화 방식이 가장 높은 정확도를 보였다. 이는 의미 유사도와 키워드 정확 매칭을 모두 확보한 결과이다.

Amazon OpenSearch Ingest Pipeline을 활용하여 이력서 인덱싱 시 임베딩을 자동 생성하는 아키텍처를 구현했다. Script Processor를 통해 요약 텍스트와 메타데이터 키워드를 결합하고, ML Connector를 통해 Bedrock Cohere Embedding 모델을 호출하여 벡터를 생성한다.

이러한 자동화된 임베딩 생성 과정을 통해 데이터 파이프라인을 효율적으로 구축하고, 검색 시스템의 운영 효율성을 높였다.