당근마켓, AI로 사용자 경험을 혁신하다!

구체적으로 LLM을 활용하여 물품이 사용자에게 편지를 보내는 기능을 구현했다. 프롬프트 엔지니어링을 통해 편지 스타일과 내용을 제어하고, A/B 테스트를 통해 사용자 반응을 분석했다. 따라서, 알림 오픈율 2배 증가를 달성했지만, 후기 작성률은 초기에는 유의미한 변화가 없었다.

초기 A/B 테스트 실패 후, 후기 작성을 유도하기 위해 보상 구조를 설계했다. 알림 클릭 후 후기 작성을 유도하는 방식으로 변경하여, 후기 작성률 증가를 이끌어냈다. 반면, 사용자 경험을 해치지 않도록 기능 구조는 최소한으로 수정했다.

AI 물품 추천 기능은 LLM과 임베딩 기술을 결합하여 구현되었다. 다국어 모델을 사용하여 추천 정확도를 향상시켰고, 유즈 케이스를 제공하여 사용성을 개선했다. 결과적으로, 게시글 탐색 수와 클릭률 증가를 확인했지만, 온보딩 개선의 필요성을 인지했다.