X의 추천 알고리즘, 오픈소스로 공개!

X(구 Twitter)의 추천 알고리즘 관련 서비스 및 잡(job) 코드 공개

For You 타임라인, 검색, 탐색 등 X 서비스 전반에 사용됨

데이터, 모델, 소프트웨어 프레임워크 등 다양한 컴포넌트 포함

광범위한 기술 스택과 아키텍처

X의 추천 알고리즘은 데이터 처리, 모델 학습, 서빙을 위한 다양한 기술을 활용한다. Tweetypie는 게시물 데이터를 관리하고, user-signal-service는 사용자 행동을 수집한다. Navi는 Rust로 작성된 고성능 모델 서빙 프레임워크이며, TwML은 TensorFlow v1 기반의 레거시 머신러닝 프레임워크이다. 따라서, 다양한 기술 스택을 이해해야 한다.

For You 타임라인 구성 요소 분석

For You 타임라인은 여러 후보 소스(candidate source)에서 게시물을 가져와 랭킹을 매기는 방식으로 동작한다. search-index는 In-Network 게시물을 찾고, heavy-ranker는 딥러닝 모델을 사용하여 게시물 순위를 결정한다. product-mixer는 최종 타임라인을 구성하며, visibility-filters는 콘텐츠 필터링을 담당한다. 따라서, 각 컴포넌트의 역할을 파악하는 것이 중요하다.

오픈소스 기여 및 향후 과제

오픈소스 커뮤니티의 기여를 통해 알고리즘 개선을 목표로 한다. GitHub issue 및 Pull Request를 통해 제안을 받고, HackerOne을 통해 보안 문제를 보고받는다. Bazel BUILD 파일이 제공되지만, 완전한 빌드 시스템은 아직 구축 중이다. 따라서, 지속적인 개선과 커뮤니티 참여가 핵심 과제이다.