모든 노래를 가라오케로! 오픈소스 앱 Nightingale
by DD
4개월 전
조회수 14
오픈소스 가라오케 앱 Nightingale은 음성 분리, 가사 동기화, 피치 스코어링 기능을 제공하며, 모든 노래를 가라오케로 변환
UVR Karaoke 모델 또는 Demucs를 사용하여 보컬을 분리하고, WhisperX를 통해 가사를 자동 생성
로컬 환경에서 실행되며, 별도의 설치 없이 단일 바이너리 형태로 제공되어 사용자 편의성을 높임
사용자들의 긍정적인 반응과 함께, 성능 및 기능에 대한 다양한 질문이 제기됨
음성 분리 기술 및 구현
Nightingale은 UVR Karaoke 모델(UVR Karaoke Model) 또는 Demucs를 사용하여 음성 분리를 수행한다. 특히, UVR Karaoke 모델은 백 보컬(Backing Vocals)까지 보존하여 원곡의 느낌을 최대한 살리는 데 중점을 둔다. 이러한 기술은 가라오케 경험의 질을 향상시키는 핵심 요소이며, 오디오 처리 파이프라인(Audio Processing Pipeline)의 중요한 부분이다.
가사 동기화 및 자동 생성
Nightingale은 WhisperX를 사용하여 가사를 자동으로 생성하고, LRCLIB에서 기존 가사를 가져와 동기화한다. WhisperX는 단어 단위의 정렬을 지원하여 정확한 가사 타이밍을 제공한다. 이러한 기능은 사용자가 노래를 따라 부르기 쉽도록 돕고, 사용자 경험(User Experience)을 향상시킨다.
