도로 안전 지킴이, 멀티모달 AI 블랙아이스 감지 솔루션!

블랙아이스 감지를 위해 오디오, 이미지, 환경 정보를 융합하는 멀티모달 AI 솔루션 소개

EAL 모듈을 통해 환경 변화에 따라 Feature 가중치를 동적으로 조절

성능 평가에서 정검지율 96.7%를 기록하며 높은 감지 성능 입증

EAL 모듈: 환경 정보를 활용한 Feature 가중치 조절

EAL(Environmental Attention Layer)은 환경 정보를 입력받아 오디오 Feature와 Image Feature의 신뢰도를 조절한다. 구체적으로, 야간에는 오디오 Feature 비중을 높이고, 결빙 가능성이 높으면 해당 구간 가중치를 강화한다. 따라서, 멀티모달 데이터 융합을 통해 다양한 환경에서도 안정적인 결빙 감지가 가능하다.

오디오와 이미지 Feature의 융합: 멀티모달 데이터 분석

멀티모달 결빙 감지 모델은 오디오, 이미지, 환경 정보를 개별 인코딩 후 융합하는 Late Fusion 구조를 사용한다. EAL은 환경 정보를 바탕으로 각 Feature의 가중치를 계산하고, 이를 결합하여 최종 멀티모달 표현을 생성한다. 결과적으로, 한 신호의 노이즈에도 다른 Feature가 보완하여 안정적인 결빙 감지를 가능하게 한다.