스크린샷 기반 웹 에이전트 MolmoWeb 출시
by DD
3개월 전
조회수 4
MolmoWeb은 스크린샷만으로 웹 브라우저에서 작업을 수행하는 오픈 소스 시각적 웹 에이전트(Open Visual Web Agent)
MolmoWebMix는 웹 에이전트 훈련을 위한 대규모 공개 데이터 세트(Public Dataset)
MolmoWeb을 통해 웹 자동화(Web Automation) 및 웹 접근성(Web Accessibility) 개선에 기여
시각적 웹 에이전트(Web Agent)의 작동 원리
MolmoWeb은 스크린샷을 입력으로 받아 웹 페이지의 시각적 정보를 분석하고, 이를 기반으로 자동화된 작업(Automated Task)을 수행한다.
시각적 정보 분석: OCR(Optical Character Recognition) 기술을 활용하여 텍스트를 추출하고, 레이아웃 분석을 통해 웹 요소의 위치를 파악
작업 실행: 추출된 정보를 바탕으로 마우스 클릭, 키보드 입력 등의 액션(Action)을 시뮬레이션하여 웹 페이지와 상호 작용
장점: 웹 페이지의 HTML 구조에 의존하지 않으므로, 다양한 웹 환경(Web Environment)에서 유연하게 동작
MolmoWeb은 웹 자동화, 웹 접근성 개선, 그리고 웹 기반의 다양한 작업 자동화에 활용될 수 있다.
![[MolmoWeb] Open web agents from data to deployment](https://static.devday.kr/thumbnails-w1200/ph-1121030-146598fe.webp)
