Jetson Thor, GR00T 모델로 로봇 시뮬레이션 현실화!
by DD
9개월 전
조회수 2
Jetson Thor를 활용하여 GR00T 모델 기반 로봇 시뮬레이션 HIL 테스트를 진행함
Isaac Sim 환경에서 로봇의 카메라 영상을 실시간으로 추론하여 로봇 제어를 수행함
HIL 테스트를 통해 실제 로봇 운영의 리스크를 줄이고 비용 절감 효과를 기대함
HIL 테스트 환경 구성
Jetson Thor는 GR00T 모델 추론을 위한 핵심 하드웨어로 사용되었다. 구체적으로 ROS2 DDS를 통해 시뮬레이션 환경과 통신하며, UDP Multicast를 활용하여 실시간 데이터 전송을 구현했다. 따라서 시뮬레이션 환경과 실제 로봇 간의 데이터 동기화를 가능하게 한다.
GR00T 모델의 특징
NVIDIA GR00T-N1-2B 모델은 VLA(Vision Language Action) 모델로, 시각 정보, 자연어 지시, 물리적 행동을 통합 처리한다. 멀티모달 입력 처리를 통해 카메라 영상, 텍스트 명령, 센서 데이터를 동시에 처리하며, 행동 생성 및 상황 인식 능력을 갖는다. 따라서 로봇의 자율적인 동작을 가능하게 한다.
HIL 테스트의 장점
HIL(Hardware-in-the-Loop) 테스트는 실제 로봇 운영 전 시뮬레이션 환경에서 검증을 수행한다. Digital Twin을 활용하여 실제 환경에서 시도하기 어려운 작업을 테스트하고, 리스크 감소 및 비용 절감 효과를 얻는다. 따라서 로봇 개발 프로세스의 효율성을 높인다.
