AutoML로 Spot 인스턴스 비용, 미리 예측하세요!
by DD
9개월 전
조회수 6
AutoGluon을 활용하여 AWS Spot Instance의 요금을 예측하는 모델을 구축함
데이터 전처리, 모델 학습, 예측 과정을 거쳐 가성비 AZ/Type을 추천
Spot Instance 요금 예측을 통해 비용 절감 및 효율적인 자원 관리를 기대
AutoGluon을 활용한 시계열 예측
AutoGluon은 AutoML 툴킷으로, 복잡한 머신 러닝 모델 훈련 과정을 자동화한다. 구체적으로 데이터 전처리, 피처 엔지니어링, 하이퍼파라미터 최적화를 수행한다. 따라서 머신 러닝 전문가가 아니어도 고품질 예측 모델을 구축할 수 있다.
Spot Instance 데이터 전처리 과정
Spot Instance 요금 예측을 위해 데이터 수집, 전처리, 보간 과정을 거친다. AZ와 Instance Type을 조합하여 item_id를 생성하고, 1시간 간격으로 데이터를 보간한다. 반면, 결측치 처리 및 이상치 제거는 모델 성능에 큰 영향을 미칠 수 있다.
예측 모델의 성능 평가 및 활용
AutoGluon으로 훈련된 모델의 성능은 leaderboard를 통해 평가한다. SMAPE, MAE 등의 지표를 활용하여 모델의 정확도를 측정한다. 따라서 예측된 AZ/Type 정보를 기반으로 EMR 설정을 변경하여 비용 효율적인 Spot Instance를 선택할 수 있다.
