얼굴로 주문하는 키오스크? AWS Gen AI로 해커톤 3위!
by DD
9개월 전
조회수 6
AWS Gen AI를 활용, 안면 인식 기반 초개인화 키오스크를 개발하여 해커톤 3위 수상
Face Five 팀은 AWS Bedrock과 OpenSearch를 활용, 안면 인식 및 개인화 추천 기능 구현
비개발자 팀이 AWS Gen AI를 통해 아이디어 구현에 집중, 긍정적 결과 도출
AWS 아키텍처: 안면 인식과 초개인화의 만남
키오스크는 고객 정보를 수집, S3에 이미지 저장 후 OpenSearch에 특징 벡터를 저장한다. Lambda를 통해 API Gateway를 구성하고, MySQL에 고객 정보를 저장한다. 따라서, Amazon Rekognition 대신 AWS Bedrock Titan 모델을 활용하여 안면 인식 정확도를 높였다.
기술적 도전과 극복: 5천 원 카메라의 반전
저렴한 카메라를 사용했음에도 불구하고, 이미지 전송 시간은 AWS 데이터 처리 시간에 비해 큰 비중을 차지했다. k-NN 알고리즘을 활용한 유사도 비교를 통해 안면 인식을 구현했다. 반면, OpenSearch 인덱싱 시간 지연으로 인해 시연 시 어려움이 있었지만, 설명을 통해 극복했다.
프롬프트 엔지니어링: Claude 모델을 활용한 메뉴 추천
Claude 모델을 사용하여 고객 정보, 메뉴, 날씨 정보를 기반으로 메뉴를 추천한다. RAG(검색 증강 생성)를 활용하여 날씨와 위치 정보를 추가, 개인화된 추천을 제공한다. 따라서, 프롬프트 최적화가 메뉴 추천의 핵심이며, 매출 분석 및 고객 식습관 분석까지 가능하다.
