개인 정보 걱정 없이, 로컬 AI로 배송 추적하세요!
개인 정보 유출에 대한 우려로, 사용자의 Gmail 계정을 클라우드에 연결하지 않고 배송 정보를 추적하는 Parsli 개발
Gemma 4를 활용하여 이메일에서 배송 관련 정보를 추출하고, 배송 상태를 분류하는 로컬 기반 AI 어시스턴트 구현
결정론적 규칙(Deterministic Rules)과 Gemma 4 모델을 결합하여 정확도를 높이고, 모델의 과도한 사용을 방지
SMS, 스크린샷, 음성 메시지 등 다양한 입력 채널 지원 및 의사 결정 과정(Decision Trail)을 기록하여 투명성을 확보
Gemma 4를 활용한 배송 정보 추출 및 분류
Parsli는 Gemma 4(Gemma 4)를 사용하여 이메일에서 배송 관련 정보를 추출하고 분류한다.
결정론적 규칙(Deterministic Rules): HTML 정리, 운송장 번호 추출, 송장 필터링 등 표준 템플릿(Standard Template) 기반 이메일 처리
LLM(Large Language Model) 활용: 다국어 통관 알림, 픽업 알림 등 규칙만으로 처리하기 어려운 케이스(Edge Case) 처리
결정 과정 기록: 규칙, 모델 출력, 신뢰도 점수, 토큰 사용량, 시간 정보 등을 기록하여 디버깅 용이성(Debugging Ease) 확보
결과적으로 규칙과 모델의 상호 보완(Mutual Complement)을 통해 정확도를 높이고, 모델 호출 비용을 절감한다.
로컬 AI 추론 환경 구축
Parsli는 M2 MacBook Pro에서 LM Studio(LM Studio)를 사용하여 로컬에서 google/gemma-4-e4b(google/gemma-4-e4b) 모델을 실행한다.
모델 선택: 배송 추적(Shipment Tracking)이라는 좁고 구조화된 문제에 적합한 E4B 모델(E4B Model) 선택
성능 최적화: 전용 GPU 서버(Dedicated GPU Server) 없이도 빠른 추론 속도(Fast Inference Speed)를 유지
환경 구성: HTML 제거 및 이메일 데이터 정제(Email Data Refinement)를 통해 모델의 효율성(Model Efficiency) 극대화
결과적으로 개인 정보 보호(Privacy)와 성능(Performance)을 모두 잡는 균형 잡힌(Balanced) 로컬 AI 환경을 구축했다.
결정론적 규칙과 LLM의 하이브리드 아키텍처
Parsli는 결정론적 규칙(Deterministic Rules)과 Gemma 4 모델(Gemma 4 Model)을 결합하여 정확도와 효율성을 모두 확보했다.
규칙 기반 처리: 55%의 이메일(Email)을 규칙만으로 처리하여 모델 호출 비용 절감
모델 기반 보정: 규칙이 잘못 처리한 38%의 이메일을 모델이 수정하여 정확도 향상(Accuracy Improvement)
하이브리드 접근 방식: 규칙과 모델의 상호 보완(Mutual Complement)을 통해 각자의 단점을 보완
결과적으로 규칙 기반 시스템(Rule-based System)의 속도와 LLM(Large Language Model)의 유연성을 모두 활용하는 효율적인 아키텍처(Efficient Architecture)를 구현했다.
개인 정보 보호를 위한 설계
Parsli는 데이터 미저장 정책(Zero-Retention Policy)을 통해 사용자의 개인 정보를 보호한다.
로컬 처리: Gmail 계정(Gmail Account)을 클라우드에 연결하지 않고 로컬에서 모든 데이터를 처리
의사 결정 과정 기록: 규칙, 모델 출력, 신뢰도 점수, 토큰 사용량, 시간 정보 등을 기록하여 투명성(Transparency) 확보
개인 정보 최소화: 배송 관련 정보 외에 다른 데이터는 수집하지 않음
결과적으로 사용자의 개인 정보를 최우선(Privacy-First)으로 고려하여 설계된 시스템이다.
