오프라인에서도 작동하는 AI 산불 대응 플랫폼

초기 설정: `docker compose up --build` 명령어로 모든 서비스(마이크로서비스, API 게이트웨이, DB, 메시지 큐, PWA)와 LLM 모델 다운로드 및 실행

모델 선택: `HERMES_MODEL` 환경 변수를 통해 Nous Hermes 2, Gemma 2 등 다양한 모델로 교체 가능하며, 메모리 사용량 및 응답 속도에 따라 최적화 가능 (예: 저사양 환경에서 Gemma 2 2B 모델 사용)

성능 이슈: 초기 모델 다운로드 시간(약 4.5GB)이 길 수 있으나, Docker 볼륨을 통해 캐싱되어 후속 실행은 빠름. CPU 환경에서 느린 응답 시 모델 크기 조정으로 해결

하드웨어 요구사항: 최소 8GB RAM, 16GB 권장하며, WSL2 환경에서의 네트워킹 문제 해결을 위해 Docker 메모리 할당량 조정 필요

Llama 3.x: 빠른 응답 속도와 준수한 성능을 보이나, 내장된 도구 실행, 세션 메모리, 스케줄링 기능 부재로 별도 오케스트레이션 레이어 필요

Gemma 2: 뛰어난 JSON 형식 준수 능력과 우수한 지시사항 이행 능력을 보이나, Llama와 마찬가지로 에이전트 기능이 없어 별도 구현 필요하며, 지식 단절(Knowledge Cutoff) 문제 발생 가능

Mistral: 과도한 면책 조항(Disclaimer)으로 인해 위기 상황 UX에 부적합하며, 이를 완화하기 위한 프롬프트 엔지니어링 비용이 높음

메시징 큐: RabbitMQ를 사용하여 서비스 간 비동기 통신을 구현, 특히 날씨 예측 → 경보 발령 파이프라인에서 데이터 흐름의 안정성 및 확장성 보장

API 게이트웨이: 단일 진입점을 제공하며, 내부 서비스(Ollama, 추천 서비스 등)로 요청을 라우팅하고 클라이언트 인증 제거 등의 역할 수행

데이터 관리: 각 서비스는 독립적인 PostgreSQL 인스턴스를 사용하며, 복구 지원금 정보는 동적 웹 검색 결과를 DB에 실시간으로 업데이트하여 최신성 유지

계약 우선 설계(Contract-First Design): OpenAPI 명세를 사용하여 서비스 간 인터페이스를 명확히 정의하고, 독립적인 개발 및 배포 지원

접지(Grounding) 강화: 시스템 프롬프트에 호주 비상 프로토콜, 000(긴급 전화번호) 에스컬레이션 지침 등을 명시하여 AI 응답의 정확성과 안전성 확보

실시간 데이터 활용: 복구 지원금 검색 시 정적 데이터베이스 대신 웹 검색 도구를 사용하여 최신 정보 반영 및 환각(Hallucination) 감소

엄격한 출력 제어: JSON 형식 준수, 요약 길이 제한 등 구체적인 출력 형식 요구를 통해 AI 응답의 일관성 및 사용성 증대

로컬 추론: 외부 API 의존성 없이 로컬에서 모델을 실행하여 네트워크 불안정 상황에서도 기능 유지 보장