오프라인에서도 작동하는 자체 호스팅 AI 플랫폼
Open WebUI는 Ollama, OpenAI API 등 다양한 LLM 백엔드를 지원하는 자체 호스팅 AI 플랫폼이다.
RAG(Retrieval Augmented Generation) 기능을 내장하여 오프라인 환경에서도 AI 챗봇을 구축할 수 있다.
Docker, Kubernetes를 통한 간편한 설치 및 다양한 데이터베이스, 스토리지 옵션을 제공한다.
다양한 LLM 백엔드 지원 및 RAG 통합
Open WebUI는 Ollama, OpenAI API를 모두 지원하여 다양한 LLM 모델을 사용할 수 있도록 설계되었다. 구체적으로 RAG(Retrieval Augmented Generation) 기능을 통해 사용자는 자신의 데이터를 기반으로 한 맞춤형 챗봇을 구축할 수 있다. 따라서 지식 기반 챗봇 개발에 유용하며, 9가지 벡터 데이터베이스를 지원하여 유연성을 제공한다.
Docker/Kubernetes 기반 배포 및 확장성
Docker 및 Kubernetes를 지원하여 손쉬운 배포를 가능하게 한다. 반면, 대규모 트래픽 처리를 위해서는 Redis 기반 세션 관리 및 WebSocket 지원을 활용한 수평적 확장이 필요하다. 따라서, 초기 배포는 Docker로 시작하고, 서비스 규모가 커짐에 따라 Kubernetes를 활용하여 안정적인 운영을 도모할 수 있다.
다양한 기능 및 확장성
Open WebUI는 Markdown, LaTeX 지원을 통해 풍부한 텍스트 표현을 지원하며, 음성/영상 통화 기능을 내장하여 사용자 경험을 향상시킨다. 구체적으로 Python Function Calling Tool을 통해 사용자 정의 함수를 LLM에 통합할 수 있다. 따라서, 다양한 플러그인을 통해 기능을 확장하고, 맞춤형 AI 서비스를 구축할 수 있다.
