Gemma 4 E4B로 128K 컨텍스트 문서 Q&A, RAG 없이 로컬에서!
Gemma 4 E4B 모델을 활용하여 로컬 환경에서 작동하는 문서 Q&A 도구 DeepRead를 개발함
RAG(Retrieval-Augmented Generation) 없이 128K 컨텍스트 윈도우(Context Window)를 활용하여 페이지 이미지 형태로 PDF를 처리
8GB 랩탑 GPU 환경에서 20K 컨텍스트 기준 15초 이내 응답, 100K 컨텍스트에서도 100% 정확도 달성
Gradio 대신 Chainlit 프레임워크를 선택하여 UI 개발 시간을 단축하고, 벤치마크 결과를 통해 성능을 검증
개발자는 오픈소스(Open Source) 모델과 로컬 환경의 장점을 강조하며, 향후 음성 입력 및 기능 개선 계획을 밝힘
RAG(Retrieval-Augmented Generation) 없는 아키텍처
DeepRead는 기존의 RAG 파이프라인 대신 Gemma 4 E4B의 128K 컨텍스트 윈도우(Context Window)를 활용하여 문서 내용을 직접 처리한다.
PDF 페이지를 이미지 형태로 변환하여 모델에 입력, 별도의 임베딩(Embedding) 및 검색 과정 불필요
페이지 단위의 참조(Citation)를 통해 답변의 신뢰도를 높이고, 할루시네이션(Hallucination)을 방지
500줄의 파이썬(Python) 코드로 구현, 오프라인(Offline) 환경에서 개인 정보 보호 및 비용 절감 효과
Gemma 4 E4B 모델 선택의 기술적 배경
DeepRead 개발자는 Gemma 4 E4B 모델 선택의 주요 근거로 128K 컨텍스트 윈도우(Context Window), 네이티브 비전(Native Vision), 네이티브 오디오(Native Audio) 지원, 그리고 8GB 랩탑 GPU에서 구동 가능한 온디스크(On-disk) 용량을 제시한다.
26B, 31B 모델 대비 휴대성(Portability) 확보, 로컬 환경(Local Environment)에서의 실행을 최우선 가치로 둠
E2B 모델의 경우, 긴 컨텍스트(Long Context)에서 다단계 추론(Multi-step Reasoning)의 정확도 저하
E4B는 연구 논문(Research Paper), 내부 메모(Internal Memos) 등 특정 문서 유형에 최적화된 모델
성능 벤치마크 결과 분석
DeepRead는 RTX 5050 랩탑 GPU(Laptop GPU) 환경에서 컨텍스트 크기별 성능을 측정하여, 실질적인 사용성을 제시한다.
20K 컨텍스트: 15초 이내 응답, 대화형(Interactive) 사용 가능
60K 컨텍스트: 38초 이내 응답, 논문 전체를 로드하고 답변을 기다리는 수준
100K 컨텍스트: 72초 이내 응답, 코드베이스(Codebase) 로드 후 쿼리 실행 가능
Needle-in-a-haystack 테스트를 통해 100K 컨텍스트에서도 100% 정확도(Recall)를 확인, 지연 시간(Latency)은 컨텍스트 크기에 비례하여 증가
Chainlit 프레임워크 선택과 UI 개발 과정
개발자는 UI 프레임워크 선택에 있어 Gradio와 Chainlit을 비교하며, Chainlit의 장점을 강조한다.
Gradio: 유연성(Flexibility) 높지만, DeepRead의 채팅 형태(Chat-shaped) 문제에 적합하지 않음
Chainlit: 채팅 형태에 최적화된 UI 제공, 개발 시간 단축
UI 독립적인(UI-independent) 코드 구조를 통해 프레임워크 변경에 따른 영향 최소화
/bench 명령어를 통해 벤치마크 결과를 UI 내에서 확인, 사용자 경험(User Experience) 개선
DeepRead의 기술적 한계 및 향후 개선 방향
DeepRead는 현재 음성 입력(Voice Input) 및 문서 라이브러리 관리 기능 부재 등 몇 가지 한계를 가지고 있다.
음성 입력: Gemma 4 E4B가 지원하지만, Chainlit과의 통합 문제로 구현 보류
문서 라이브러리 관리: 특정 문서 제외 기능 부재
향후 멀티 언어(Multi-language) UI 지원 계획
개발자는 오픈소스(Open Source) 모델과 로컬 환경의 장점을 강조하며, 지속적인 기능 개선을 예고
