PySpark 라이브러리, MinIO로 테스트 자동화!
by DD
5년 전
조회수 10
PySpark 기반 데이터 분석 라이브러리 테스트를 위해 MinIO를 활용한 로컬 테스트 환경 구축
pytest의 fixture를 사용하여 S3 의존성 제거 및 테스트 격리 환경 구성
doctest를 통해 테스트 코드와 레퍼런스 문서를 통합하여 문서화 커버리지 100% 달성
S3 의존성 탈피: MinIO 기반 테스트 환경
기존 S3에 직접 접근하는 방식은 테스트 환경 구축에 어려움이 있었다. MinIO를 활용하여 로컬에서 S3 API를 모킹함으로써, S3 접근 권한 문제를 해결했다. 따라서, CI/CD 파이프라인에서 테스트를 자동화하고, 테스트 실행 속도를 향상시켰다.
pytest fixture를 활용한 테스트 격리
pytest fixture를 사용하여 테스트 간의 데이터 격리를 구현했다. MinIO 서버 fixture를 통해 각 테스트마다 독립적인 S3 환경을 제공한다. 결과적으로, 테스트 간의 상호 간섭을 방지하고, 테스트의 안정성을 확보했다.
