S3에서 의료 영상, 다운로드 없이 스트리밍!
S3에서 기가바이트(Gigabyte) 크기의 의료 영상을 다운로드 없이 스트리밍하는 기술이 소개됨
범용적인 범위 요청(Range Request) 기반 스트리밍 방식과 Zarr 데이터 모델(Data Model)의 활용이 핵심
WSI(Whole Slide Images) 형식 및 CoGeoTIFF 등 다양한 파일 형식 지원에 대한 논의
지도 라이브러리(Map Library)를 활용한 시각화 및 C# 스트림(Stream) 구현 사례 공유
범용 범위 요청(Range Request) 기반 스트리밍
토론에서는 범용 범위 요청(Range Request)을 활용하여 S3에 저장된 대용량 데이터를 효율적으로 스트리밍하는 방법을 제시한다. 특히, VirtualiZarr 프로젝트를 예시로 들며, 다양한 과학적 파일 형식(HDF5, netCDF, TIFF/COG 등)을 지원하는 유연성을 강조한다. 메타데이터(Metadata)를 활용하여 필요한 데이터 청크(Chunk)만 빠르게 가져오는 방식은 데이터 전송 속도(Data Transfer Speed)를 극대화하는 핵심 기술로 꼽힌다.
Zarr 데이터 모델(Data Model)의 활용
VirtualiZarr 프로젝트는 Zarr 데이터 모델(Data Model)을 기반으로, S3 내 원본 파일의 청크를 가리키는 가상 청크 참조(Virtual Chunk References)를 생성한다. 이를 통해 S3 네트워크 연결 속도만큼 빠르게 데이터를 스트리밍할 수 있다. Pangeo 프로젝트 및 Earthmover 사례를 통해 기후 과학 데이터 처리에서의 활용성을 보여주며, 도메인에 구애받지 않는 OSS 스택(Open Source Stack)의 장점을 강조한다.
의료 영상 형식(WSI) 및 압축 기술
댓글에서는 WSI(Whole Slide Images) 형식에 대한 정보를 제공하며, 진단에 영향을 미치지 않는 압축 기술의 중요성을 언급한다. 과거 TIFF 형식을 활용한 유사한 사례를 소개하며, 의료 영상 처리에서의 압축 기술 활용에 대한 관심을 높인다. DICOM(Digital Imaging and Communications in Medicine) 표준을 참조하여 의료 영상 데이터의 효율적인 관리 및 전송에 대한 인사이트를 제공한다.
지도 라이브러리(Map Library)를 활용한 시각화
논의에서는 의료 영상을 지도 라이브러리(Map Library)를 사용하여 시각화하는 방안을 제시한다. Protomap 파일과 유사한 방식을 통해 Leaflet과 같은 프런트엔드 라이브러리에서 의료 영상을 렌더링할 수 있음을 언급한다. 또한, C# 스트림(Stream)을 활용하여 S3의 대용량 zip 파일을 처리한 사례를 공유하며, 다양한 기술 스택 간의 융합 가능성을 보여준다.
