데이터프레임(DataFrame) 연산, 범주론(Category Theory)으로 효율을 높이다!
by DD
3개월 전
조회수 16
데이터프레임(DataFrame) 구현 시, 기존 API의 방대한 연산(Operations)을 파악하고, 효율적인 설계(Efficient Design)를 위한 고민을 시작함
범주론(Category Theory)을 활용하여 데이터프레임 연산의 근본 원리를 분석하고, Δ, Σ, Π 패턴을 발견함
Δ(Restructuring), Σ(Merging), Π(Pairing) 패턴을 통해 데이터프레임의 핵심 연산(Core Operations)을 정의하고, API 설계에 적용함
Haskell의 타입 시스템(Type System)을 예시로, 컴파일 타임(Compile Time)에서의 스키마 검증(Schema Validation)을 통해 안정성을 확보함
데이터프레임(DataFrame) 연산의 근본 원리: Δ, Σ, Π
본문은 데이터프레임(DataFrame) 연산의 핵심을 Δ(Restructuring), Σ(Merging), Π(Pairing) 세 가지 패턴으로 요약한다. Δ는 스키마(Schema)를 변경하지 않고 열을 선택하거나 이름을 변경하는 연산, Σ는 여러 행을 하나의 키로 병합하는 연산, Π는 두 스키마를 공유 키로 결합하는 연산을 의미한다. 이러한 패턴은 범주론(Category Theory)의 개념을 차용하여 데이터프레임 연산의 구조적 이해(Structural Understanding)를 돕는다.
스키마(Schema) 변경 연산의 설계 원칙
저자는 데이터프레임(DataFrame) API 설계 시, 스키마(Schema) 변경 연산을 Δ, Σ, Π 패턴으로 표현할 것을 제안한다. 각 패턴은 입력 스키마(Input Schema)와 연산 인수를 기반으로 출력 스키마(Output Schema)를 계산하는 명확한 규칙을 가져야 한다. 이러한 설계는 연산의 예측 가능성(Predictability)을 높이고, 컴파일러(Compiler)가 스키마 변환의 유효성을 검증하도록 하여 을 확보한다.
