AI 시대, 데이터 분석가의 역할은? 인간과 AI의 조화로운 협업!
AI 기반 데이터 분석 시대에 데이터 분석가는 단순히 정보를 처리하는 역할에서 벗어나, 현실을 해석하는 의사 결정자(Decision Maker)로 변화해야 함을 강조함
데이터와 정보의 차이를 명확히 구분하고, 데이터가 현실의 일부(Sample)만을 나타낸다는 점을 인지하여 분석해야 함을 역설함
AI는 데이터 집계, 패턴 인식 등에서 강점을 보이지만, 현실에 대한 이해와 해석은 여전히 인간 분석가의 몫임을 강조하며, Human-in-the-loop의 중요성을 강조함
팔란티어(Palantir)의 온톨로지(Ontology) 기반 접근 방식을 예시로, AI와 인간의 역할을 조화롭게 배치하는 시스템 설계(System Design)의 중요성을 제시함
데이터 분석의 본질: 현실을 이해하는 과정
본문에서는 데이터 분석을 단순히 숫자를 계산하는 행위가 아닌, 숫자로 표현된 현실을 해석하는 과정으로 정의한다. 데이터는 현실의 일부(Sample)만을 나타내며, 분석가는 데이터가 현실의 어떤 부분을 대표하고, 어떤 부분이 담기지 못했는지를 파악해야 한다고 강조한다.
정보(Information)와 데이터(Data)의 구분: 정보는 현실 세계의 모든 신호와 맥락을 포괄하지만, 데이터는 측정하고 기록할 수 있는 일부에 불과하다는 점을 명확히 한다.
분석가의 관점(Perspective)의 중요성: 같은 데이터라도 분석가의 관점에 따라 다른 결론에 도달할 수 있으며, 이는 계산 능력 차이가 아닌 현실을 바라보는 관점의 차이에서 비롯된다.
AI 기반 데이터 분석의 두 축: 숫자와 이해
AI를 활용한 데이터 분석은 '숫자'를 통해 현상을 읽어내는 영역과, '이해'를 통해 숫자가 가리키는 세계를 연결하는 영역으로 구분된다. AI는 데이터 집계, 패턴 인식 등에서 강점을 보이지만, 현실에 대한 이해는 여전히 인간의 몫으로 남는다.
SQL 기반 데이터 집계: 반복적인 요약 작업에 LLM이 활용되지만, 정해진 틀 안에서만 질문이 가능하다는 한계가 존재한다.
관점 확장 분석: 새로운 가설 제안에 LLM이 기여할 수 있지만, 현실에 대한 이해가 부족하면 표면적인 조합에 그칠 위험이 있다.
패턴 인식(Pattern Recognition): 모델링을 통한 패턴 인식에는 Python과 같은 도구와 강력한 컴퓨팅 자원이 필요하며, 복잡한 현실 세계에서 공통된 질서를 추출하는 것이 핵심이다.
AI와 인간의 역할 재배치: Human-in-the-loop
AI 기반 데이터 분석의 미래는 AI와 인간의 역할을 어떻게 재배치하느냐에 달려있다. AI는 언어적으로 정의된 정보의 영역에서 강점을 보이며, 인간은 비언어적 영역을 언어적 데이터로 변환하고, 주관적인 맥락을 존중하는 역할을 수행해야 한다.
개인 맞춤형 메모리(Personalized Memory): 사용자의 과거 발화, 판단 기준, 해석 등을 누적하여 분석 과정의 맥락을 유지한다.
분석 과정의 맥락화(Contextualization): 질문, 가설, 결과 해석, 재질의 과정을 기록하여 분석 결과의 오해를 방지한다.
Human-in-the-loop: AI는 제안과 확장을 담당하고, 해석의 최종 책임은 인간에게 남아있어야 한다.
팔란티어(Palantir)의 온톨로지(Ontology) 기반 접근
팔란티어는 LLM을 단순한 답변 생성기가 아닌, 기업 운영 현실과 연결하는 도구로 활용한다. 온톨로지(Ontology)를 통해 AI가 현실에 무책임하게 떠다니는 것을 방지하고, 모든 답변을 검증 가능한 운영 현실에 고정한다.
온톨로지(Ontology) 기반 데이터 구조화: 기업 데이터를 객체, 관계, 행동으로 구조화하여 현실의 디지털 쌍둥이를 생성한다.
LLM의 역할: LLM은 도구를 호출하는 지휘자(Orchestrator) 역할을 수행하며, 실제 계산은 결정적 도구(Functions, Models)가 수행한다.
행동(Action) 정의: AI가 시스템을 직접 조작하는 대신, 사전에 정의된 행동을 제안하도록 하여 기업의 통제권을 유지한다.
AI 시대 데이터 분석의 미래: 설계 원칙
AI 기반 데이터 분석 제품은 분석을 자동화하는 도구가 아닌, 현실을 해석하는 사고 과정을 확장하는 시스템으로 설계되어야 한다. 개인 맞춤형 메모리, 맥락화, Human-in-the-loop 설계, 팔란티어식 온톨로지 접근은 모두 AI가 현실에 무책임하게 떠다니지 않도록 하는 방법이다.
AI의 강점 활용: LLM은 언어적 정보의 요약 및 조합, 표준적인 해석에 강점을 보인다.
인간의 역할 강조: 언어로 환원되지 않는 주관성, 도메인 지식, 해석의 책임은 인간에게 남아있다.
설계 원칙: AI가 잘할 수 있는 것과 인간의 판단이 필요한 것을 구분하고 연결하는 것이 미래 데이터 분석 제품 설계의 핵심이다.
