Siri AI, 개인 정보 보호는 정말 안전할까?
Apple은 Google Gemini 모델과 자체 Private Cloud Compute(PCC)를 결합한 Siri AI 기능을 발표했음
PCC는 데이터 미저장 정책(Zero-Retention Policy)과 데이터 격리 아키텍처(Data Isolation Architecture)를 통해 개인 정보 보호를 강조하나, 기술적 허점이 지적됨
프롬프트 인젝션(Prompt Injection) 공격 등 외부 위협에 대한 취약성이 제기되며, AI 환각(Hallucination) 가능성도 논의됨
은행, 병원 등 민감 데이터 공유 없이 모델 학습이 필요한 다자간 컴퓨팅(Multi-party Computing)의 어려움이 언급됨
Private Cloud Compute(PCC)의 보안 보증 한계
커뮤니티에서는 Apple의 Private Cloud Compute(PCC)가 데이터 격리 아키텍처(Data Isolation Architecture)를 표방하지만, 실제로는 신뢰할 수 있는 실행 환경(Trusted Execution Environment, TEE)의 완벽한 구현과 다자간 학습(Multi-party Training) 시 데이터 유출 방지에 대한 근본적인 해결책이 부족하다고 지적합니다. 특히 Apple이 칩을 설계했다는 점에서 백도어(Backdoor) 존재 가능성과 허위 증명(False Attestation)에 대한 의구심이 제기되며, 'Apple을 신뢰해야 한다'는 전제가 보안의 핵심적 약점이라고 꼬집습니다.
AI 에이전트의 외부 통신과 데이터 유출 위험
글에서는 AI 에이전트가 유용해지려면 외부 시스템과의 통신이 필수적이며, 이 과정에서 데이터 미저장 정책(Zero-Retention Policy)만으로는 개인 정보 보호가 불충분하다고 주장합니다. 에이전트가 외부 LLM이나 검색 엔진과 상호작용할 때, 의도치 않게 민감한 정보가 포함된 쿼리가 전송될 수 있습니다. 이는 프롬프트 인젝션(Prompt Injection) 공격에 취약하며, 공격자가 에이전트를 조작하여 민감 데이터 유출(Sensitive Data Exfiltration)을 유발할 수 있다는 점을 강조합니다.
다자간 컴퓨팅(Multi-party Computing)의 실질적 난제
Lobsters의 한 사용자는 은행이나 병원 컨소시엄의 다자간 학습(Multi-party Training) 사례를 들며, 차등 개인 정보 보호(Differential Privacy)를 강력하게 보장하면서 모델의 유용성을 유지하는 것이 현재 기술로는 매우 어렵다고 설명합니다. 특히 소규모 데이터셋 환경에서는 모델 유틸리티(Model Utility) 저하가 심각하며, 완벽한 TEE 환경에서도 심층 신경망(Deep Neural Networks)의 특성상 데이터 유출을 완전히 막기 어렵다는 점을 지적합니다. 이는 Apple의 PCC가 해결해야 할 근본적인 연구 과제임을 시사합니다.
정부 감시 및 규제 가능성
글에서는 AI 에이전트가 개인 데이터에 접근하고 외부와 통신할 수 있게 되면서, 정부의 감시 및 규제 가능성에 대한 우려를 제기합니다. 영국이나 EU의 사례처럼, 범죄 탐지를 위해 암호화된 메시지 접근을 요구하는 법규가 강화될 수 있습니다. Apple이 과거 사진 앱에서 CSAM 탐지를 위해 제안했던 방식처럼, AI 에이전트가 범죄 행위 탐지 및 보고 도구로 활용될 수 있으며, 이는 기술적 보호만으로는 해결될 수 없는 영역임을 강조합니다.
