1,400달러 아이폰, 덧셈도 못한다?!
아이폰 16 Pro Max에서 MLX LLM 실행 시, 텐서 값의 심각한 오류 발생
아이폰 15 Pro 및 MacBook Pro에서는 동일 코드 정상 작동 확인
Neural Engine 또는 관련 하드웨어 결함 가능성 제기
디버깅 과정을 통해 문제 원인 추적 및 해결 시도
아이폰 16 Pro Max의 ML 연산 오류 분석
본문에서는 아이폰 16 Pro Max에서 MLX LLM 실행 시 수치적 오류(Numerical Errors)가 발생하는 문제를 다룬다. 특히, 동일한 코드를 아이폰 15 Pro 및 MacBook Pro에서 실행했을 때는 정상적인 결과를 얻었지만, 아이폰 16 Pro Max에서는 텐서 값이 수십 배 이상 차이 나는 것을 확인했다. 이는 A18 칩의 Neural Engine 또는 Metal 컴파일 과정에서 발생하는 하드웨어 결함(Hardware Defect)일 가능성을 시사한다.
디버깅 과정 및 문제 해결 노력
저자는 문제 해결을 위해 MLX 코드 디버깅(Debugging)을 시도했다. 구체적으로, Gemma 모델을 사용하여 각 레이어의 텐서 값을 출력하는 방식으로 오류를 추적했다. 그 결과, 입력 값은 동일하지만 특정 지점부터 텐서 값이 크게 달라지는 것을 확인했다. 이러한 디버깅 과정은 문제의 원인이 소프트웨어(Software)가 아닌 하드웨어(Hardware)에 있음을 밝히는 데 기여했다.
커뮤니티 반응 및 추가적인 문제 제기
댓글에서는 LLM을 이용한 덧셈 연산의 적절성에 대한 논의와 함께, Apple의 수치 연산 API(Numerical API)의 일관성 부족에 대한 지적이 있었다. 또한, 다른 Neural Engine 사용 앱에서도 유사한 문제가 발생하는지 확인해야 한다는 의견도 제시되었다. 특히, 키보드 예측 기능(Predictive Text)의 오류와 같은 다른 문제와의 연관성을 의심하는 의견도 제기되었다.
하드웨어 결함 가능성과 향후 전망
저자는 아이폰 16 Pro Max의 하드웨어 결함을 확신하고, 기기를 교체할 예정이다. 이는 LLM 개발자들이 직면한 블랙 박스(Black Box) 문제와 유사하며, 저수준 LLM 개발의 어려움을 보여준다. 또한, Apple Intelligence 관련 문제와 연관될 가능성을 언급하며, 잠재적 문제(Potential Issues)에 대한 우려를 표명했다.
