1,400달러 아이폰, 덧셈도 못한다?!
by DD
5개월 전
조회수 34
아이폰 16 Pro Max에서 MLX LLM 실행 시, 텐서 값의 심각한 오류 발생
아이폰 15 Pro 및 MacBook Pro에서는 동일 코드 정상 작동 확인
Neural Engine 또는 관련 하드웨어 결함 가능성 제기
디버깅 과정을 통해 문제 원인 추적 및 해결 시도
아이폰 16 Pro Max의 ML 연산 오류 분석
본문에서는 아이폰 16 Pro Max에서 MLX LLM 실행 시 수치적 오류(Numerical Errors)가 발생하는 문제를 다룬다. 특히, 동일한 코드를 아이폰 15 Pro 및 MacBook Pro에서 실행했을 때는 정상적인 결과를 얻었지만, 아이폰 16 Pro Max에서는 텐서 값이 수십 배 이상 차이 나는 것을 확인했다. 이는 A18 칩의 Neural Engine 또는 Metal 컴파일 과정에서 발생하는 하드웨어 결함(Hardware Defect)일 가능성을 시사한다.
디버깅 과정 및 문제 해결 노력
저자는 문제 해결을 위해 MLX 코드 디버깅(Debugging)을 시도했다. 구체적으로, Gemma 모델을 사용하여 각 레이어의 텐서 값을 출력하는 방식으로 오류를 추적했다. 그 결과, 입력 값은 동일하지만 특정 지점부터 텐서 값이 크게 달라지는 것을 확인했다. 이러한 디버깅 과정은 문제의 원인이 소프트웨어(Software)가 아닌 하드웨어(Hardware)에 있음을 밝히는 데 기여했다.
