x86 TSS 버그, C 언어의 함정, 그리고 리눅스 커널 패치 성공기!

하이퍼바이저는 여러 운영체제를 동일한 하드웨어에서 실행하기 위해 CPU의 상태를 전환해야 한다. 특히, x86 아키텍처에서 TSS(Task State Segment)는 커널 스택 포인터(Kernel Stack Pointer)를 포함한 핵심 정보를 저장하여, 커널과 유저 공간 간의 전환(User-space to Kernel-space Transition)을 관리한다. 하이퍼바이저는 이 TSS 정보를 정확하게 설정해야 하며, 그렇지 않으면 시스템이 붕괴될 수 있다.

저자는 TSS 주소를 계산하는 과정에서 C 언어의 정수 승격(Integer Promotion)으로 인한 버그를 발견했다. 특히, 8비트 또는 16비트 값을 32비트 정수로 변환하는 과정에서 부호 확장(Sign Extension)이 발생하여 TSS 주소의 상위 비트가 손상되었다. 이로 인해 커널은 잘못된 스택 포인터를 사용하게 되어 치명적인 오류가 발생했다.

저자는 get_desc64_base 함수 내에서 비트 시프트 연산(Bit Shift Operation) 전에 값을 부호 없는 정수 타입으로 캐스팅하여 문제를 해결했다. 이 수정으로 인해 부호 확장이 방지되었고, TSS 주소가 정확하게 계산되었다. 이 패치는 리눅스 커널에 성공적으로 적용되었으며, 하이퍼바이저의 안정성을 크게 향상시켰다.

흥미롭게도, 저자는 AI 모델을 사용하여 커널 로그를 요약하고 버그를 찾으려 시도했지만, AI는 버그를 감지하지 못했다. AI는 하드웨어 문제로 진단했으며, 이는 복잡한 시스템 문제 해결에 있어 AI의 한계를 보여준다. 실제 사례를 통해 AI 환각(Hallucination)의 위험성을 보여주며, 엔지니어의 역할의 중요성을 강조한다.