x86 TSS 버그, C 언어의 함정, 그리고 리눅스 커널 패치 성공기!
by DD
4개월 전
조회수 14
하이퍼바이저 개발 중 TSS(Task State Segment) 주소 계산 오류로 인한 시스템 붕괴 문제 발생
C 언어의 정수 승격(Integer Promotion)으로 인해 TSS 주소의 상위 비트가 손상되는 버그 발견
get_desc64_base 함수 수정으로 버그 해결, 리눅스 커널 패치 성공
AI는 버그를 감지하지 못하고 하드웨어 문제로 진단, AI의 한계를 보여줌
TSS(Task State Segment)와 하이퍼바이저(Hypervisor)의 관계
하이퍼바이저는 여러 운영체제를 동일한 하드웨어에서 실행하기 위해 CPU의 상태를 전환해야 한다. 특히, x86 아키텍처에서 TSS(Task State Segment)는 커널 스택 포인터(Kernel Stack Pointer)를 포함한 핵심 정보를 저장하여, 커널과 유저 공간 간의 전환(User-space to Kernel-space Transition)을 관리한다. 하이퍼바이저는 이 TSS 정보를 정확하게 설정해야 하며, 그렇지 않으면 시스템이 붕괴될 수 있다.
C 언어 정수 승격(Integer Promotion)의 함정
저자는 TSS 주소를 계산하는 과정에서 C 언어의 정수 승격(Integer Promotion)으로 인한 버그를 발견했다. 특히, 8비트 또는 16비트 값을 32비트 정수로 변환하는 과정에서 부호 확장(Sign Extension)이 발생하여 TSS 주소의 상위 비트가 손상되었다. 이로 인해 커널은 잘못된 스택 포인터를 사용하게 되어 치명적인 오류가 발생했다.
