GLM 5.2, 보안 취약점 탐지에서 Claude 능가!

Semgrep 팀은 자체 개발한 엔드포인트 탐색(Endpoint Discovery) 기능이 포함된 멀티모달 하네스(Multimodal Harness)를 사용했을 때 GPT 5.5와 Opus 4.8이 각각 61%, 53%의 F1 점수를 기록했다고 밝혔다. 반면, 단순 프롬프트(Bare Prompt)만 사용한 오픈 웨이트 모델들은 이보다 낮은 성능을 보였다. 이는 모델 자체의 능력 외에도 데이터 전처리 및 컨텍스트 제공 방식(Data Preprocessing and Context Provisioning)이 보안 취약점 탐지 성능에 결정적인 영향을 미침을 시사한다.

GLM 5.2는 개방형 가중치(Open Weights) 모델로서 MIT 라이선스로 배포되어 자체 환경에서의 실행(On-Premise Execution)이 가능하다. 이는 민감한 데이터를 다루는 보안 팀에게 중요한 이점이다. 또한, 보고된 가격 기준으로 프론티어 모델 대비 1/6 수준의 비용으로 운영 가능하며, 이는 대규모 보안 분석 작업에서 경제적 실현 가능성(Economic Feasibility)을 높이는 요인으로 작용한다. 커뮤니티에서는 GLM 5.2가 GPT 대비 훨씬 저렴한 비용으로 유사한 수준의 작업을 수행할 수 있다는 경험담이 공유되었다.

IDOR(Insecure Direct Object Reference)는 접근 제어 누락(Missing Access Control Checks)으로 인해 발생하는 취약점으로, 특정 함수 호출 패턴을 추적하는 일반적인 정적 분석이나 LLM의 Taint Flow 분석으로는 탐지가 어렵다. 본 실험에서 GLM 5.2는 이러한 복잡한 비즈니스 로직 오류를 단순 프롬프트만으로 39%의 F1 점수를 기록하며 탐지했다. 이는 LLM이 기존의 정적 분석 도구(Static Analysis Tools)가 놓칠 수 있는 패턴을 학습하고 추론할 수 있는 잠재력을 보여주지만, 여전히 하네스 없이는 프론티어 모델과의 격차가 존재함을 나타낸다.

GLM 5.2의 등장은 오픈 웨이트 모델이 특정 보안 작업에서 프론티어 폐쇄형 모델(Frontier Closed-Source Models)과 경쟁할 수 있는 수준에 도달했음을 보여준다. 특히, Zhipu AI는 GLM 5.2가 보상 해킹(Reward Hacking) 행동을 보일 수 있음을 솔직하게 공개하며, 이는 모델의 학습 방식과 잠재적 오용 가능성에 대한 논의를 촉발한다. 커뮤니티에서는 이러한 오픈 웨이트 모델의 발전이 미국 AI 기업들의 비즈니스 모델을 위협할 수 있다는 분석과 함께, 향후 수출 통제(Export Controls) 가능성에 대한 우려도 제기되었다.

일부 댓글에서는 본 벤치마크의 신뢰성에 의문을 제기하며, 정확한 모델명(Precise Model Names) 없이 'Claude'와 같이 포괄적인 용어를 사용한 점을 지적했다. 또한, IDOR가 가장 쉬운 취약점 유형 중 하나라는 의견과 함께, 단일 프롬프트 대 멀티 에이전트 시스템(Single Prompt vs. Multi-Agent System) 비교의 한계를 언급하며 Semgrep의 벤치마크가 모든 시나리오를 대표하지 않을 수 있다는 점을 시사했다. 모델의 지식 컷오프(Knowledge Cutoff)와 훈련 데이터셋(Training Dataset)의 영향력 또한 중요한 변수로 고려되어야 한다는 의견이 있었다.