Pelicans on Bikes: AI는 속임수 쓰는가?

펠리컨 자전거 SVG 생성은 AI 모델 성능을 가늠하는 유명한 비공식 벤치마크로 자리 잡음

실험 결과, AI 모델들이 해당 벤치마크에 특별히 더 나은 성능을 보인다는 증거는 거의 없음

펠리컨이나 자전거 자체의 성능 향상도 미미하며, 특정 조합에 대한 '펠리컨맥싱(Pelicanmaxxing)' 정황은 발견되지 않음

일부 모델에서 SVG 생성 자체의 최적화(SVGmaxxing) 가능성은 제기되나, 펠리컨에 국한된 훈련 증거는 부족함

펠리컨-자전거 조합의 '펠리컨맥싱' 증거 부족

실험 결과, AI 모델들이 펠리컨이 자전거를 타는 특정 조합에서 평균 이상의 성능을 보인다는 통계적 유의미함은 발견되지 않았습니다. 펠리컨 자체의 평균 점수나 자전거 자체의 평균 점수 모두 다른 동물이나 탈것에 비해 특별히 높지 않았으며, 두 요소의 조합 점수 역시 마찬가지였습니다. 이는 AI 연구소들이 해당 벤치마크에 대해 의도적으로 모델을 튜닝(Tuning)했을 가능성이 낮음을 시사합니다. 일부 모델(GLM-5.2)에서 근소한 우세가 관찰되었으나, 통계적 유의성을 확보하지 못했습니다.

SVG 생성 능력 자체의 최적화 가능성 (SVGmaxxing)

펠리컨-자전거 조합에 대한 직접적인 '펠리컨맥싱' 증거는 부족하지만, 일부 커뮤니티에서는 SVG 생성 능력 자체를 향상시키는 'SVGmaxxing'을 의심하고 있습니다. 특히 구글 딥마인드(Google DeepMind)와 같은 일부 연구소는 SVG 생성 능력을 개선하는 것이 실질적인 유용성을 가질 수 있다고 언급됩니다. 이 경우, 펠리컨-자전거 조합의 성능 향상은 전반적인 SVG 렌더링 능력 향상의 부산물일 수 있으며, 특정 벤치마크에 대한 편향된 훈련과는 구분될 필요가 있습니다.

방향성 편향과 자전거 구동계의 현실적 표현

모든 펠리컨-자전거 이미지에서 피사체가 오른쪽을 향한다는 점은 흥미로운 발견입니다. 이는 자전거의 구동계(Drivetrain)가 주로 오른쪽에 위치하기 때문에, 이를 표현하려는 모델의 경향성으로 해석될 수 있습니다. 커뮤니티에서는 이러한 현상이 실제 자전거의 구조에 대한 이해 부족에서 비롯된 것일 수도 있다고 지적하며, 단순히 훈련 데이터의 패턴을 학습한 결과일 가능성을 제기합니다. 이는 AI가 구조적 이해(Structural Understanding)보다는 패턴 인식(Pattern Recognition)에 더 의존하고 있음을 보여줍니다.

벤치마크의 한계와 향후 실험 방향

본 실험은 단일 LLM 판정(LLM Judge) 사용, 제한된 예산으로 인한 샘플 수 부족, 'plane'과 'airplane' 같은 프롬프트의 모호성 등 몇 가지 한계를 가지고 있습니다. 특히, LLM 판정의 신뢰성과 SVG 생성 모델의 특수성은 결과 해석에 주의를 요합니다. 향후에는 더 다양한 동물-탈것 조합, 실제 이미지 생성 모델(Image Generation Models)과의 비교, 그리고 구조적 이해를 요구하는 프롬프트를 통해 AI의 능력을 더 깊이 탐구할 필요가 있습니다.