영어 단어 퀴즈, 얼마나 정확할까?

커뮤니티에서는 퀴즈의 '과학적' 표본 추출(Stratified Sampling) 방식과 결과 산출 공식에 대한 의문을 제기합니다. 특히, 단어 난이도 분류(Core Basics, Intermediate, Advanced 등)의 모호함과 일부 단어(breviary, metamorphosis 등)의 난이도 책정에 대한 비판이 있습니다. 또한, 결과 산출 공식의 구조적 오류로 인해 만점자도 50%의 점수를 받는다는 지적이 나오며, 전반적인 측정 방법론의 신뢰성에 대한 논란이 있습니다.

많은 사용자가 단어당 과도한 클릭 수와 지루한 진행 과정을 지적했습니다. 특히 쉬운 단어 구간에서 지루함을 느끼고 흥미로운 단어에 도달하기 전에 포기하는 경우가 많다고 합니다. '제출(Submit)' 버튼 클릭 횟수를 줄이거나, '모르겠다(I don't know)' 옵션을 추가하여 추측으로 인한 결과 왜곡을 방지해야 한다는 의견이 다수입니다. 또한, Elo 또는 Glicko 2와 같은 적응형 알고리즘을 사용하여 더 빠르게 사용자 수준을 파악하는 방안도 제안되었습니다.

선택지의 설계가 정답을 쉽게 추측하게 만든다는 비판이 제기되었습니다. 많은 경우, 정답과 정반대 의미의 단어가 포함되거나, 가장 긴 선택지가 정답인 경우가 많다고 합니다. 또한, 단어 자체의 정의가 아닌, 단어와 관련된 개념(예: '단어', '말하기')에 편향된 단어들이 많이 선정되었다는 지적이 있습니다. 이는 LLM(Large Language Model)을 이용해 오답을 생성했을 가능성을 시사하며, 단어 선정의 편향성(Word Selection Bias)이 결과의 정확성을 저해한다는 의견입니다.

퀴즈 결과에 대한 해석이 사용자마다 다르게 받아들여지고 있습니다. 예를 들어, 만점을 받았음에도 불구하고 예상보다 낮은 점수를 받거나, '과묵한 사람'이라는 상반된 메시지를 받는 경우가 있었습니다. 또한, 원어민과 비원어민의 점수 분포 차이에 대한 흥미로운 분석도 있었으나, 알고리즘이 이를 제대로 반영하지 못한다는 지적이 있습니다. 개인의 도메인 특화 어휘 지식이나 언어적 배경에 따른 편차를 알고리즘이 충분히 고려하지 못한다는 의견입니다.