AI, 법률 교육에서 교수를 넘어서다?

커뮤니티에서는 스탠포드 로스쿨 연구의 통계적 유의성에 대한 의문이 제기되고 있습니다. 단 16명의 교수만을 대상으로 각 3천 건의 비교를 수행한 점, 높은 편차(Variance)를 보이는 점 등은 연구의 통계적 검정력(Statistical Power) 부족을 시사한다는 지적입니다. 또한, 주요 결과에서 구글 모델만 집중적으로 다루고 다른 모델을 배제한 점은 연구 설계의 편향성(Bias in Study Design)을 의심하게 하는 요소로 언급됩니다.

소프트웨어 엔지니어 관점에서 AI가 법률 문서 초안 작성과 같은 작업을 수행할 때 발생할 수 있는 위험에 대한 논의가 있습니다. 겉보기에는 무해해 보이는 작업(예: 유언장 작성)이라도 복잡하고 예측 불가능한 법률 시스템의 특성상 예상치 못한 문제를 야기할 수 있다는 우려가 제기됩니다. 이는 AI가 생성한 법률 자문에 대한 책임 소재(Accountability) 불분명 문제와도 연결됩니다.

일부에서는 이 연구가 변호사를 대체하는 것이 아니라, 법대생을 위한 AI 튜터(AI Tutor)로서의 잠재력에 초점을 맞추고 있다고 해석합니다. AI가 법률 참고 자료에 접근하여 학생 질문에 대한 답변과 함께 출처를 제공하는 능력은 법률 교육 비용 절감(Reducing Legal Training Costs)이라는 사회적으로 긍정적인 결과를 가져올 수 있다는 것입니다. 이는 AI가 복잡한 법률 개념을 설명하는 데 있어 기존 교육 시스템을 보완할 수 있음을 시사합니다.

AI가 생성한 답변의 근거를 명확히 설명하지 못하고, 마치 그럴듯한 이유를 지어내는 듯한 AI 환각(Hallucination) 현상은 법률 자문 분야에서 심각한 문제로 지적됩니다. AI는 질문의 맥락을 이해하고 복잡성을 설명하는 데는 능숙할 수 있으나, 실제 법률 상담처럼 근거 기반의 명확한 설명(Evidence-Based Explanation)을 제공하는 데는 한계가 있다는 것입니다. 이는 AI가 법률 전문가를 완전히 대체하기 어려운 이유로 언급됩니다.

AI를 활용한 법률 서비스가 보편화될 경우, 개인이 법원이나 법률 전문가 없이 AI 시스템을 통해 법률 자문을 얻거나 소송을 진행하는 시나리오가 논의됩니다. 이 과정에서 AI의 부정확한 조언으로 인해 발생하는 문제에 대한 궁극적인 책임 주체(Ultimate Responsible Party)가 누구인지에 대한 문제가 제기됩니다. 또한, AI가 생성한 법률 문서의 정확성을 검증하기 위한 테스트 스위트(Test Suite) 또는 CI/CD 파이프라인(CI/CD Pipeline)의 필요성도 언급됩니다.

해당 연구의 제목이 해커뉴스 등에서 다뤄지는 방식과 실제 연구 내용 사이에 큰 차이가 있다는 비판이 제기됩니다. 원 논문의 제목은 '법학 교수들이 동료의 답변보다 AI 답변을 선호한다(Law Professors Prefer AI Over Peer Answers)'인 반면, 언론 보도에서는 'AI가 법학 교수를 능가한다'는 식으로 과장되어 전달된다는 지적입니다. 이는 클릭베이트(Clickbait)성 제목으로 인한 오해를 불러일으킬 수 있으며, 연구의 본질적인 의미를 왜곡할 수 있다는 우려를 낳습니다.