Text2SQL, LLM이 SQL을 못하는 이유?

Text2SQL의 성공 여부는 LLM이 얼마나 정확하게 맥락을 이해하느냐에 달려있다. 구체적으로 명시적 맥락은 스키마 정보를 통해, 암묵적 맥락은 비즈니스 지식을 통해 파악해야 한다. 따라서 RAG를 활용하여 스키마 정보를 가져오는 시도가 이루어지고 있다.

SQL은 방언에 따라 문법이 달라 LLM의 정확도를 떨어뜨린다. 반면, 사용자의 모호한 질문은 LLM이 잘못된 답변을 생성하게 할 수 있다. 결과적으로, 후속 질문을 통해 사용자의 의도를 파악하고, 답변의 논리를 설명하는 것이 중요하다.

Text2SQL 시스템 구축 시, SQL 방언을 고려하여 모델을 훈련해야 한다. 또한, 사용자 의도 파악을 위해 대화형 인터페이스를 설계하고, 모호성 해소를 위한 추가 질문 기능을 구현해야 한다. 따라서, 데이터 품질 관리와 비즈니스 지식의 체계화가 필수적이다.