LLM(Language Model) 사용, JSON 최적화로 비용 절감!

JSON.stringify() 활용: 공백 제거를 통해 데이터 압축(Data Compression) 효과를 얻는다.

키 이름 축약: odUserId를 uid로, userName을 name으로 변경하는 등, 의미를 해치지 않는 범위 내에서 키 이름을 줄인다.

구현: 개발자는 JSON 직렬화 시 포맷팅 옵션을 제거하고, 키 이름을 축약하는 규칙을 정의하여 적용한다. 이러한 방법은 JSON 파싱(JSON Parsing) 속도 향상에도 기여한다.

중첩 구조 평탄화: user -> profile -> name과 같은 중첩 구조를 name으로 변경하여 구조적 토큰(Structural Token) 사용을 줄인다.

null 및 빈 값 제거: 존재하지 않는 데이터는 LLM(Language Model)에 전달하지 않음으로써 토큰 낭비를 방지한다.

구현: 데이터 구조를 분석하고, 불필요한 중첩과 값을 제거하는 로직을 구현한다. 이러한 최적화는 LLM(Language Model)의 추론 정확도(Inference Accuracy) 향상에도 기여할 수 있다.

반복되는 객체 대신 배열 사용: 동일한 구조를 가진 객체들의 경우, 헤더 행과 데이터 행으로 구성된 배열을 사용하여 중복되는 키(Key)를 제거한다.

불리언 값 표현 최적화: false인 경우 필드를 생략하거나, true인 값만 배열에 포함하여 토큰 사용량을 줄인다.

구현: 데이터 구조를 분석하고, 배열로 표현하는 것이 효율적인지 판단한다. 불리언 값은 긍정적인 경우만 포함하도록 로직을 변경한다. 이러한 방법은 LLM(Language Model)의 성능 향상에 기여한다.

최적화 전: UUID, 긴 키 이름, 중첩 구조, null 값, 타임스탬프(Timestamp) 등, 불필요한 데이터가 포함되어 토큰 사용량 증가

최적화 후: 짧은 ID, 축약된 키 이름, 구조 단순화, null 값 제거, 불필요한 데이터 제거를 통해 JSON 데이터 크기 50% 감소

결과: 토큰 비용 절감, 추론 속도 향상, LLM(Language Model)의 성능 향상