최근 TOON이라는, JSON을 대체해 LLM의 토큰을 최소화한다는 구조적 데이터 표현 방식이 핫하다. (YAML과 유사한 형식) 하지만 주장대로 토큰을 더 적게 먹는게 맞을까? 다음의 JSON

최근 TOON이라는, JSON을 대체해 LLM의 토큰을 최소화한다는 구조적 데이터 표현 방식이 핫하다. (YAML과 유사한 형식) 하지만 주장대로 토큰을 더 적게 먹는게 맞을까? 다음의 JSON 데이터를 몇가지 데이터 형식으로 바꿔 GPT 토크나이저로 돌려보면 아래와 같이 나온다. — { "order":{ "id":7, "items": [ ["A12",2], ["B55",1] ] } } — JSON: 36토큰 JSON(공백제거): 22토큰 👈 CSV: 18토큰 TOON: 32토큰 YAML: 29토큰 — 사용처에 따라 TOON이 좋은 대안일 수 있지만, 우리 사례에 맞을지 테스트는 한 번 해봐야.. ☺️