<aside> 💡

과금 방지 목적의 LLM 비용 최적화 및 측정기

LLM API 앞단에서 동작하는 스트리밍 프록시

</aside>

일단 걸어둔 제약

1. Claude API만 호출 가능
2. 일단 다른 툴은 사용하지 않는다고 가정 (툴 비용 측정 고민 필요)
3. Text 형태의 대화만 가능

🌊 의식의 흐름

1️⃣ 구체적인 비즈니스 설계

• 처음 이 프로젝트를 생각했을 때, 이 그림같은 흐름으로 생각을 했었다.

  

• 그런데 비용 산정에 2가지 문제가 있었다.

  • 스트리밍 예시

  1. Claude의 경우, 질문의 토큰 수를 정확히 계산하려면 따로 API를 호출해야 한다.

     • 토크나이저 자체를 제공하지 않는다.

     • 최대라고 예상해도 최대라고 확신할 수 없다.

       → 토큰 조각으로 어떤 것들이 있는지 알 수 없기 때문

  2. 최대로만 예상 가능한 가능한 요소들이 존재한다.

     • output tokens → 답변과 연관
     • 캐시에서 검색된 토큰 수 → 캐시 히트 확신 불가

• 결국, 통제 가능한 것은 LLM API 호출 시의 요청 데이터 뿐이다.

  → 동일한 문장을 최소한의 토큰으로 LLM이 이해하게끔 할 수는 없을까?

2️⃣ 한국어 기준으로 Token 최적화

• 출처: 한국정보기술진흥원 뉴스

  “커뮤니티 벤치마크와 학술 연구를 종합하면, 같은 의미를 전달할 때 영어 사용자가 100토큰으로 하는 대화를 한국어로는 300~500토큰을 써야 한다.”

• 위 뉴스에는 한국어가 불리한 이유로 3가지 이유를 제시한다.

  1. 조사와 어미로 인해, 같은 의미의 단어가 여러 형태로 변형됨
  2. UTF-8 인코딩 기준, 영어보다 한국어가 더 많은 바이트를 필요로 함
  3. 영어가 아닌 언어는 토크나이저 사전에 데이터가 적을 수 밖에 없음

• 결과적으로, LLM과 영어로 대화해야 토큰을 아낄 수 있다고 한다.

  • 번역기를 활용하려면 할 수 있겠지만, 내가 쓰려고 만드는 거라..
  • 한국인으로서, 한글로 풍부하게 대화하고 싶다.

• 그럼 한글로 작성된 문장 자체를 최적화할 수는 없을까?