스포티파이 Portal — 클로드 토큰 90%를 줄인 라우팅 — 한성국

한 줄 요약

스포티파이가 내부 도구 Portal로 대용량 파일 읽기와 반복 코드 생성을 Gemini 2.5 Flash에 넘기고, Claude는 판단과 최종 수정만 맡긴 결과 Java 모노레포 대용량 읽기 구간에서 클로드 토큰을 평균 약 90% 줄였다는 한성국 정리.

출처 메타

픽업

  • 비싼 모델이 대용량 파일을 읽게 하는 게 토큰 낭비의 핵심이고, 스포티파이는 내부 도구 Portal로 그 구간을 싼 모델에 넘겼다.
  • 90% 절감은 전체 사용량이 아니라, Java 모노레포에서 대용량 파일 여러 개를 읽는 구간의 평균이다.
  • 대용량 파일 읽기와 반복 코드 생성은 Gemini 2.5 Flash, Claude는 판단과 최종 수정만 맡긴다.
  • 파일이 350줄을 넘으면 저비용 모델로 자동 재라우팅한다.
  • 「Claude가 다 하게」 두는 습관이 비싸다. 정리·요약·1차 초안은 싼 모델, 판단이 필요한 단계만 Claude — 한 대화 안에서도 나누면 된다.
  • Portal 자체는 내부 도구라 그대로 쓸 수 없고, 가져갈 것은 그 라우팅 방법이다.

용어

  • Portal [하니스 · 패턴]: 스포티파이 내부 도구. 작업을 모델별로 나눠 보내는 라우터 역할을 한다.
  • 모델 라우팅 [빌링 · 운영]: 작업 종류에 따라 고가/저가 모델을 나눠 배정해 토큰 비용을 줄이는 전략.
  • Gemini 2.5 Flash [모델 · 구독]: 대용량 파일 읽기와 반복 코드 생성에 쓰는 저비용 모델.
  • 350줄 임계 [하니스 · 패턴]: 이 줄 수를 넘는 파일은 비싼 모델이 직접 읽지 않고 저비용 모델로 넘기는 자동 기준.
  • 1차 초안 [워크플로우 · 문화]: 정리·요약·초고처럼 판단 전에 싼 모델에 맡기는 단계.
  • 최종 수정 [워크플로우 · 문화]: 판단이 필요한 마감 단계. 한성국은 이 구간만 Claude에 남기라고 했다.