AI 코딩 비용의 90%는 불필요한 비용이다 — 조여준 Ethan Cho (LinkedIn)

한 줄 요약

Andrej Karpathy의 “AI 코딩 비용의 90%는 불필요한 비용이다”라는 진단을 인용하며, 시니어 AI 엔지니어들이 토큰 낭비를 줄이기 위해 실제로 쓰는 10가지 습관(모델 라우팅, 프롬프트 캐싱, 배치 처리 등)을 정리한 LinkedIn 포스트.

30줄 고치는 작업에 파일 50개가 자동으로 로딩되는 구조를 방치하면 턴당 $1.20이 들고, 그중 80%가 낭비되는 입력이다.
린트·포맷·리네임처럼 정답이 뻔한 저난이도 작업에 최상위 모델을 무지성으로 쓰면 $0.02짜리 작업을 $0.60에 하는 셈 — 30배를 더 지불하는 것이다.
재시도할 때마다 전체 컨텍스트를 다시 보내는 “툴콜 루프” 구조 하나만 고쳐도 비용을 30~50% 절감할 수 있다.
모든 작업에 기본값으로 최상위 모델을 고정해 두는 사람이 많지만, 작업 대부분은 1/6 가격 모델로도 동일한 품질이 나온다.
매 호출마다 프롬프트 앞부분이 바뀌면 캐시가 깨져 전체를 다시 읽어야 해 비용이 폭증한다. “혹시 몰라서” 파일을 통째로 프롬프트에 끼워 넣는 습관도 3,000토큰짜리 요청을 80,000토큰으로 불려버린다.
세션마다 환경을 처음부터 재학습시키는 대신 SKILL 파일처럼 재사용 가능한 형태로 만들어두면, $4짜리 호출이 $0.30까지 줄어든다.
작은 질문 10개를 하나씩 따로 던지는 대신 배치로 묶어 한 번에 돌리면 70~90%가 절감된다. 12개월 뒤 월 $200을 쓰는 개발자와 월 $4,000을 쓰는 개발자의 격차는 실력이 아니라 이런 라우팅 습관의 차이다.

토큰 라우팅 [모델 · 구독]: 작업 난이도에 맞춰 저가/고가 모델을 나눠 배정해 비용을 최적화하는 전략.
린트/포맷/리네임 [하니스 · 패턴]: 코드 스타일 정리·이름 변경처럼 정답이 명확한 저난이도 작업 유형.
툴콜 루프 [하니스 · 패턴]: 도구 호출 결과를 받아 매번 전체 컨텍스트를 재전송하며 반복하는 에이전트 실행 구조.
프롬프트 캐싱 [컨텍스트 · 캐시]: 프롬프트의 변하지 않는 앞부분을 재사용해 매 호출마다 드는 재계산 비용을 줄이는 기법.
SKILL 파일 [지식 · 컨텍스트 자산]: 반복 작업 절차를 재사용 가능한 형태로 저장해 세션마다 새로 설명하지 않아도 되게 하는 자산.
배치 처리 [워크플로우 · 문화]: 여러 개별 질문·요청을 모아 한 번의 호출로 처리하는 방식.
프리미엄 티어 [빌링 · 운영]: 가장 비싼 상위 모델 등급. 모든 작업에 기본 적용하면 비용이 과다해지는 원인으로 지목된다.