어떻게 이기냐 이걸 (닐 모바, Neil Movva) — BZCF | 비즈까페

한 줄 요약

닐 모바(Sail Research)가 오픈소스 LLM을 시장 최저가로 뽑는 토큰 공장을 설명한다. 챗봇의 저지연이 아니라 몇 시간·며칠 도는 백그라운드 에이전트에 맞춰, 남들이 안 사는 칩·전력·1MW 미니 데이터센터를 청소하듯 모아 지능을 상품으로 값싸게 뿌린다.

영상 메타

URL: https://youtu.be/jH98VTe6FwA
채널: BZCF | 비즈까페
길이: 68분 51초
업로드: 2026-08-28
조회수: 593 / 좋아요 38
시청일: 2026-08-28 KST (🪽 헤르메스가 자막 추출 후 요약)

픽업

Sail Research는 토큰 공장이다. 오픈소스 LLM을 시장에서 못 이기는 가격으로 서빙하고, 몇 시간·며칠·몇 주 도는 에이전트용 샌드박스(클라우드 VM)를 붙인다. 회사 테마는 풍요(abundance) — 지능을 거의 모든 산업이 감당할 가격의 상품으로 만든다. 북극성은 당분간 토큰당 최저가고, 나중엔 에이전트가 스스로 토큰 예산을 쓰며 일을 끝내는 쪽으로 간다.
추론의 미래는 저지연 챗봇이 아니라 장시간 백그라운드 에이전트다. 사람이 기다리면 가장 빠른 답이 맞지만, 트릭은 “기다리게 하지 않는 것”이다. 루프에 사람이 있으면 병목은 사람이다. 동료를 5분마다 관리하지 않듯, 에이전트도 하루·일주 단위로 맡긴다. 올해 말 실시간:백그라운드 50:50, 장기 90:10을 본다. 백그라운드는 사람 주의력 한도가 없어 토큰 소비가 열린다.
GPU는 원래 처리량(throughput) 기계인데, 챗봇이 그걸 지연(latency) 최적화로 끌어왔다. 배치를 키우면 버스처럼 싸지만 느리고, NVLink로 연산을 쪼개면 차처럼 빠르지만 하드웨어를 8배 써도 속도는 4~5배뿐이다. 백그라운드면 초당 10토큰도 충분하다. NVLink가 약한 싼 칩도 “나쁜 칩은 없고 나쁜 가격만 있다”는 원칙으로 집어넣는다.
전략은 청소부(scavenger)다. 전 세계 아무 칩을 아무 기간에나 사고, 학습용 거대 센터가 아니라 분산 1MW 미니밀을 산다. 디젤 예비·삼중 광섬유를 빼고 가동률 95%(가격만 맞으면 80%)도 산다. 에이전트가 몇 시간 돌 때 한 턴이 몇 분 늘어나도 고객은 잔다. 태양·바람처럼 남이 안 만지는 간헐 전력도, 날씨를 보고 일을 옮기면 된다. 거대 제철소가 아니라 미니밀로 공장을 짓는다.
검증 가능한 문제(소프트웨어·수학·과학)에는 숨은 달러 비용이 붙어 있다. 잠금 해제는 “돌아올 약속 없이 토큰을 쓸 수 있는가”다. 보안은 이미 작업증명처럼 보여 — 코드가 얼마나 안전한지는 그걸 깨려고 앤트로픽 API에 얼마를 썼는가로 재는 농담이 돌았다. 큰 모델이 작은 모델의 상위집합은 아니라서, 다양한 모델로 샘플링하는 전용 에이전트가 필요해진다.
인터넷은 데이터에 대한 일회성 보조금이었다(고품질 텍스트 약 30조 토큰). 다음은 RL 체육관이다. 검증 가능한 과제에 자기채점만 주면 어떤 태스크든 자기개선 레시피가 되고, AGI는 빈칸이 없을 때까지 특화 지능을 쌓는 길이다. 랜덤 사용자 피드백은 이미 모델보다 약하고, 전문가 선호와 검증 과제만 남는다.
프론티어 랩은 3~6개월 앞선 것에 막대한 프리미엄을 낸다. 기업은 그 속도로 안 옮긴다. 증류는 막을 수 없다 — GitHub에 올라온 좋은 코드만으로도 프론티어급을 학습할 수 있다고 본다. 원하는 미래는 풍부한 토큰과 각자 자기 하니스. 에이전트를 비싼 상담역으로 두지 말고, 기계가 생각한다는 사실 자체를 최대한 많은 손에 넣는다.

용어

토큰 공장 (token factory) [빌링 · 운영]: 오픈소스 LLM 추론을 최저가로 대량 생산해 API로 파는 사업. Sail Research가 스스로를 부르는 이름.
샌드박스 (sandbox) [하니스 · 패턴]: 에이전트가 몇 시간·며칠·몇 주 동안 돌아가는 클라우드 가상머신. 사람 앞에 앉아 답하는 챗봇과 반대편.
테스트 타임 컴퓨트 (test-time compute) [모델 · 구독]: 답을 내기 전에 에이전트에게 더 많은 시간을 주면 답이 좋아진다는 스케일링. 장시간 에이전트에 베팅하는 근거.
처리량 vs 지연 (throughput vs latency) [하니스 · 패턴]: GPU를 가득 채워 싸게 뽑을지, 한 명을 빨리 보내줄지. 버스와 자가용의 차이. 둘을 같은 칩에서 동시에 최대로 못 한다.
KV 캐시 (KV cache) [컨텍스트 · 캐시]: 대화에 나온 모든 토큰의 표현을 메모리에 쌓아 다음 단어를 예측하는 저장소. 모델 가중치보다 커질 수 있고, 지금 가장 압축이 안 된 축.
청소부 전략 (scavenger strategy) [빌링 · 운영]: 앤트로픽·오픈AI가 안 사는 칩과 전력을 주워 모아 싼 토큰을 만드는 전략. 집중 공급이 아니라 합산 공급을 쌓는다.
미니밀 (mini mill) [빌링 · 운영]: 거대 일관제철소 대신 작은 제철소를 여러 곳 짓듯, 1MW급 소형 데이터센터를 미국에 흩뿌려 추론 공장을 만드는 비유.
RL 체육관 (RL environment gym) [지식 · 컨텍스트 자산]: 검증 가능한 과제와 자기채점을 넣어 모델이 혼자 연습하며 데이터를 만드는 환경. 인터넷 다음 데이터 원천.
증류 (distillation) [모델 · 구독]: 프론티어 모델의 출력으로 다른 모델을 학습하는 것. 고의 스크랩이 아니어도 GitHub에 올라온 AI 코드만으로도 일어난다.
빛의 속도 (speed of light) [워크플로우 · 문화]: 엔비디아 엔지니어가 칩의 이론 한계까지 성능을 밀어붙일 때 쓰는 말. 경쟁사 대비가 아니라 칩이 할 수 있는 절대치만 본다.