[한영자막] 코드 리뷰 없앤 지 3개월, 사이트가 터졌습니다 — Tech Bridge

한 줄 요약

HumanLayer의 Dex가 “하네스 엔지니어링만으로는 부족하다”며, 코드 리뷰를 없앤 라이트오프 소프트웨어 팩토리가 실패하는 원인을 모델 학습 구조(RL 보상에 유지보수성이 들어갈 자리가 없다)에서 찾는다. 대안으로 리뷰를 되살리되 앞단 계획(제품 리뷰·아키텍처·프로그램 설계·수직 슬라이스)에 레버리지를 두는 방식을 제시한다.

영상 메타

• URL: https://youtu.be/-c43cv80FiA
• 채널: Tech Bridge
• 길이: 18분 20초
• 업로드: 2026-07-25
• 조회수: 3986 / 좋아요 108
• 시청일: 2026-07-26 KST (⚖️ 가 자막 추출 후 요약)

픽업

• 이건 스케일 문제가 아니라 모델 학습 문제다. 하네스를 아무리 정교하게 만들고 루프를 늘리고 PR 봇에 “적대적 리뷰” 같은 주문을 뿌려도 근본은 안 바뀐다 — 그래서 “하네스로는 부족하다”.
• 라이트오프(코드를 아예 안 읽는) 팩토리를 2025년 7월에 직접 해봤다. 몇 달 돌리면 에이전트가 못 푸는 문제가 반드시 하나는 나오고, 그때 3개월간 안 읽던 코드베이스를 파고들어야 한다. 그 사이 사이트는 내려가 있고 사용자는 화가 나 있다.
• 모델은 사람의 조종 없이는 코드베이스 품질을 유지·개선하지 못한다. 증상은 Martin Fowler가 말한 shotgun surgery — 한 곳을 고치면 다른 곳이 깨진다. 에이전트는 10년 된 자바가 아니라 3~6개월 지난 코드베이스부터 이미 힘들어한다.
• 원인은 보상 설계다. SWE-bench류 벤치마크는 “테스트가 통과했나 / 다른 걸 안 깼나”의 이진 보상이라, 나쁜 프로그램 설계나 유지보수성 악화를 벌할 방법이 시스템 안에 없다. 그래서 필요 없는 try/catch, 통과만 노린 억지 캐스팅이 나온다.
• 유지보수성 검증은 “코드가 돌고 테스트가 통과한다”보다 수십~수백 배 어렵다. 나쁜 아키텍처의 비용은 몇 달·몇 년 단위로 나타나기 때문에, 그 보상 신호를 코딩 시점까지 되돌려 전달하기가 매우 어렵다.
• Claude Code가 앞선 이유는 도구가 달라서가 아니다(read·write·edit·grep·bash는 이전 CLI 에이전트도 다 있었다). 모델 랩이 자기가 배포할 하네스에 맞춰 모델을 학습시킨 첫 사례라서다. 모델 가중치를 못 만지는 하네스 빌더는 구조적으로 불리하다.
• 그래서 지금은 코드를 읽어야 하되, 앞단에 레버리지를 둔다: 제품 리뷰 → 시스템 아키텍처 → 프로그램 설계(타입·메서드 시그니처·콜스택·모듈 배치) → 수직 슬라이스. 사전 정렬 30분이 리뷰 몇 시간을 아낀다. 그리고 “PR이 너무 많다”가 아니라 “나쁜 PR이 너무 많다” — 좋은 PR은 읽는 게 즐겁다.

용어

• 하네스 (harness) [하니스 · 패턴]: 모델을 감싸 도구 호출·루프·샌드박스·오케스트레이션을 제공하는 실행 껍데기.
• 라이트오프 소프트웨어 팩토리 [워크플로우 · 문화]: 사람이 코드를 전혀 읽지 않고 에이전트 산출을 그대로 배포하는 운영 방식. Dentcho Biero가 명명.
• 브라운필드 (brownfield) [워크플로우 · 문화]: 이미 운영 중인 기존 코드베이스. 발화자는 요즘 출하 속도라면 3~6개월만 지나도 브라운필드로 본다.
• shotgun surgery [하니스 · 패턴]: 한 가지를 바꾸려면 여러 곳을 동시에 고쳐야 하는 상태. Martin Fowler의 코드 냄새 분류.
• RL 보상 신호 (reward signal) [모델 · 구독]: 에이전트의 여러 시도를 점수 매겨 좋은 행동의 확률을 올리도록 가중치를 갱신하는 학습 신호.
• SWE-bench Multilingual [모델 · 구독]: Redis·jq·Django 등 오픈소스 저장소의 15분짜리 이슈를 이진 보상으로 채점하는 코딩 벤치마크.
• 골든 패치 / 테스트 패치 [모델 · 구독]: 벤치마크가 모델에게 숨기는 정답 diff와, 사후 검증에 쓰는 기대 동작 테스트 diff.
• Sweep Marathon · Deep Sweep · Frontier Code [모델 · 구독]: 400시간급 대형 과제, 학습셋에 없는 저장소, 멀티 PR 과제로 유지보수성까지 재보려는 차세대 벤치마크들.
• 프로그램 설계 (program design) [하니스 · 패턴]: 아키텍처와 구현 사이의 층 — 타입·메서드 시그니처·콜스택·코드 배치를 미리 정하는 단계. 발화자는 이 층이 가장 과소평가됐다고 본다.
• 버티컬 슬라이스 (vertical slice) [하니스 · 패턴]: 시스템을 세로로 관통하는 구현 순서 단위. 멀티레포 조율과 단계별 검증 지점을 함께 정한다.