초록인 테스트가 죽은 계약을 지키던 날

00:34, 터미널에서 창 갈아타는 키를 쳐도 그록 창에 안 들어가졌다. 01:06, 「초록인 테스트가 진짜 뭘 지키는지」 재는 도구를 머지했다. 16:20, 그 도구가 하루 종일 나를 잡아낸 뒤에야 마지막 함정이 닫혔다.

네 번 고쳤는데 안 고쳐진 것

폰에서 글만 보냈는데 화면엔 사진이 붙어 제출됩니다. 어제부터 네 번 고쳤습니다. 입력칸 지우는 키를 계속 갈아탔습니다.

그런데 여전히 안 고쳐진 것으로 보였습니다. 이유는 단순했습니다. 수리가 기계까지 안 왔습니다. 본진 클론이 브랜치에 묶여 열두 커밋 뒤였고 다른 두 노드도 옛 코드를 돌리고 있었습니다. 앉은 자리에서는 「네 번 고쳤는데 안 됨」과 「안 고침」이 똑같아 보입니다.

더 나쁜 건 같은 함수를 두 노드가 따로 고쳐 PR 두 개를 냈다는 것입니다. 워커는 티켓 하나만 보기 때문에 아무도 몰랐습니다.

그리고 다섯 번째 층이 있었습니다. 맥 클립보드에 스크린샷이 남아 있으면 입력칸을 아무리 지워도 붙여넣기가 사진을 되살립니다. 이건 내가 아니라 워커 노드가 찾아냈습니다 — 클립보드 내용을 직접 조회하고, 붙은 사진 두 장의 해시를 대조해서.

진단 능력과 배송 능력은 다른 축입니다. 맞는 수리 네 건이 저장소에만 쌓이면, 쓰는 사람에게는 아무것도 안 고친 것과 같습니다.

없는 방 문을 두드리고 있었다

창 관리자에는 별개의 방이 여러 개 있을 수 있습니다. 어제 낮 커밋이 그록 창을 다른 방으로 이사시켰는데, 그 커밋이 손댄 파일 열두 개에 갈아타는 키는 없었습니다. 배달원·기동면·헬스와치·노드감시는 따라갔고 키 하나만 옛 주소를 들고 남았습니다.

여기서 진짜 문제가 나왔습니다. 그 키의 테스트가 「소켓은 옛 이름이어야 한다」고 단언한 채 초록이었습니다. 죽은 주소를 성실히 지켜 주고 있었습니다. 픽스처가 사고를 막은 게 아니라 굳혔습니다.

초록인 테스트는 증거가 아니다

여기서 방향을 틀었습니다. 개별 결함을 계속 쫓는 대신 계기 자체를 검증하는 도구를 만들었습니다.

원리는 단순합니다. 픽스처에 결함을 일부러 되살려 넣고 적색이 나는지 봅니다. 통과해 버리면 그 픽스처는 아무것도 안 지키고 있는 것입니다.

첫 전수 조사 결과가 숫자로 나왔습니다 — 변이 미선언 픽스처 768본. 그리고 만들자마자 나부터 걸렸습니다. 세션 동일성을 잘못된 번호로 판정하고, 환경변수 검사가 첫 기동과 같은 값을 재고, 경로가 어긋나 함수가 아예 안 불리는데도 「제대로 거부했다」로 읽었습니다. 네 번 다 테스트를 돌려서는 안 잡혔고, 결함을 되살려 본 뒤에야 드러났습니다.

픽스처가 초록이라는 사실은 그 자체로 아무것도 증명하지 않습니다. 변이로 적색을 만들 수 있어야 비로소 무언가를 지키고 있다는 뜻입니다.

답이 없던 게 아니라 다른 파일을 보고 있었다

오후에 신고가 들어왔습니다. 터미널엔 27초 만에 답이 완성됐는데 폰엔 「180초 무진전」 실패가 떴습니다.

워커 노드가 날카롭게 짚었습니다 — 이 증상의 수리 네 건이 전부 기다리는 시간을 늘리는 층이었고, 「보는 파일이 맞나」를 묻는 층은 0건이라고.

그대로였습니다. 브릿지는 켜질 때 「이 대화 볼게」라고 주소를 적어두는데, 그록이 도중에 새 대화로 갈아탔습니다. 브릿지는 새벽에 멈춘 옛 대화를 오후 내내 노려보고 있었습니다.

고치되 함부로 따라가진 않게 했습니다. 조건 넷이 전부 맞을 때만 옮깁니다. 그리고 조용히 죽지 않게 했습니다. 실패 문구에 「갈렸다 + 양쪽 주소 + 마지막 기록 시각」이 실립니다. 이 사고의 진짜 피해는 잘린 것이 아니라 왜 잘렸는지 아무도 몰랐던 것이었습니다.

맥에는 별명 주소가 있습니다. /tmp라고 쓰면 실제로는 /private/tmp입니다. 그록은 대화 폴더 이름을 작업 위치 글자 그대로 만듭니다. 쓰는 쪽이 진짜 주소로 만든 폴더를 읽는 쪽이 별명으로 찾으면 텅 빈 엉뚱한 폴더를 봅니다. 증상은 언제나 같습니다 — 화면엔 답이 났는데 무응답. 오늘만 세 번 나왔습니다. 세 번 다 사람이 눈으로 잡았습니다. 그래서 작업 폴더를 일부러 별명으로 준 다음 양쪽이 같은 폴더를 가리키는지 기계가 대조하게 했습니다.

배운 것

재발 방지는 문서에 문장을 더하는 게 아니라 게이트·테스트를 더하는 것입니다. 그리고 그 테스트마저 검증받아야 합니다.

만든 지 세 시간 만에 세 노드가 그 규율을 쓰기 시작했습니다. 워커들이 올린 PR에 「변이 프로브 2/2」가 붙어 오기 시작했습니다. 남은 구멍도 정직하게 티켓으로 걸어뒀습니다. 미검증 픽스처는 여전히 768본입니다. 전부 소급하지는 않을 생각입니다 — 사고가 난 표면부터 붙이는 쪽이 쌉니다.

— 강대종 / @ssamssae