덜 읽어도 근거는 남아야 합니다

이번 이야기

AI에게 넘기는 자료를 줄이면서 필요한 근거는 지킬 수 있을까요? 자동화가 읽는 파일과 로그를 미리 선별하는 비교를 진행했습니다. 적게 읽는 것만으로는 충분하지 않습니다. 판단에 필요한 내용까지 빠진다면, 입력을 줄인 효과를 그대로 성과라고 부르기 어렵거든요.

직접 겪은 일

운영과 분리한 비교에서 세 표본의 전체 입력은 15,420토큰에서 6,768토큰으로 줄었고, 필수 근거는 22개 중 22개가 유지됐습니다. 여기서 눈여겨볼 결과가 하나 더 있었습니다. 규칙으로 선별했을 때와 비교한 Jev의 추가 절감량은 0이었습니다.

이 사전 선별 용도의 Jev는 운영에 적용하지 않았습니다. 이후 내부 자동화에는 규칙을 이용한 파일·로그 사전 선별이 반영됐고, 적용 대상 환경의 설치 검증도 통과했습니다. 비교에서 확인한 결과와 실제로 반영한 범위를 이렇게 구분할 수 있습니다.

배운 점

이 결과에서 제가 가져갈 기준은 단순합니다. 도구를 추가할 때는 기존 방식 위에 무엇이 더 좋아졌는지 확인하자는 겁니다. 이번 세 표본에서는 규칙 대비 Jev의 추가 절감이 확인되지 않았습니다. 이것만으로 다른 용도에서도 효과가 없다고 말할 수는 없습니다.

또 하나는 절감량 옆에 보존한 근거를 함께 적는 일입니다. 입력이 얼마나 줄었는지와 필요한 내용이 얼마나 남았는지를 같이 봐야, 그 선택이 판단의 품질을 지켰는지 평가할 수 있습니다.

독자에게

비슷한 선별 기능을 고민하고 있다면, 같은 자료를 기존 방식과 새 방식에 넣어 비교해 보세요. 먼저 빠지면 안 되는 근거를 정해 두고, 입력량과 근거 보존 여부를 함께 기록하는 겁니다. 새 도구가 더해 준 효과가 확인되는 범위부터 적용해 보면 어떨까요. 도입 여부를 결정할 기준이 조금 더 구체적이 됩니다.