· 작은 표본 검증
AI는 진행 보고와 완료 보고를 구별할까?
- 질문
- 한국어 작업 보고에서 종류·필요 행동·시급성을 분류해 사람이 읽을 순서를 정할 수 있을까?
- 방법
- 가상 한국어 보고 16건을 실제 Jev API에 보내고, 세 항목 모두 사전 기대값과 같은지 비교했습니다.
- 결과
- API 처리 성공 16/16, 세 항목 일치 15/16. 이미 승인받아 배포 중인 보고 1건을 완료로 잘못 분류했습니다.
- 적용
- 원문을 먼저 저장하고 분류를 뒤에서 처리합니다. 신뢰도가 낮은 결과는 확인 필요로 표시하며 사람이 수정할 수 있습니다.
- 한계
- 합성 표본 16건의 결과입니다. 운영 전체 정확도나 작업의 실제 완료 여부를 입증하지 않습니다. 분류 배지가 승인·종결을 대신하지 않습니다.
근거 기록 읽기 ↗ · 무료 규칙 채택
파일 선별에도 AI 호출이 필요할까?
- 질문
- 큰 모델에 보낼 파일·로그를 줄일 때 AI 선별이 단순 규칙보다 나을까?
- 방법
- 전체 자료·무료 규칙·Jev 선별을 세 표본에서 비교했습니다. 규칙과 Jev의 선별 결과가 같아 규칙부터 적용했습니다.
- 결과
- 별도의 실제 파일 표본에서 원문 조회 정보를 포함한 입력량이 11,633→4,478토큰으로 61.5% 줄었습니다. 이 수치는 무료 규칙의 효과입니다.
- 보존
- 원문 사본·해시·줄 위치를 남기고 경고와 오류 주변, 알 수 없는 줄은 보존합니다. 선별로 입력이 커지면 원문을 전달합니다.
- 한계
- 한 표본의 입력량 감소입니다. 월 청구액 감소나 답변 품질 유지까지 검증한 수치는 아닙니다.
근거 기록 읽기 ↗