환율을 적용하고 호텔·식비 한도를 계산하는 것만으로 출장비 정산이 끝나지는 않습니다. 영수증 기준, 택시 이용 시간, 제출 기한, 중복 청구처럼 먼저 적용해야 하는 규칙까지 함께 판단해야 합니다.
KRBench 13호에서는 가상의 출장비 청구 25건을 만들었습니다. 고정 환율 4종과 호텔·식비·택시·항공·철도·기타·개인 지출 규칙, 영수증과 필수 필드, 중복, 휴일이 포함된 제출 기한을 한 TXT 파일에 넣고 ChatGPT·Gemini·Claude·NotebookLM·Perplexity에 같은 프롬프트로 판정을 요청했습니다.
결과 요약
- Claude Sonnet 5 · 중간: 100/100 · 79초
- NotebookLM: 100/100 · 96초
- ChatGPT: 86/100 · 29초
- Gemini Flash: 79/100 · 9초
- Perplexity: 78/100 · 7초
Claude와 NotebookLM은 25건의 판정·승인액·사유코드를 전부 맞혔습니다. 나머지 세 서비스에서는 휴일과 주말이 이어지는 제출 마감일, 21:59·22:00·05:59·06:00의 택시 시간 경계, 환율 환산 뒤 한도 적용, 같은 날 식비 누적에서 차이가 발생했습니다.
테스트 방법: 25건에 계산과 우선순위 규칙을 함께 넣었다
입력 파일에는 직원 등급, 지출 유형, 날짜, 통화, 금액, 영수증 여부, 출장 종료일, 제출일을 넣었습니다. 서비스는 각 청구를 APPROVE, PARTIAL, REJECT, HOLD 중 하나로 판정하고 승인액과 사유코드를 함께 출력해야 했습니다.
| 규칙 영역 | 확인 내용 |
|---|---|
| 환율·한도 | USD·JPY·EUR 환산 뒤 호텔 박수·등급·도시 한도와 식비 일일 한도 적용 |
| 시간·경계값 | 택시 21:59·22:00·05:59·06:00, 영수증 30,000원 기준 |
| 날짜 계산 | 출장 종료일 +10일 뒤 휴일과 주말을 다음 영업일까지 이월 |
| 우선순위 | 중복 → 지연 → 필수 필드 → 영수증 → 개인 지출 → 항목별 계산 순서 |
모든 기록과 규정은 KRBench가 테스트용으로 만든 합성 데이터입니다. 실제 회사의 출장비 정책이나 특정 직원의 기록을 사용하지 않았습니다.
채점 기준: 판정 25점, 승인액 50점, 사유코드 25점
| 항목 | 청구당 배점 | 총 배점 |
|---|---|---|
| 판정 | 1점 | 25점 |
| 승인액 | 2점 | 50점 |
| 사유코드 | 1점 | 25점 |
| 합계 | 4점 × 25건 | 100점 |
세 필드는 독립적으로 채점했습니다. 예를 들어 판정과 사유는 맞고 승인액만 틀리면 2/4점을 받습니다. 입력 파일, 숨은 정답표, 허용 형식과 감점 규칙은 서비스 결과를 확인하기 전에 고정했습니다.
최종 결과: 78점부터 100점
| 서비스 | 판정 | 승인액 | 사유코드 | 완전 일치 | 총점 | 응답시간 |
|---|---|---|---|---|---|---|
| ChatGPT | 21/25 | 44/50 | 21/25 | 21/25 | 86/100 | 29초 |
| Gemini Flash | 19/25 | 40/50 | 20/25 | 19/25 | 79/100 | 9초 |
| Claude Sonnet 5 · 중간 | 25/25 | 50/50 | 25/25 | 25/25 | 100/100 | 79초 |
| NotebookLM | 25/25 | 50/50 | 25/25 | 25/25 | 100/100 | 96초 |
| Perplexity | 20/25 | 38/50 | 20/25 | 19/25 | 78/100 | 7초 |
평균은 88.6점, 중앙값은 86점이었습니다. 최고점과 최저점의 차이는 22점입니다. 모든 서비스가 높은 점수로 수렴했던 12호와 달리, 이번에는 계산 결과뿐 아니라 규칙 적용 순서와 경계값에서 차이가 나타났습니다.
Claude와 NotebookLM은 25건 전부 일치
Claude와 NotebookLM은 호텔 한도, 같은 날 식비 누적, 택시 시간, 영수증 기준, 중복과 제출 기한을 모두 정확히 적용했습니다. 25건의 판정·승인액·사유코드가 숨은 예상 출력과 전부 일치했습니다.
가장 많이 갈린 부분은 제출 기한의 휴일·주말 이월
C20은 출장 종료일이 9월 10일입니다. 10일 뒤인 9월 20일이 일요일이므로 마감일은 9월 21일로 이동합니다. 실제 제출일 9월 22일은 하루 늦어 REJECT · 0 · LATE가 정답입니다.
C21은 출장 종료일이 9월 14일입니다. 10일 뒤인 9월 24일과 다음 날 25일이 회사 휴일이고, 이어지는 26~27일은 주말입니다. 따라서 마감일은 9월 28일까지 이동하며 같은 날 제출한 청구는 APPROVE · 60000 · OK입니다.
ChatGPT와 Gemini는 C21을 지연 제출로 처리했습니다. Perplexity는 C20을 승인하고 C21을 거절해 두 경계 사례를 모두 놓쳤습니다.
택시는 시간과 영수증 기준을 순서대로 적용해야 했다
- C10: 28,000원이라 영수증은 필요 없지만 21:59는 허용 시간이 아니므로
REJECT · TAXI_TIME - C11: 32,000원이고 영수증이 없으므로 시간 계산보다 먼저
HOLD · RECEIPT_MISSING - C12: USD 20은 26,800원이고 05:59는 허용 시간이므로
APPROVE - C13: 같은 금액이라 영수증은 필요 없지만 06:00은 허용 시간이 아니므로
REJECT · TAXI_TIME
ChatGPT는 C10을 영수증 누락으로 보류하고 C12를 거절했습니다. Gemini는 C12를 영수증 누락으로 보류했습니다. Perplexity는 C10과 C13을 모두 승인했습니다.
환율을 계산한 뒤에도 호텔·식비 한도를 다시 적용해야 했다
C22는 USD 120을 1,340원으로 환산하면 160,800원입니다. 그러나 E01은 G1이고 A도시 호텔 1박 한도는 160,000원이므로 정답은 PARTIAL · 160000 · CAP_HOTEL입니다. ChatGPT와 Gemini는 환산액 전액을 승인했고, Perplexity는 판정과 사유는 맞혔지만 승인액을 176,400원으로 계산했습니다.
C24는 JPY 2,000을 환산한 18,200원만 보면 전액 승인처럼 보입니다. 하지만 같은 직원의 같은 날짜 식비 C23이 먼저 43,800원 승인됐기 때문에 60,000원 한도에서 16,200원만 남습니다. 정답은 PARTIAL · 16200 · CAP_MEAL이며 Perplexity만 이 누적 한도를 놓쳤습니다.
ChatGPT 86점: 네 경계 사례에서 오류
ChatGPT는 21건을 완전히 맞혔습니다. 감점은 C10 영수증 기준, C12 택시 05:59 경계, C21 연속 휴일과 주말, C22 환율 환산 뒤 호텔 상한에서 발생했습니다.
Gemini Flash 79점: 날짜 계산과 출력 토큰에서도 감점
Gemini는 C02와 C22에서 호텔 한도를 적용하지 않았고, C12는 영수증 누락으로 보류했습니다. C14와 C21은 제출 기한을 지연으로 판단했습니다.
C20은 승인액 0원과 사유 LATE는 맞았지만, 판정 자리에 허용되지 않은 LATE를 출력했습니다. 사전 채점 기준에 따라 승인액 2점과 사유코드 1점은 받고 판정 1점만 감점해 3/4점으로 처리했습니다.
Perplexity 78점: 가장 빨랐지만 여섯 건에서 감점
Perplexity는 7초로 가장 먼저 응답했지만 C10·C13·C20·C21·C22·C24에서 감점됐습니다. C22는 판정과 사유코드를 맞혀 2/4점을 받았고, 나머지 다섯 건은 세 필드가 모두 달랐습니다.
응답시간: 7초부터 96초
- Perplexity: 7초
- Gemini Flash: 9초
- ChatGPT: 29초
- Claude Sonnet 5 · 중간: 79초
- NotebookLM: 96초
응답시간은 각 서비스에서 한 번만 측정한 값입니다. 서버 상태, 계정, 선택한 모드에 따라 달라질 수 있으므로 일반적인 속도 순위로 확대해 해석하지 않았습니다.
이번 테스트에서 확인된 점
이번 조건에서는 단순 환율 계산보다 경계값과 우선순위를 끝까지 유지하는 능력이 결과를 갈랐습니다. 30,000원 영수증 기준, 21:59와 22:00, 05:59와 06:00, 휴일 뒤 주말처럼 값 하나가 바뀌는 지점에서 오류가 집중됐습니다.
또한 환산액을 구한 뒤 호텔 한도를 적용하고, 같은 날 앞선 식비 승인액을 다음 청구에서 차감하는 것처럼 계산을 한 단계 더 이어가야 하는 항목에서도 차이가 났습니다.
출장비나 비용 정산에 AI를 사용할 때는 정책 문서만 제공하는 것으로 끝내지 않고, 판정 우선순위, 경계 포함 여부, 누적 계산 순서, 허용 출력값을 명시하고 결과를 자동 검증하는 편이 안전합니다.
이번 테스트의 한계
- 모든 규정과 청구 기록은 KRBench가 만든 합성 데이터입니다.
- 실제 세법·회계 기준이나 특정 기업의 출장비 정책을 평가한 테스트가 아닙니다.
- 25건은 한 TXT 파일 안의 구조화된 텍스트이며 영수증 이미지, OCR, 표 계산은 포함하지 않았습니다.
- 환율은 파일 안에 고정값으로 제공했으며 실시간 환율 조회 능력은 평가하지 않았습니다.
- 각 서비스의 첫 응답 한 번만 채점했습니다.
- 응답시간도 서비스별 단일 실행 측정값입니다.
- 모델명이 화면에서 확인되지 않은 서비스는 모델·모드를 ‘미확인’으로 기록했습니다.
관련 KRBench 테스트
AI는 개인정보만 가리고 주문번호·상품코드는 남길 수 있을까?
개인정보 50개와 비개인 유사 문자열 25개를 섞은 고객 기록으로 비식별화 정확도를 비교했습니다.
→ AI 개인정보 비식별화 정확도 비교 보기여러 PDF에서 최종 답과 근거 라인까지 정확히 찾을까?
서로 충돌하는 6개 문서와 25개 질문으로 최종 답·Source Doc·Evidence Lines를 비교했습니다.
→ AI 복수 문서 교차검증 정확도 비교 보기VIP·보안·주말 SLA가 섞인 고객지원 티켓을 AI가 정확히 판정할까?
25개 가상 티켓으로 우선순위, 최초응답 마감, 해결목표 마감, 적용 규칙을 100점으로 비교했습니다.
→ AI 고객지원 SLA 판정 정확도 비교 보기KRBench는 결과를 벌리기 위해 정답을 바꾸지 않고, 테스트 전에 고정한 기준으로 같은 조건의 첫 응답을 채점합니다.