ChatGPT·Gemini·Claude·Perplexity 업무 정확도 총정리 2026: KRBench 15개 실무 테스트

KRBench는 11호부터 AI에게 실제 업무에 가까운 문제를 맡기기 시작했습니다. 여러 문서에서 최종 근거를 찾고, 개인정보만 정확히 가리고, 규정과 금액을 함께 계산하고, 메일·재고·계약·급여·데이터 파이프라인의 상태를 끝까지 추적하게 했습니다.

이번 글은 11호부터 25호까지 15개 업무 벤치마크의 최종결산입니다. 단순히 점수 평균만 내는 대신, 어떤 문제 구조에서 차이가 커졌는지와 각 서비스가 반복해서 보인 오류 유형을 함께 정리했습니다.

15개 테스트의 채점 방식은 서로 다릅니다. 어떤 글은 Source Doc과 Evidence Lines를 따로 채점했고, 어떤 글은 문자열 완전 일치, 어떤 글은 100개 상태·계산 필드를 채점했습니다. 따라서 이 글의 평균은 시리즈 흐름을 보기 위한 참고값이며, 하나의 영구적인 AI 순위로 해석하지 않습니다.

먼저 비교 기준부터 나눠야 한다

11~25호 전체 15개 테스트에 모두 공식 참여한 서비스는 Claude, ChatGPT, Gemini 세 개입니다. 그래서 15개 전체 평균은 이 세 서비스끼리만 직접 비교했습니다.

Perplexity는 11호와 14호에서 동일 입력 조건을 맞출 수 없어 공식 비교에서 제외됐습니다. NotebookLM은 파일·소스 입력이 핵심이었던 11~14호 네 편에만 공식 참여했고, 이후 하나의 긴 프롬프트에서 상태를 갱신하는 문제에서는 동일 입력 경로가 아니어서 제외했습니다.

따라서 Perplexity의 참여 테스트 평균 85.5점과 NotebookLM의 4개 평균 96.8점은 참고값일 뿐, 위의 15개 평균과 직접 비교하지 않았습니다.

HARD 8편만 보면 네 서비스가 같은 조건으로 비교된다

18호부터 25호까지는 ChatGPT, Gemini, Claude, Perplexity 네 서비스가 모두 같은 8개 HARD 테스트에 공식 참여했습니다. 이 구간에서는 네 서비스의 단순 평균을 같은 기준에서 비교할 수 있습니다.

11~25호 전체 공식 점수

시리즈는 네 단계로 변했다

11~12호에서는 최종 답보다 근거와 원문 보존이 차이를 만들었습니다. 11호는 네 서비스가 최종 답 25개를 모두 맞혔지만 Source Doc과 Evidence Lines에서 점수가 갈렸고, 12호는 개인정보 탐지 자체가 아니라 원문 조사까지 그대로 남겼는지가 2점 차이를 만들었습니다.

13~14호에서는 규정과 조건을 금액·시간 판단과 결합했습니다. 13호는 제출기한, 택시와 영수증, 호텔 한도와 환율처럼 여러 규정을 동시에 적용했고, 14호는 SLA 규칙과 적용 근거를 추적했습니다.

15~17호에서는 99~100점이 반복됐습니다. 테스트가 틀렸다는 뜻이 아니라, 당시 모델을 구분하기에는 난이도가 낮아졌다는 신호였습니다.

18~25호에서는 하나의 오답이 뒤 상태까지 바꾸는 HARD 구조로 전환했습니다. 이 8편의 최고점과 최저점 차이는 회차당 평균 32.3점으로 커졌습니다.

Claude: 15개 평균 99.3, 가장 일관된 결과

Claude는 15개 테스트에 모두 참여했고 13회 100점을 기록했습니다. 100점이 아니었던 회차도 11호 94점, 14호 96점이었습니다.

11호에서는 최종 답은 모두 맞혔지만 일부 Source Doc·Evidence Lines가 사전 근거표와 달랐고, 14호에서는 SLA 적용 근거에서 일부 차이가 있었습니다. 18~25호 HARD 8편에서는 모두 100점이었습니다.

이 결과는 이번 15개 테스트 범위에서 높은 일관성을 보였다는 의미입니다. 다른 업무·다른 시점·다른 모델 버전까지 항상 같은 결과가 나온다는 의미는 아닙니다.

ChatGPT: 평균 93.5, 대부분 강했지만 전역 연쇄에서 차이

ChatGPT는 15개 모두 참여해 5회 100점을 기록했고 최저점은 18호의 77점이었습니다.

11호에서는 최종 답보다 근거 라인 추적에서 차이가 컸고, 13호에서는 규정·계산 결합, 16호에서는 복수 오류의 PrimaryIssue 우선순위에서 일부 오답이 나왔습니다.

HARD 구간에서는 19호·21호·22호가 100점이었지만 18호 일정 재계산과 25호 데이터 Lineage에서 전역 상태를 길게 유지하는 과정이 상대적으로 어려웠습니다. 25호에서는 이미 transitive INVALIDATE된 Version을 fallback 후보로 남겨 BLOCKED 네 건을 놓쳤습니다.

Gemini: 평균 77.6, 회차별 변화가 가장 컸다

Gemini도 15개 모두 공식 참여했습니다. 15호와 16호, 25호에서 100점을 기록했지만 테스트별 변동 폭이 컸습니다.

14호의 0점은 특히 주의해서 봐야 합니다. 그 점수는 SLA 문제를 시도하고 틀린 것이 아니라 해당 공식 첫 응답에서 작업 자체를 수행하지 못한 실제 결과입니다. KRBench는 첫 응답만 채점한다는 사전 원칙에 따라 0점을 유지했습니다. 이것을 Gemini의 일반 성능 전체로 확대해서 해석하지 않습니다.

18호 프로젝트 일정 54점, 24호 근태·급여 54점처럼 긴 연쇄 계산에서는 큰 차이가 있었지만, 25호 데이터 파이프라인 Lineage에서는 INVALIDATE, fallback, RESTORE 비전파, SLA까지 모두 맞혀 100점을 기록했습니다.

Perplexity: 13개 참여, 높은 회차와 낮은 회차의 차이가 컸다

Perplexity는 11호와 14호에서 무료 계정의 입력 제한 때문에 동일 조건을 충족할 수 없어 공식 비교에서 제외됐습니다. 나머지 13개에는 참여했고 참여 테스트 평균은 85.5점이었습니다.

12·15·16·17·19호에서는 100점, 22호는 99점, 23호는 96점이었습니다. 반면 18호 일정 재계산 66점, 21호 재고 배정 60점, 24호 근태·급여 38점으로 떨어졌습니다.

25호 81점은 점수만 보면 낮지만 오류 성격이 다릅니다. Status·LatestValidRun·AgeMinutes는 25개 모두 맞았고 Root Source의 의미도 맞았습니다. 다만 프롬프트가 요구한 O:R01 대신 O_RAW_ORDERS:R01처럼 전체 Dataset명을 써서 사전에 고정한 정확 문자열 기준에서 19점을 잃었습니다.

NotebookLM: 파일 기반 4편에서는 93~100점

NotebookLM은 11~14호 네 편에 공식 참여했고 점수는 96, 98, 100, 93점이었습니다. 복수 PDF, TXT 기반 개인정보, 규정 파일처럼 소스 자체가 핵심인 문제에서는 높은 정확도를 보였습니다.

15호부터는 첨부파일을 읽는 문제보다 하나의 긴 프롬프트에서 상태를 계속 갱신하는 형태가 중심이 됐습니다. 일반 채팅 서비스와 동일한 입력 경로를 만들기 어렵다고 판단해 이후 공식 비교에서는 제외했습니다.

15개 테스트에서 반복된 실패 패턴은 6가지였다

근거 체인 누락. 최종 답을 맞히고도 그 답을 확정하는 최종 문서와 근거 라인을 모두 연결하지 못하는 경우가 있었습니다.

우선순위 규칙. 여러 조건이 동시에 참일 때 무엇을 PrimaryIssue나 WinningRule로 선택해야 하는지에서 차이가 발생했습니다.

전역 상태 전파. 예산 하나를 잘못 승인하거나 일정을 하루 잘못 밀면 뒤의 잔액·일정·재고 상태가 달라져 오답이 연속해서 발생했습니다.

이벤트 시점. CANCEL, REOPEN, RETRACT, COMMIT, RESTORE, EDIT, VOID처럼 같은 이벤트도 언제 적용되는지가 결과를 바꿨습니다.

경계·계산 결합. 환율, 한도, 할인, 반올림, SLA, 초과근무, 야간·휴일 프리미엄처럼 여러 계산 규칙이 겹칠수록 차이가 커졌습니다.

출력 계약. 의미상 같은 답이라도 정확한 문자열, 표 구조, 지정된 필드 형식을 지키지 않으면 후속 자동화에서 문제가 될 수 있었습니다.

실무에서는 무엇을 확인해야 하나

문서를 읽히는 업무라면 정답률만 보지 말고 근거 문서와 인용 위치를 함께 확인하는 것이 좋습니다. 규정 감사에서는 최종 승인 여부뿐 아니라 어떤 규칙이 승리했는지, 상태 추적에서는 과거 이벤트가 현재 상태를 무효화하거나 되돌리는지 확인해야 합니다.

금액·정산 문제는 중간 상태가 맞더라도 최종 계산 순서가 틀릴 수 있습니다. 반대로 25호 Perplexity처럼 로직은 맞고 출력 계약만 어길 수도 있습니다. 실제 자동화에서는 두 문제를 구분해서 테스트해야 합니다.

“최고의 AI” 하나를 정하는 대신 오류 구조를 보는 이유

15개 공통 평균에서는 Claude 99.3, ChatGPT 93.5, Gemini 77.6이었습니다. HARD 8편에서는 Claude 100.0, ChatGPT 93.6, Perplexity 79.3, Gemini 73.9였습니다.

하지만 서로 다른 업무를 하나의 평균으로 압축하면 많은 정보가 사라집니다. Gemini는 24호 급여에서 54점이었지만 25호 Lineage에서는 100점이었고, Perplexity는 24호에서 38점이었지만 19호 예산에서는 100점이었습니다.

따라서 KRBench가 이번 시리즈에서 얻은 가장 중요한 결론은 “어떤 AI가 항상 최고인가”보다 “어떤 구조의 업무에서 어떤 실패가 반복되는가”가 더 실무적인 질문이라는 점입니다.

이번 최종결산의 한계

• 11~25호는 실제 회사 데이터가 아니라 KRBench가 만든 합성 문서·정책·이벤트를 사용했습니다.
• 테스트마다 채점 항목이 달라 같은 100점이라도 요구 능력이 동일하지 않습니다.
• 테스트 날짜가 다르고 서비스의 모델·모드가 업데이트될 수 있습니다.
• Gemini 14호처럼 단일 실행의 작업 실패가 공식 점수에 포함된 회차가 있습니다.
• Perplexity 25호처럼 공식 점수에 정확한 출력 계약 준수가 크게 반영된 회차도 있습니다.
• 응답시간은 각 테스트에서 한 번씩만 측정했기 때문에 이번 최종결산에서는 평균 속도 순위를 만들지 않았습니다.

시리즈 요약 글

11~25호 업무 정확도 시리즈를 마치며

11호 복수 문서 교차검증에서 시작한 업무 정확도 시리즈는 25호 데이터 파이프라인 Lineage까지 15개 테스트로 이어졌습니다. 중간에는 모델들이 99~100점으로 수렴해 난이도를 다시 설계했고, 이후에는 전역 상태와 연쇄 계산을 중심으로 서비스 차이를 확인했습니다.

이 글을 기준으로 11~25호 업무 정확도 시리즈는 마무리합니다. 다음 KRBench 글은 이 점수표를 더 늘리는 방식이 아니라, 다른 실제 사용 영역에서 다시 동일 조건·사전 정답·첫 응답 원칙으로 새 시리즈를 시작하는 방향으로 검토하겠습니다.

---

KRBench는 결과 차이를 만들기 위해 정답을 바꾸지 않습니다. 테스트 전에 정답과 채점 기준을 고정하고, 차이가 작든 크든 동일 조건의 첫 응답에서 확인된 결과를 그대로 기록합니다.