ChatGPT·Gemini·Claude·Perplexity 업무 정확도 비교 2026: KRBench 10편 중간결산

KRBench는 한 번의 종합 질문으로 AI 서비스를 평가하지 않고, 실제 업무에서 자주 생기는 문제를 하나씩 분리해 같은 조건으로 테스트해 왔습니다.

이번 글은 최근 10편인 11호부터 20호까지를 한 번에 돌아보는 중간결산입니다. 복수 문서 근거 추적, 개인정보 비식별화, 출장비 규정 감사, 고객지원 SLA, 지시 준수, 주문 데이터 감사, 메일 상태 추적, 프로젝트 일정, 예산 승인, 계약 청구까지 서로 다른 업무를 테스트했습니다.

1~3호 자동자막 시리즈는 이미 별도 총정리 글로 묶었고, 4~10호는 이미지·TTS·PDF·OCR 등 입력 형식과 채점 단위가 서로 달라 이번 10편의 점수를 한 평균표에 섞지 않았습니다. 이번 글의 목적은 11~20호에서 어떤 문제 구조가 실제 점수 차이를 만들었는지를 보는 것입니다.

11~20호 점수를 한 표에 놓으면

※ ‘제외’는 0점이 아닙니다. 동일 조건으로 입력할 수 없거나 테스트 성격상 일반 채팅 서비스와 같은 입력 경로를 맞출 수 없어 공식 비교에서 제외한 경우입니다.

종합 1위 표를 만들지 않은 이유

이 표를 보고 각 서비스의 점수를 단순 평균내면 숫자는 만들 수 있습니다. 하지만 KRBench에서는 그 숫자를 ‘종합 순위’로 사용하지 않았습니다.

첫째, 테스트 자체가 서로 다릅니다. 11호는 답뿐 아니라 Source Doc과 Evidence Lines를 따로 채점했고, 12호는 문자열 완전 일치, 18호는 프로젝트 전체 일정 재계산, 20호는 계약 이력과 청구액 계산을 평가했습니다. 같은 100점이라도 요구한 능력이 다릅니다.

둘째, 공식 참여 횟수도 다릅니다. NotebookLM은 소스·파일 기반 테스트였던 11~14호에서는 비교했지만 15~20호의 단일 프롬프트 상태 계산에서는 동일한 입력 경로가 아니어서 제외했습니다. Perplexity도 11호와 14호에서는 무료 계정의 파일 입력 제한 때문에 동일 조건 실행이 불가능했습니다.

따라서 이번 중간결산에서는 평균 순위보다 테스트별 점수 흐름과 반복된 오류 유형을 중심으로 봤습니다.

11~12호: 정답보다 ‘근거와 완전 일치’에서 차이가 났다

11호 복수 문서 교차검증에서는 실제로 테스트한 ChatGPT, Gemini, Claude, NotebookLM이 최종 답 25개를 모두 맞혔습니다. 점수 차이는 답 자체가 아니라 어느 문서의 어느 라인을 근거로 제시했는지에서 발생했습니다.

특히 최종 선정 Vendor와 그 Vendor의 기술 조건을 서로 다른 문서에서 연결해야 하는 문제에서 네 서비스가 모두 근거 체인의 일부를 놓쳤습니다. 값을 찾는 것과 왜 그 값이 최종 답인지 증명하는 것은 다른 문제였습니다.

12호 개인정보 비식별화에서는 점수가 98~100점으로 더 좁았습니다. 다섯 서비스 모두 개인정보 50개를 정확히 가렸고 보호해야 할 유사 문자열 25개도 전부 남겼습니다. 2점 차이는 개인정보 누락이 아니라, Gemini와 NotebookLM이 어색한 조사를 자연스럽게 고친 결과 원문 완전 일치에서 감점된 것이었습니다.

13~14호: 규정과 조건 판단을 넣자 차이가 커졌다

13호 출장비 정산·규정 감사에서는 78~100점으로 범위가 22점까지 벌어졌습니다. 제출 기한, 택시와 영수증 경계조건, 호텔 한도와 환율, 식비 누적처럼 여러 규정을 금액 계산과 함께 적용하는 문제에서 차이가 나타났습니다.

14호 고객지원 SLA 판정은 더 극단적이었습니다. Claude 96점, NotebookLM 93점, ChatGPT 86점이었고 Gemini의 공식 첫 응답은 작업 자체를 수행하지 못해 0점이었습니다. 이 0점은 일반적인 Gemini 성능을 뜻하는 것이 아니라 그 한 번의 동일 조건 첫 응답에서 실제로 나온 결과입니다.

14호에서는 T13처럼 사전 정답과 다른 해석도 나왔습니다. KRBench는 사전 정답을 바꾸지 않고 원래 기준으로 점수를 계산한 뒤, 본문에서 해석 가능성을 별도로 공개했습니다.

15~17호: 99~100점이 반복되며 천장 효과가 나타났다

15호 지시 준수는 99~100점, 16호 주문 데이터 정합성 감사는 96~100점, 17호 업무 메일 최종 상태 추적은 99~100점이었습니다.

15호에서는 ChatGPT의 문자열 대소문자 한 글자, 16호에서는 ChatGPT의 복수 오류 우선순위 두 건, 17호에서는 Gemini의 FinalAmount 한 필드만 차이가 났습니다.

세 테스트가 연달아 거의 만점으로 수렴하면서 한 가지 문제가 분명해졌습니다. 현재 모델을 구분하기에는 테스트가 너무 쉬워지고 있었다는 점입니다. 그래서 18호부터는 단순히 레코드 수를 늘리는 대신, 앞선 결과가 뒤 계산을 바꾸는 전역 상태 문제로 난이도를 크게 올렸습니다.

18~20호 HARD: 전역 상태와 연쇄 계산에서 다시 차이가 났다

18호 프로젝트 일정 재계산은 54점부터 100점까지 46점 차이가 났습니다. 선행관계, 휴무, 담당자 충돌, 변경 이벤트를 하나의 일정으로 계속 재계산해야 했고, 중간의 작은 일정 차이가 후반 작업까지 연쇄됐습니다.

19호 예산 승인에서는 ChatGPT, Claude, Perplexity가 100점이었고 Gemini가 77점이었습니다. Gemini는 환율 계산 자체는 모두 맞혔지만 Vendor 월 누적 한도를 일부 놓쳐 잘못 승인한 요청이 생겼고, 그 결과 뒤 요청의 부서 예산 잔액까지 달라졌습니다.

20호 계약 청구에서는 Claude 100점, ChatGPT 98점, Perplexity 94점, Gemini 76점이었습니다. 네 서비스 모두 계약 Status와 Credit 사용량은 전부 맞혔지만 EXACT 예외, 날짜별 블록 반올림, 할인 후 100원 HALF-UP 같은 청구액 산식을 결합하는 단계에서 차이가 생겼습니다.

10편에서 반복해서 나온 다섯 가지 오류 유형

첫째는 근거 체인 누락이었습니다. 11호처럼 최종 답을 맞히고도 그 답을 확정하는 문서 체인을 완전히 인용하지 못하는 경우가 있었습니다.

둘째는 규정 경계와 우선순위였습니다. 출장비 한도, SLA 적용 규칙, 주문 데이터의 PrimaryIssue처럼 여러 조건이 동시에 걸릴 때 어떤 규칙을 먼저 적용하는지가 점수 차이를 만들었습니다.

셋째는 전역 상태 누적이었습니다. 18호 일정과 19호 예산처럼 앞의 한 판단이 뒤의 상태를 바꾸는 문제에서는 한 번의 오차가 여러 행으로 전파됐습니다.

넷째는 계산 규칙의 결합이었습니다. 20호에서는 상태를 정확히 추적한 뒤에도 반올림, 할인, 블록 계산, Credit 적용 순서를 모두 맞혀야 최종 금액이 나왔습니다.

다섯째는 출력 형식입니다. 19호와 20호의 Perplexity처럼 답의 숫자는 맞아도 ‘표 하나만 출력’ 같은 형식 조건을 지키지 않는 사례가 있었습니다. KRBench는 이런 형식 위반을 정확도와 별도로 기록했습니다.

서비스별로 10편에서 보인 패턴

Claude는 11~20호 10편에 모두 공식 참여했고 점수는 94~100점이었습니다. 특히 18~20호 HARD 세 편에서는 모두 100점을 기록했습니다. 반면 14호 258초, 18호 243초처럼 일부 고난도 테스트의 단일 실행 응답시간은 길었습니다.

ChatGPT는 10편 모두 공식 참여했고 77~100점이었습니다. 12호, 17호, 19호에서 100점을 기록했지만 11호에서는 근거 라인, 18호에서는 전역 일정 재계산에서 상대적으로 큰 차이가 났습니다. 20호에서는 EXACT override 한 건의 금액 두 필드만 달랐습니다.

Gemini는 10편 모두 참여했지만 점수 변동이 가장 컸습니다. 15·16호에서는 100점, 17호에서는 99점이었지만 14호의 첫 응답 작업 실패 0점, 18호 54점, 19호 77점, 20호 76점처럼 복잡한 상태·계산 문제에서 차이가 컸습니다. 응답시간은 여러 테스트에서 짧았지만 각 값은 단일 실행 측정입니다.

Perplexity는 11호와 14호에서 동일 조건 실행이 불가능해 제외됐고 나머지 8편에 공식 참여했습니다. 그중 12·15·16·17·19호는 100점이었습니다. 18호 일정 재계산에서는 66점, 20호 계약 청구에서는 94점이었고 19·20호에서는 표 밖 설명을 출력해 형식 위반도 별도로 기록했습니다.

NotebookLM은 파일과 소스가 핵심인 11~14호 네 편에서 공식 비교했고 93~100점을 기록했습니다. 15호부터는 첨부파일 없이 하나의 프롬프트에서 상태를 계속 갱신하는 문제가 중심이어서, 다른 일반 채팅 서비스와 동일한 입력 경로를 맞추기 어렵다는 이유로 공식 비교에서 제외했습니다.

중간결산에서 확인된 가장 중요한 변화

초반에는 ‘정답을 맞히는가’만으로도 차이가 났지만, 모델 성능이 높아질수록 단순한 정형 문제는 빠르게 99~100점으로 수렴했습니다.

반대로 차이가 다시 커진 것은 근거를 끝까지 연결해야 하는 문제, 여러 규칙의 우선순위를 지켜야 하는 문제, 앞선 결과가 뒤 상태에 영향을 주는 문제, 여러 계산 규칙을 순서대로 적용해야 하는 문제였습니다.

그래서 21~25호도 단순히 더 많은 행을 주는 방식보다, 18~20호처럼 사람이 다시 계산해 검증할 수 있으면서도 전역 상태와 다단계 판단이 필요한 HARD 테스트를 기본 난이도로 이어갈 예정입니다.

이 중간결산의 한계

• 11~20호는 서로 다른 업무를 테스트했기 때문에 한 서비스의 점수를 단순 평균해 일반적인 성능 순위로 사용할 수 없습니다.
• 테스트별 채점 기준도 근거 라인, 문자열 완전 일치, 규정 판단, 상태 추적, 계산 등 서로 다릅니다.
• NotebookLM과 Perplexity는 일부 테스트에서 공식 비교에서 제외돼 서비스별 참여 횟수가 다릅니다.
• 모든 결과는 각 테스트 당시 선택된 모델·모드와 계정 상태에서 얻은 첫 응답입니다.
• 응답시간은 서비스별 단일 실행 측정값이며 일반적인 속도 순위를 뜻하지 않습니다.
• 대부분의 업무 데이터는 정답을 객관적으로 고정하기 위해 KRBench가 만든 합성 자료입니다.

11~20호 원문 바로가기

위 점수는 각 개별 테스트의 사전 정답과 채점 기준을 그대로 사용했습니다. 세부 오류와 실제 응답 화면은 각 원문에서 확인할 수 있습니다.

---

KRBench는 서비스별 종합 순위를 먼저 정하지 않습니다. 같은 조건에서 무엇을 정확히 처리했고 어디에서 오류가 났는지를 테스트별로 기록합니다.