AI 고객지원 SLA 판정 정확도 비교 2026: ChatGPT·Gemini·Claude·NotebookLM 25개 티켓 테스트

고객지원 티켓의 우선순위를 정하는 것보다 더 까다로운 부분은 주말·야간·VIP 예외·보안 사고·대기 상태를 함께 적용해 실제 마감시각까지 계산하는 일입니다.

KRBench 14호에서는 가상의 고객지원 정책과 25개 티켓을 만들고 ChatGPT, Gemini, Claude, NotebookLM에 동일한 두 TXT 파일과 동일한 프롬프트를 제공했습니다. Perplexity는 무료 계정에서 추가 문서 분석에 업그레이드가 필요해 같은 두 파일을 첨부할 수 없었고, 동일 조건 실행 불가로 제외했습니다.

테스트 방법: 25개 티켓의 우선순위와 마감시각을 동시에 계산

입력은 두 파일입니다. 하나에는 고객지원 분류 규칙과 SLA가, 다른 하나에는 25개의 가상 티켓이 들어 있습니다. 티켓에는 평일 영업시간뿐 아니라 주말·야간, Enterprise Platinum의 VIP 상향, 보안 침해 의심, 결제 장애, Waiting for Customer와 Waiting for Vendor 상태를 섞었습니다.

각 서비스에는 새 대화 또는 새 노트에서 같은 POLICY.txt와 TICKETS.txt를 넣고 같은 프롬프트를 사용했습니다. 수정 요청이나 힌트 없이 첫 응답만 공식 채점했습니다.

채점 기준: 티켓당 4점, 총 100점

항목	티켓당	총 배점
Priority	1점	25점
First Response Deadline	1점	25점
Resolution Deadline	1점	25점
Applied Rule	1점	25점
합계	4점 × 25	100점

Applied Rule은 결과 우선순위만 적는 것으로는 점수를 주지 않았습니다. VIP 상향, SECURITY-OVERRIDE, PAYMENT-DEGRADED, Waiting for Customer처럼 최종 판정을 만든 핵심 규칙이 들어가야 1점으로 처리했습니다.

전체 결과: 0점부터 96점까지 차이가 났다

서비스	Priority	First Response	Resolution	Applied Rule	총점	응답시간
Claude	24/25	24/25	24/25	24/25	96/100	258초
NotebookLM	24/25	24/25	24/25	21/25	93/100	134초
ChatGPT	22/25	21/25	21/25	22/25	86/100	87초
Gemini	0/25	0/25	0/25	0/25	0/100	17초
Perplexity	동일 조건 실행 불가					—

ChatGPT: VIP 상향 규칙을 두 번 같은 방식으로 놓쳤다

ChatGPT는 86점을 기록했습니다. T10과 T24는 기본 P2인 티켓이 Enterprise Platinum 조건으로 한 단계 올라가 P1이 되어야 했지만, 두 건 모두 P2로 유지했습니다. 정책의 “P1보다 높아질 수 없다”는 문장을 P1으로의 상향까지 막는 것으로 해석한 형태였습니다.

T14에서는 SECURITY-OVERRIDE로 P1을 맞혔지만 14:00 생성 티켓의 30분 최초응답과 4시간 해결목표를 각각 17:00과 20:30으로 계산해 두 시간 필드에서 감점됐습니다.

Claude: T13을 제외한 24개 티켓에서 네 항목을 모두 맞혔다

Claude Sonnet 5 중간 모드는 96점을 기록했습니다. 감점은 T13 한 건에서만 발생했습니다. 나머지 24개 티켓에서는 Priority, First Response, Resolution, Applied Rule을 모두 사전 정답과 일치시켰습니다.

NotebookLM: 시간 계산은 안정적이었지만 Applied Rule을 짧게 적은 항목이 있었다

NotebookLM은 93점이었습니다. T13을 제외하면 Priority와 두 마감시간은 모두 사전 정답과 일치했습니다. 다만 T09, T11, T15의 Applied Rule을 각각 P2, P4, P2처럼 결과 우선순위만 적어 핵심 판정 규칙 점수를 받지 못했습니다.

Gemini: 첫 응답에서 과제를 수행하지 않았다

Gemini의 공식 첫 응답은 17초 뒤 나왔지만, 25개 티켓 표를 만들지 않고 언어 모델이라 해당 작업을 도울 수 없다는 취지의 문장만 반환했습니다. 따라서 출력해야 할 네 항목을 모두 제공하지 않아 공식 점수는 0점으로 기록했습니다.

참고 재실행도 확인했습니다. 같은 채팅창에서 다시 요청하자 11초에 25개 티켓 표를 생성했습니다. 하지만 이미 첨부파일과 이전 대화 문맥이 남아 있는 상태라 다른 서비스의 새 대화 첫 응답 조건과 같지 않습니다. 이 결과는 재현 참고로만 보존하고 공식 점수에는 반영하지 않았습니다.

T13은 서비스마다 다른 해석이 나온 문항이었다

T13의 입력은 “관리자 콘솔 전체 접속 불가, 일반 사용자 앱은 정상”이었습니다. 사전 정답은 관리자 핵심 기능 장애로 P2를 적용했습니다. 그러나 ChatGPT와 Claude는 영향 범위와 핵심 서비스 여부가 부족하다며 미확정으로 처리했고, NotebookLM은 P1-OUTAGE로 판단했습니다.

이 문항은 다른 해석이 논리적으로 가능한 사례로 봤습니다. 다만 테스트 결과를 본 뒤 사전 정답이나 배점을 바꾸지 않고 원래 기준대로 점수를 계산했으며, 이 차이를 과도한 성능 차이로 해석하지 않았습니다.

응답시간: 17초부터 258초

응답시간은 Gemini 17초, ChatGPT 87초, NotebookLM 134초, Claude 258초였습니다. 각 서비스에서 한 번만 측정한 값이므로 서버 상태나 계정 환경에 따라 달라질 수 있고, 일반적인 속도 순위로 확대해 해석하지 않았습니다.

Perplexity는 추가 문서 분석 제한으로 제외

이번 테스트에는 POLICY와 TICKETS 두 파일을 동시에 제공하는 것이 필수였습니다. 테스트 시점의 무료 Perplexity 계정에서는 추가 문서 분석을 위해 업그레이드를 요구해 같은 조건으로 두 파일을 넣을 수 없었습니다. 파일을 합치거나 한 파일만 넣는 우회는 사용하지 않았고 성능 0점이 아니라 동일 조건 실행 불가로 제외했습니다.

이번 테스트에서 확인된 점

이번 조건에서는 단순 우선순위 분류보다 분류 결과에 맞는 SLA 시계를 다시 선택하고 주말·영업시간·일시정지를 계산하는 과정에서 차이가 드러났습니다. VIP-ESCALATION처럼 우선순위가 바뀌면 P2의 영업시간 SLA가 아니라 P1의 달력시간 SLA가 티켓 생성시각부터 적용되기 때문에, 분류 오류 하나가 두 마감시간 오류로 이어질 수 있었습니다.

또 결과 우선순위를 맞히는 것과 “왜 그 우선순위가 됐는지”를 규칙 이름으로 남기는 것은 별도 능력이었습니다. NotebookLM의 일부 항목처럼 최종값이 맞아도 핵심 규칙을 명시하지 않으면 감사나 운영 검토에서는 근거가 부족할 수 있습니다.

이번 테스트의 한계

• 실제 고객지원 데이터가 아니라 KRBench가 만든 가상 정책과 티켓입니다.
• 휴일은 제공하지 않았고 평일·주말만 계산했습니다.
• T13처럼 입력 문장에 따라 사람이 다르게 해석할 가능성이 있는 사례가 한 건 확인됐습니다.
• Gemini의 0점은 일반적인 모델 능력이 아니라 이번 첫 응답에서 실제로 과제를 수행하지 않은 결과입니다.
• Gemini 재실행은 같은 채팅 문맥이 유지돼 공식 비교에서 제외했습니다.
• 응답시간은 서비스별 1회 측정값입니다.
• Perplexity는 무료 계정의 문서 분석 제한 때문에 동일 조건으로 실행하지 못했습니다.

관련 KRBench 테스트

---

KRBench는 결과가 비슷하거나 예상과 다르게 나오더라도 같은 조건에서 확인된 첫 결과와 사전 채점 기준을 그대로 기록합니다.