AI가 긴 한국어 지시를 읽고 조건을 이해하는 것과, 예외 우선순위·경계값·계산·문자열 변환·출력 형식을 끝까지 한 번도 놓치지 않는 것은 같은 능력일까?
KRBench 15호에서는 첨부파일을 사용하지 않았습니다. 하나의 공통 프롬프트 안에 규칙과 25개 레코드를 모두 넣고 ChatGPT, Gemini, Claude, Perplexity에 그대로 붙여넣었습니다. 각 서비스는 새 대화에서 첫 응답만 채점했습니다.
결과 요약
- Gemini Flash: 100/100 · 6초
- Claude Sonnet 5 · 중간: 100/100 · 19초
- Perplexity: 100/100 · 8초
- ChatGPT: 99/100 · 7초
- NotebookLM: 공식 비교 제외 — 이번 테스트는 소스 기반이 아닌 단일 프롬프트 지시 준수 테스트
테스트 방법: 첨부파일 없이 같은 프롬프트 하나만 사용
이번 테스트의 목적은 파일 읽기 성능이 아니라 프롬프트 자체의 복합 지시를 얼마나 정확히 실행하는지 확인하는 것입니다. 각 서비스에서 새 대화를 열고 동일한 프롬프트 전체를 그대로 붙여넣었습니다.
25개 레코드에는 BLOCK 우선규칙, MISSING 처리, A/B/C 타입별 다른 조건, 20·40·50 경계값, 짝수와 0, Code 결합, 서로 다른 Result 계산식, NORMAL·UPPER·MASK·REV 문자열 변환을 섞었습니다.
채점 기준: 25개 레코드 × 4점 = 100점
| 항목 | 레코드당 | 총 배점 |
|---|---|---|
| Decision | 1점 | 25점 |
| Code | 1점 | 25점 |
| Result | 1점 | 25점 |
| Token | 1점 | 25점 |
| 합계 | 4점 × 25 | 100점 |
정답과 배점은 결과를 보기 전에 고정했습니다. 레코드 순서가 바뀌더라도 ID가 명확하면 개별 필드를 채점할 수 있게 했지만, 누락된 레코드는 해당 레코드 전체를 0점 처리하도록 정했습니다.
전체 결과: 네 서비스의 점수 범위는 1점
| 서비스 | Decision | Code | Result | Token | 총점 | 응답시간 |
|---|---|---|---|---|---|---|
| Gemini | 25/25 | 25/25 | 25/25 | 25/25 | 100/100 | 6초 |
| Claude | 25/25 | 25/25 | 25/25 | 25/25 | 100/100 | 19초 |
| Perplexity | 25/25 | 25/25 | 25/25 | 25/25 | 100/100 | 8초 |
| ChatGPT | 25/25 | 25/25 | 25/25 | 24/25 | 99/100 | 7초 |
이번 조건에서는 네 서비스의 점수 차이가 사실상 없었습니다. Gemini, Claude, Perplexity는 100점, ChatGPT는 99점으로 점수 범위가 1점에 그쳤습니다.
ChatGPT의 유일한 감점: REV에서 마지막 e가 E로 바뀌었다
ChatGPT는 100개 채점 필드 중 99개를 맞혔습니다. 감점은 R24의 Token 한 곳이었습니다. 원래 TOKEN은 edge-C20, MOD는 REV였으므로 문자 단위 역순 정답은 02C-egde입니다.
ChatGPT는 02C-egdE를 출력했습니다. 문자 순서는 뒤집었지만 마지막 소문자 e를 대문자 E로 바꿨기 때문에 Token 1점을 감점했습니다.
Gemini·Claude·Perplexity는 25개 레코드를 모두 맞혔다
Gemini, Claude, Perplexity는 Decision, Code, Result, Token을 각각 25개 모두 맞혀 100점을 기록했습니다. 특히 BLOCK과 MISSING이 동시에 있는 R23에서는 BLOCK 우선규칙을 적용했고, R17에서는 0을 짝수로 처리했으며, R24의 문자열 역순도 정답과 일치했습니다.
NotebookLM은 왜 이번 공식 비교에서 제외했나
NotebookLM을 제외한 이유는 성능 제한이나 파일 첨부 제한이 아닙니다. 이번 테스트는 소스 문서를 읽는 능력이 아니라 하나의 긴 프롬프트 안에 포함된 규칙을 그대로 실행하는 능력을 보려는 테스트입니다.
다른 네 서비스는 채팅창에 같은 텍스트를 그대로 붙여넣을 수 있지만 NotebookLM은 별도의 소스 입력 절차를 거쳐야 해 입력 경로 자체가 달라집니다. 따라서 동일 조건을 우선해 이번 공식 비교 대상에서는 제외했습니다.
응답시간: 6초부터 19초
사용자가 실제로 측정한 응답시간은 Gemini 6초, ChatGPT 7초, Perplexity 8초, Claude 19초였습니다. 각 서비스에서 한 번만 측정한 값이므로 서버 상태나 계정 환경에 따라 달라질 수 있고, 일반적인 속도 순위로 확대해 해석하지 않았습니다.
이번 테스트에서 확인된 점
이번 조건에서는 네 서비스 모두 복합 지시를 매우 높은 정확도로 처리했습니다. 특히 우선순위 규칙, 경계값, 계산식, 문자열 변환을 한 프롬프트 안에 함께 넣었는데도 대부분의 결과가 완전히 일치했습니다.
따라서 이번 25개 레코드만으로는 서비스 간 지시 준수 성능 차이를 크게 벌리기 어려웠습니다. KRBench는 차이가 작게 나온 경우에도 억지로 승자를 만들지 않고, 실제로 확인된 점수 범위를 그대로 기록합니다.
이번 테스트의 한계
- 실제 기업 업무가 아니라 KRBench가 직접 만든 규칙형 레코드입니다.
- 25개 레코드는 하나의 규칙 체계 안에서 만들어졌습니다.
- 프롬프트 길이가 매우 긴 문서 수준은 아니며, 장기 문맥 유지 능력을 직접 측정하지 않습니다.
- 모든 정답이 기계적으로 결정되도록 설계해 현실 업무의 모호성은 포함하지 않았습니다.
- NotebookLM은 이번 테스트 목적과 입력 경로가 달라 공식 비교에서 제외했습니다.
- 응답시간은 서비스별 1회 측정값입니다.
관련 KRBench 테스트
VIP·보안·주말 SLA가 섞인 고객지원 티켓은 얼마나 정확히 판정할까?
25개 티켓으로 우선순위, 최초응답 마감, 해결목표, 적용 규칙을 100점으로 비교했습니다.
→ AI 고객지원 SLA 판정 정확도 비교 보기출장비 청구 25건의 규정과 승인액을 정확히 계산할까?
환율·호텔 한도·영수증·제출기한·택시 경계값을 섞어 100점으로 비교했습니다.
→ AI 출장비 정산·규정 감사 정확도 비교 보기중복·참조·금액·날짜 오류가 겹친 주문 데이터를 AI가 정확히 감사할까?
25개 주문에서 대표 오류, 예상 청구액, 후속 조치를 계산하고 다중 오류 우선순위까지 100점으로 비교했습니다.
→ AI 주문 데이터 정합성 감사 정확도 비교 보기KRBench는 결과가 비슷하게 나오더라도 차이를 억지로 만들지 않고, 같은 조건에서 확인된 값을 그대로 기록합니다.