앞선 KRBench 테스트에서는 최신 AI 서비스의 점수가 지나치게 비슷하게 나오는 경우가 있었습니다. 그래서 18호에서는 문제 수만 늘리는 대신 하나의 일정 차이가 다른 작업의 시작일, 담당자 자원 충돌, 변경 이벤트 적용 여부까지 연쇄적으로 바꾸는 구조로 난이도를 크게 높였습니다.
이번 테스트에는 전체 32개 작업, 5명의 담당자, 전사 휴무와 담당자별 휴가, FS·SS 의존관계, 담당자별 동시 작업 제한, 그리고 21개의 변경 이벤트가 들어갑니다. 공식 채점은 T08부터 T32까지 25개 작업의 FinalOwner, FinalDuration, Start, Finish를 대상으로 했습니다.
결과 요약
- Claude Sonnet 5 · 중간: 100/100 · 243초
- ChatGPT: 77/100 · 41초
- Perplexity: 66/100 · 34초
- Gemini 3.6 Flash: 54/100 · 8초
- NotebookLM: 공식 비교 제외 — 단일 프롬프트 프로젝트 일정 시뮬레이션
테스트 방법: 32개 작업을 날짜별로 끝까지 다시 계산
작업마다 담당자, Duration, Priority, NotBefore, 선행 작업이 주어졌습니다. 선행관계는 FS0·FS1·SS0·SS1·SS2가 섞였고, 담당자 한 명은 동시에 한 작업만 수행할 수 있게 했습니다.
여기에 전사 휴무 3일과 담당자별 휴가 5일을 추가했습니다. Duration은 단순 달력일이 아니라 해당 담당자가 실제로 근무하는 날짜만 소비합니다.
가장 까다로운 부분은 21개의 변경 이벤트입니다. Owner, Duration, Priority, NotBefore 변경뿐 아니라 Dependency 추가·제거와 CANCEL이 들어갑니다. 변경은 작업이 시작되기 전에만 적용되며, 이미 시작한 작업에 들어온 변경은 무시합니다.
따라서 한 작업의 Start가 하루 달라지면 같은 담당자의 다른 작업이 밀리고, 그 결과 또 다른 선행조건 충족일과 변경 이벤트 적용 여부가 달라질 수 있습니다. 한 행씩 독립적으로 계산해서는 정답을 얻기 어렵도록 설계했습니다.
채점 기준: 25개 작업 × 4개 필드 = 100점
| 항목 | Task당 | 총 배점 |
|---|---|---|
| FinalOwner | 1점 | 25점 |
| FinalDuration | 1점 | 25점 |
| Start | 1점 | 25점 |
| Finish | 1점 | 25점 |
| 합계 | 4점 × 25 | 100점 |
사전 정답은 결과를 보기 전에 결정론적 일정 시뮬레이터로 계산했습니다. 변경 이벤트별 적용·무시 판정과 날짜별 시작·완료 trace도 함께 보존해 사후 검증이 가능하도록 했습니다.
전체 결과: 54점부터 100점까지 46점 차이
| 서비스 | Owner | Duration | Start | Finish | 총점 | 응답시간 |
|---|---|---|---|---|---|---|
| Claude | 25/25 | 25/25 | 25/25 | 25/25 | 100/100 | 243초 |
| ChatGPT | 25/25 | 24/25 | 14/25 | 14/25 | 77/100 | 41초 |
| Perplexity | 24/25 | 24/25 | 10/25 | 8/25 | 66/100 | 34초 |
| Gemini | 24/25 | 24/25 | 4/25 | 2/25 | 54/100 | 8초 |
가장 큰 차이는 FinalOwner나 FinalDuration이 아니라 Start와 Finish에서 발생했습니다. 속성 변경 자체는 대부분 따라갔지만, 전체 프로젝트의 일정 상태를 끝까지 유지하면서 선행조건과 자원 충돌을 다시 계산하는 과정에서 차이가 벌어졌습니다.
Claude: 25개 작업의 네 필드를 모두 사전 정답과 일치
Claude Sonnet 5 · 중간은 FinalOwner, FinalDuration, Start, Finish를 각각 25개 모두 맞혀 100점을 기록했습니다. 테스트 후반부의 T26~T32처럼 앞선 일정 차이가 누적되기 쉬운 구간까지 사전 Oracle과 일치했습니다.
ChatGPT 77점: 중간 일정 차이가 후반 작업까지 연쇄 전파
ChatGPT는 FinalOwner 25개를 모두 맞혔고 FinalDuration도 24개를 맞혔습니다. 하지만 Start와 Finish는 각각 14개만 사전 정답과 일치했습니다.
대표 사례 중 하나는 T22입니다. 2026-10-20의 REMOVE_DEP T22 T17:FS0 이벤트가 적용되면서 T22는 그날 시작 가능한 상태가 됩니다. 사전 정답은 Start 2026-10-20, Finish 2026-10-26이지만 ChatGPT는 10월 27일부터 30일까지로 계산했습니다.
T24에서는 반대로 변경 이벤트를 너무 늦게 적용했습니다. T24는 사전 일정상 11월 2일에 이미 시작했기 때문에 11월 4일의 CHANGE T24 Duration=4는 무시되어야 합니다. 사전 정답은 FinalDuration 2, Start 11월 2일, Finish 11월 4일이지만 ChatGPT는 Duration 4와 11월 4일~9일을 출력했습니다.
ChatGPT 화면에는 내부 처리 시간이 35초로 표시됐지만, KRBench의 기존 측정 기준에 따라 전송 후 최종 답변이 화면에 모두 출력될 때까지 사용자가 직접 측정한 41초를 공식 응답시간으로 기록했습니다.
Perplexity 66점: 속성보다 일정 연쇄 계산에서 큰 차이
Perplexity는 FinalOwner와 FinalDuration을 각각 24개 맞혔지만 Start는 10개, Finish는 8개만 일치했습니다. T12에서 시작 전에 적용된 Owner=도윤 변경을 최종 상태에 유지하지 못했고, T24에서는 이미 시작한 뒤의 Duration 변경을 적용하는 등 이벤트 적용 시점 판단에서도 차이가 확인됐습니다.
Gemini 54점: 초반 일정 차이가 가장 크게 누적
Gemini 3.6 Flash는 FinalOwner와 FinalDuration을 각각 24개 맞혔지만 Start는 4개, Finish는 2개만 사전 정답과 일치했습니다. 초반 작업부터 시작일이 달라졌고, 이후 담당자별 자원 점유와 선행 작업 완료일이 달라지면서 후반 일정까지 연쇄적으로 차이가 커졌습니다.
응답시간: 8초부터 243초
실측 응답시간은 Gemini 8초, Perplexity 34초, ChatGPT 41초, Claude 243초였습니다. 각 서비스에서 한 번만 측정한 값이므로 일반적인 속도 순위로 확대해 해석하지 않았습니다.
NotebookLM은 공식 비교에서 제외
이번 테스트는 여러 소스에서 근거를 찾는 문제가 아니라 하나의 긴 프롬프트 안에서 전체 프로젝트 일정을 반복 재계산하는 문제입니다. NotebookLM은 일반 채팅 서비스와 입력 경로가 달라 동일 조건을 우선해 공식 비교 대상에서는 제외했습니다.
이번 테스트에서 확인된 점
16~17호에서는 서비스 간 점수가 1~4점 정도밖에 벌어지지 않았지만 이번에는 46점 차이가 발생했습니다. 난이도를 높이되 정답의 모호성을 늘리는 대신, 전역 상태를 오래 유지하고 일정 변경을 다시 전파해야 하는 계산량을 늘린 결과입니다.
또 FinalOwner와 FinalDuration에서는 네 서비스 모두 24점 이상을 기록했습니다. 반면 Start와 Finish는 서비스별 차이가 컸습니다. 이번 조건에서는 단순 속성 추적보다 의존관계·달력·자원 충돌·변경 이벤트를 하나의 일정으로 통합하는 능력이 더 큰 변별 요소였습니다.
이번 테스트의 한계
- 실제 기업 프로젝트가 아니라 KRBench가 만든 합성 일정입니다.
- 전체 32개 작업 중 T08~T32 25개만 공식 채점했습니다.
- 담당자는 5명이며 동시 작업 가능 수를 1개로 단순화했습니다.
- 부분 투입률, 시간 단위 일정, 비용 최적화, 다중 자원 작업은 포함하지 않았습니다.
- 변경 이벤트는 업무 시작 시점에 일괄 적용되는 것으로 고정했습니다.
- NotebookLM은 입력 경로 차이로 공식 비교에서 제외했습니다.
- 응답시간은 서비스별 단일 실행 측정값입니다.
관련 KRBench 테스트
담당자·마감일·금액이 계속 바뀌는 업무 메일을 AI가 끝까지 추적할까?
취소·재개·완료·과거 수정 철회가 섞인 25개 업무 스레드의 최종 상태를 비교했습니다.
→ AI 업무 메일 최종 상태 추적 정확도 비교 보기중복·참조·금액·날짜 오류가 겹친 주문 데이터를 AI가 정확히 감사할까?
25개 주문에서 대표 오류, 예상 청구액, 후속 조치와 다중 오류 우선순위를 100점으로 비교했습니다.
→ AI 주문 데이터 정합성 감사 정확도 비교 보기환율·월별 예산·Vendor 누적·중복 인보이스가 겹치면 AI가 승인 규정을 끝까지 정확히 적용할까?
32개 지출 요청을 순서대로 처리하고 R08~R32의 승인 여부, 원화 환산액, 남은 예산, 대표 거절 사유를 100점으로 비교했습니다.
→ AI 예산 승인 규정 정확도 HARD 테스트 보기KRBench는 결과가 비슷하거나 크게 벌어지더라도 사전 규칙과 채점 기준을 바꾸지 않고, 같은 조건에서 확인된 값을 그대로 기록합니다.