Incremental Build Graph 코드베이스의 회귀 버그를 32줄 이하 unified diff로 수정하게 하고 사전 고정 hidden tests로 ChatGPT, Gemini, Claude, Perplexity를 비교했습니다. Perplexity 99점, Gemini 78점, ChatGPT·Claude 0점이었습니다.
SQLite 실무 쿼리 10개의 버그를 수정하게 하고 사전에 고정한 비공개 데이터셋 50개로 ChatGPT, Gemini, Claude, Perplexity를 비교했습니다. 네 서비스 모두 100점을 기록했습니다.
Python 실무 유틸리티 10개의 버그를 수정하게 한 뒤 사전에 고정한 비공개 테스트 50개로 ChatGPT, Gemini, Claude, Perplexity의 코드 정확도와 실행 가능성을 비교했습니다.
KRBench 11~25호 15개 업무 테스트를 문서 근거, 규정 판단, 상태 추적, 계산·정산, 전역 연쇄 추론으로 재분류해 ChatGPT, Gemini, Claude, Perplexity의 정확도와 반복 오류를 총정리했습니다.
프로젝트 일정, 예산, 계약, 재고, 접근권한, 3-way match, 급여, 데이터 파이프라인 등 8개 HARD 테스트에서 ChatGPT, Gemini, Claude, Perplexity의 정확도와 반복 오류를 총정리했습니다.
의존성, 연쇄 무효화, fallback, restore, backfill, SLA가 얽힌 25개 CHECK로 ChatGPT, Gemini, Claude, Perplexity의 데이터 파이프라인 상태 추적 정확도를 비교했습니다.
초과근무, 야간, 휴일, PTO, Shift 편집·무효가 얽힌 25개 CHECK로 ChatGPT, Gemini, Claude, Perplexity의 근태·급여 연쇄 계산 정확도를 비교했습니다.
발주·입고·반품·인보이스·Credit·Void가 얽힌 25개 CHECK로 ChatGPT, Gemini, Claude, Perplexity의 3-way match 연쇄 정산 정확도를 비교했습니다.
그룹 상속, 정책 우선순위, 사용자 비활성화, 리소스 이동, Rule 추가·회수가 얽힌 25개 CHECK로 ChatGPT, Gemini, Claude, Perplexity의 접근 권한 판정과 근거 추적 정확도를 비교했습니다.
안전재고, 우선순위, 창고 라우팅, 입고·파손·재고이동, 취소·COMMIT이 얽힌 25개 주문으로 ChatGPT, Gemini, Claude, Perplexity의 재고 예약·백오더 전역 재계산 정확도를 비교했습니다.