KRBench

가상 고객 기록 25개에 개인정보 50개와 비개인 유사 문자열 25개를 넣고 ChatGPT, Gemini, Claude, NotebookLM, Perplexity의 비식별화 정확도와 원문 보존 능력을 100점으로 비교했습니다.

PDF 6개에 서로 충돌하는 요구사항·벤더 제안·보안 검토·최종 결정을 넣고 ChatGPT, Gemini, Claude, NotebookLM이 최종 답뿐 아니라 근거 문서와 정확한 라인까지 얼마나 맞히는지 100점으로 비교했습니다.

같은 한국어 회의록에서 정정된 담당자·마감일·상태와 계산형 최종 결정을 ChatGPT, Gemini, Claude, NotebookLM, Perplexity가 얼마나 정확히 추출하는지 100개 필드로 비교했습니다.

ChatGPT, Gemini, Claude, Perplexity에 같은 한국어 Python 코딩 요구사항 8개를 주고 첫 응답 코드를 숨은 단위테스트 32개로 실행 채점했습니다. 정확도, 공통 오류, 응답시간을 비교합니다.

ChatGPT, Gemini, Claude, NotebookLM, Perplexity에 같은 한국어 이커머스 CSV 180행과 25개 질문을 넣어 조회, 필터, 집계, 비율, 순매출, 데이터 오류 탐지 정확도를 직접 비교했습니다.

ChatGPT, Gemini, Claude, NotebookLM에 같은 문서 이미지 5장과 40개 항목을 넣어 한국어 OCR 정확도, 잘린 문자열 임의 복원, 표 인식, 혼합문자, 실제 영수증 인식 성능을 직접 비교했습니다.

ChatGPT, Gemini, Claude, NotebookLM, Perplexity에 같은 7페이지 한국어 PDF와 10개 질문을 넣어 문서 이해 정확도, 환각, 근거 페이지, 응답시간을 직접 비교했습니다.