개발·코딩

Incremental Build Graph 코드베이스의 회귀 버그를 32줄 이하 unified diff로 수정하게 하고 사전 고정 hidden tests로 ChatGPT, Gemini, Claude, Perplexity를 비교했습니다. Perplexity 99점, Gemini 78점, ChatGPT·Claude 0점이었습니다.

SQLite 실무 쿼리 10개의 버그를 수정하게 하고 사전에 고정한 비공개 데이터셋 50개로 ChatGPT, Gemini, Claude, Perplexity를 비교했습니다. 네 서비스 모두 100점을 기록했습니다.

Python 실무 유틸리티 10개의 버그를 수정하게 한 뒤 사전에 고정한 비공개 테스트 50개로 ChatGPT, Gemini, Claude, Perplexity의 코드 정확도와 실행 가능성을 비교했습니다.