댓글 달기 / 테크 인사이트 / 글쓴이
코딩 AI 벤치마크와 개발자 선호를 비교하는 그래픽
단단한 인생AI TECH NOTES
코딩 분석 · 2026년 9월

코딩 AI, 벤치마크 1위가 개발자에게도 1위일까? 벤치마크 선두, 많이 쓰는 도구, 저렴한 모델은 서로 다르다

시험 1등, 인기 1등, 가성비 1등. 코딩 AI에서 이 셋은 같은 이름일까? 블라인드 투표 73만여 표, 개발자 1만 5천 명 설문, 수조 개 토큰 사용량, 실제 회사 사례를 나란히 놓아 봤다. 9월 23일에는 시험마다 1등이 달랐다. 10월 6일 다시 보니 Claude Opus 5.5가 세 순위표의 1위를 모두 차지했다. 다만 2위와의 차이는 오차 범위 안팎이었다. 그리고 가장 많이 쓰는 도구와 가장 싸게 쓰는 모델은 여전히 다른 이름이었다.

공개 자료 해설·분석 · 편집: · 작성 기준

코딩 분석2026.09.24·읽는 시간 12분
🏆 성능 평가 선두
Opus 5.5 vs GPT-6 Astra
근소한 선두

9월 23일엔 종목마다 1위가 달랐다. 10월 6일엔 Code Arena와 Terminal-Bench(공식·Vals.ai) 모두에서 Opus 5.5가 1위다. 다만 2위와의 차이가 작아 우열을 단정하기 어렵다.

🧑‍💻 현업 사용률 1위
Claude Code
39%

JetBrains 2026 조사. 1월 18%에서 반년 만에 두 배 넘게 늘었다.

❤️ 개발자 선호 1위
Claude Code
46%

Pragmatic Engineer 설문 ‘가장 사랑하는 도구’. 2위 Cursor는 19%.

💸 토큰 사용량 1·2위
GLM · DeepSeek
19조 토큰

9월 23일 OpenRouter 처리 토큰 1·2위는 값싼 공개 모델이었다. 사용량 순위이지 매출이나 고객 수 순위는 아니다.

01. 성능 평가: 벤치마크마다 종목이 다르다

“코딩을 잘한다”는 말은 생각보다 범위가 넓다. 버그 하나 고치기, 터미널에서 몇 시간짜리 일 끝내기, 보기 좋은 웹페이지 만들기는 서로 다른 종목이다. 100m 달리기와 마라톤의 우승자가 다르듯, 1위도 종목마다 따로 나온다.

🧪SWE-bench Verified

실제 GitHub 이슈 500개를 고치고 숨은 테스트를 통과해야 한다. Vals.ai 측정에서 86개 모델 중 7개가 95%를 넘었다. 점수가 만점 근처에 몰리자 Vals.ai는 새 모델 측정을 멈췄다.

변별력 ↓
🧗SWE-bench Pro

Scale AI가 만든 더 어려운 버전이다. 시험 문제가 학습 데이터에 섞였을 위험(오염)도 줄였다. 공개 세트 731개 문제에서 1위조차 61.5%에 그친다. 다만 순위표에 아직 최신 모델이 없다.

업데이트 지연
🖥️Terminal-Bench 4.0

터미널에서 서비스를 만들고, ML 모델을 학습시키고, 보안 사고를 분석하는 긴 실전 과제 66개다. 전문가가 예상한 소요 시간은 중간값 4시간, 제한 시간은 8시간이다. 부분 점수는 없다.

가장 어려움
🗳️Code Arena WebDev

같은 요청을 받은 두 모델의 웹 결과물을, 사람들이 이름을 가린 채 비교하고 투표한다. 9월 23일까지 132개 모델이 73만 9,375표를 받았다.

사람의 취향

가장 유명한 시험인 SWE-bench는 3년 만에 거의 만점이 됐다. 다들 만점 근처면 1등을 가리기 어렵다. 그래서 2026년의 진짜 승부는 더 길고 어려운 시험, 그리고 사람이 직접 고르는 투표에서 난다.

SWE-bench 최고 점수의 3년시험이 너무 쉬워졌다
95% 이상: 7개 모델0%25%50%75%100%1.96%Claude 2 · 원조 SWE-bench2023.1033.2%GPT-4o · Verified 공개2024.0865%mini-SWE-agent · 100줄 에이전트2025.0797%Claude Opus 5 · Vals.ai2026.09🎓
2023년 원조 SWE-bench에서 Claude 2(클로드 2)는 1.96%였다. 2024년 8월 Verified 공개 때 GPT-4o는 33.2%, 2025년 7월 100줄짜리 에이전트 mini-SWE-agent는 65%, 2026년 Vals.ai가 잰 Claude Opus 5는 97.0%를 기록했다. 원조와 Verified는 문제 구성이 달라 흐름만 참고하자. [25][26][27][4]

02. 종목별 1위 모음

9월 22~23일 기준으로 여섯 종목의 1위를 모았다. 앤트로픽(Anthropic) 모델이 세 종목, 오픈AI(OpenAI)·메타(Meta)·Moonshot 모델이 한 종목씩 1위였다. 서로 다른 평가를 합쳐 순위를 매기는 기준은 없다. 그러니 메달 수는 종목별 결과를 모아 본 것일 뿐, 종합 순위가 아니다. 같은 Terminal-Bench 4.0인데도 누가 어떤 도구로 쟀느냐에 따라 1위가 바뀐다는 점도 재미있다. 이 메달표는 오래가지 않았다. 9월 28일 Claude Sonnet 5.5, 9월 29일 GPT-6.1 Sol이 나온 뒤 달라진 순위는 03장에 정리했다.

Code Arena · WebDev
🥇Claude Opus 5.51818 Elo
  1. 🥈 GPT-6 Astra 1792
  2. 🥉 Claude Fable 5.1 1755
Terminal-Bench 4.0 · 공식
🥇GPT-6 Astra + Codex58.2%
  1. 🥈 Fable 5.1 + Claude Code 57.9%
  2. 🥉 Opus 5 + Claude Code 53.9%
Terminal-Bench 4.0 · Vals.ai
🥇Claude Opus 5.561.62%*
  1. 🥈 GPT-6 Astra 57.07%
  2. 🥉 Claude Fable 5.1 49.49%
SWE-bench Pro · 공개 세트
🥇Muse Spark 1.161.5%
  1. 🥈 GPT-5.4 (xHigh) 59.1%
  2. 🥉 Muse Spark 55.0%
SWE-bench Verified · Vals.ai
🥇Claude Opus 597.0%
  1. 🥈 DeepSeek V4 Pro 96.4%
  2. 3위 GPT-5.6 Sol 96.2%
Code Arena · 비독점 라이선스
🥇Kimi K31660 Elo
  1. 🥈 Qwen3.8 Flash Next 1636
  2. 🥉 Hy4 preview 1631
Anthropic 🥇🥇🥇 3OpenAI 🥇 1Meta 🥇 1Moonshot 🥇 1
종목별 순위표 · 탭을 눌러 보세요

사람들의 블라인드 투표 · 2026.09.23 · 739,375표 · 오차: Opus 5.5 ±21, Astra ±12 → 구간이 겹친다

1Claude Opus 5.5Anthropic · max1818
2GPT-6 AstraOpenAI · max1792
3Claude Fable 5.1Anthropic · max1755
6Qwen3.8 MaxAlibaba · 잠정1671
9Kimi K3Moonshot · max1660
10Muse Spark 1.3Meta · max1658
12Grok 4.7xAI · xhigh1632
17GLM-5.3Z.ai · max1622

출처: Code Arena [1] · Terminal-Bench [2] · Vals.ai [3][4] · Scale AI [5]

03. 1위 점수에 붙은 조건과 10월 재측정

Vals.ai의 9월 22일 독립 측정에서 Terminal-Bench 4.0 1위는 Claude Opus 5.5(61.62%)였다. 그런데 Vals.ai는 표 아래에 이 점수가 어떻게 계산됐는지도 적어 두었다.

53.54%9월 22일 측정 · 61.62%는 대체 응답 포함 · 53.54%는 실패 처리

198번의 시도 중 30번은 요청한 Opus 5.5가 아니라 제공사 쪽 대체(fallback) 모델인 Opus 5나 Opus 4.8이 답했다. 대타가 친 안타까지 주전 기록에 넣은 셈이다. Vals.ai가 이 30번을 실패로 치고 다시 계산한 점수(대체 응답을 실패 처리한 점수)는 53.54%로 GPT-6 Astra(57.07%)보다 낮다. 다만 대체 모델 없이 모든 과제를 새로 돌려서 잰 점수는 아니다. Fable 5.1도 198번 중 28번이 대체 응답이었고, 실패 처리 점수는 42.42%다. [3]

9월 23일 확인했을 때는 공식 Terminal-Bench 순위에서도 GPT-6 Astra(58.2%)와 Claude Fable 5.1(57.9%)의 차이가 오차 범위(±2.8~3.8%p)보다 작았다. Code Arena의 1818점(±21)과 1792점(±12)도 신뢰구간이 겹쳤다. [2][1]

그 뒤 2주 만에 판이 바뀌었다. 10월 6일 공식 Terminal-Bench 순위에서는 Opus 5.5 + Claude Code가 64.8%로 1위, Sonnet 5.5 + Claude Code가 61.8%로 2위다. GPT-6 Astra와 GPT-6.1 Sol은 각각 Codex와 함께 58.2%로 공동 3위다. 같은 날 갱신된 Vals.ai 표는 하네스(실행 도구)를 mini-SWE-agent로 바꿔 다시 잰 결과다. 여기서도 Opus 5.5가 65.15%로 1위였지만 198번 중 22번이 대체 응답이었다. 이를 실패로 치면 58.08%로, 대체 응답이 4건뿐인 Sonnet 5.5(62.63%)와 대체 응답이 없는 GPT-6 Astra(59.60%)보다 낮다. 10월 1일 Code Arena는 Opus 5.5 1815점, GPT-6 Astra 1788점, Sonnet 5.5 1786점 순이다. [2][3][1]

1위 자리는 Opus 5.5가 모두 가져갔지만, 차이는 여전히 작다. 공식 순위의 1·2위는 오차 구간이 겹치고, Code Arena도 Opus 5.5의 순위 범위를 1~2위로 표시한다. 공개 점수만으로는 어느 쪽이 낫다고 단정하기 어렵다. 실제로 쓸 도구와 작업 조건에서 직접 비교해 보는 편이 좋다. 참고로 Artificial Analysis 종합 지능 지수에서도 Opus 5.5는 9월 22일 1위(58점)에 오른 뒤 10월 6일까지 자리를 지켰다. [24]

04. 실제 사용률: 개발자가 회사에서 쓰는 도구

이제 시험장을 나와 사무실을 들여다보자. JetBrains가 전 세계 개발자 1만 5천여 명에게 물은 2026년 조사(5~7월)에서 회사 일에 클로드 코드(Claude Code)를 쓰는 개발자는 39%였다. 1월(18%)의 두 배가 넘는다. 가장 많이 쓰는 도구 하나만 고르라고 했을 때도 31%가 Claude Code를 꼽았다. [6]

회사 일에 쓰는 AI 코딩 도구 · 전 세계 개발자JetBrains
2026년 1월 · AI Pulse2026년 5~7월 · DevEcoClaude Code18%39%Claude CodeGitHub Copilot29%21%GitHub CopilotCursor18%12%CursorCodex3%16%CodexAntigravity6%6%Antigravity7%OpenCode · 신규역전
1월은 AI Pulse(1만여 명), 5~7월은 Developer Ecosystem 2026(1만 5천여 명) 조사로, 둘 다 지역별 할당과 가중치로 전 세계 개발자를 대표하도록 설계됐다. 미국만 보면 Claude Code 사용률은 47%다. [8][6]

GitHub Copilot은 29%에서 21%로 내려왔지만 인지도는 여전히 79%다. Cursor는 18%에서 12%로 줄었고 특히 중국에서 28%에서 16%로 크게 빠졌다. 가장 가파르게 오른 건 Codex다. 사용률은 3%에서 16%로 약 5배, 인지도는 27%에서 65%로 뛰었다. 오픈소스 에이전트 OpenCode도 7%를 차지했다. [6] 10월 6일 공개된 Stack Overflow 2026 연례 설문(3만여 명 참여)에서도 순서는 같았다. 지난 1년간 써 본 코딩 에이전트는 Claude Code 66%, GitHub Copilot 59%, Codex 30%, Cursor 26% 순이었다(복수 응답).

Stack Overflow 수시 설문 · 2026년 4월

업무에 AI 에이전트를 쓴다

202531%
2026.0459%

매일 쓴다

202514%
2026.0437%

이 조사에서 풀스택 개발자 응답자의 도구 사용률은 GitHub Copilot 65%, Claude Code 50%였다. 여러 도구를 함께 고를 수 있는 사용률이고, 하나만 고른 선호도가 아니다. [12]

회사 크기가 도구를 고른다 · Pragmatic Engineer
75%Claude Code가장 작은 회사
56%GitHub Copilot직원 1만 명 이상

작은 팀은 새 도구를 바로 써 보고, 대기업은 구매·보안 심사를 이미 통과한 Copilot을 쓴다. 설문을 진행한 Gergely Orosz는 이 차이를 만드는 게 개인 취향보다 회사의 구매 절차라고 봤다. [9]

05. 개발자가 좋아하는 도구와 사용 후기

많이 쓰는 것과 사랑하는 것은 다를 수 있다. The Pragmatic Engineer가 2026년 1~2월 개발자 906명에게 ‘가장 사랑하는 AI 도구’를 물었다. 응답자 경력 중앙값이 11~15년으로 베테랑이 많고, 미국·유럽 비중이 높다는 점은 감안하자. [9]

가장 사랑하는 AI 도구 · 906명 · 2026년 1~2월
Claude Code46%
Cursor19%
Claude 모델11%
GitHub Copilot9%

JetBrains 1월 조사에서도 Claude Code의 만족도(CSAT)는 91%, 추천 지수(NPS)는 54로 시장 최고였다. [9][8]

Cursor는 사용률이 줄었는데도 ‘가장 좋아하는 도구’ 2위를 지켰다. AI에 설렌다고 답한 비율은 에이전트를 꾸준히 쓰는 사람이 61%, 쓰지 않는 사람이 36%였다. 아래는 실험, 설문, 기업 사례에서 건진 실제 목소리다. [9]

예전 방식으로 너무 많은 걸 하려고 하면 머리가 터질 것 같다. 우버를 타고 다니다가 갑자기 걸어서 도시를 가로지르는 느낌이다.

METR 생산성 실험 참가 개발자, 2026 (번역) [15]

7시간 동안 코드는 한 줄도 쓰지 않았다. 가끔 방향만 잡아 줬다.

Kenta Naruse, Rakuten 머신러닝 엔지니어 (번역) [20]

거의 모든 코딩에 에이전트를 쓴다. 그래도 AI가 쓴 코드는 거의 다 내가 검토하고 다듬는다. 나는 여전히 과정 안에 있다.

Pragmatic Engineer 설문 응답자, 소규모 회사 (번역·발췌) [9]

새 데이터를 만드는 데 도움이 되고 싶다. 그런데 AI 쓰는 게 너무 좋다!

METR 실험 재참여 요청을 받은 개발자 (번역) [15]

06. 비용: 토큰 사용량과 작업당 비용

이번에는 계산서를 펼쳐 보자. 여러 AI 모델을 API 하나로 쓰게 해 주는 OpenRouter의 사용량 순위를 보면 풍경이 또 다르다. 이 순위는 매출이나 고객 수가 아니라 처리한 토큰의 양을 센다. 단가가 낮은 모델일수록 같은 예산으로 더 많은 토큰을 처리한다. 9월 23일 기준 처리 토큰 1위는 GLM 5.3 Flash(19조), 2위는 DeepSeek V4.1 Flash(18.4조)로 둘 다 값싼 모델이었다. 앱 중에서는 Claude Code가 2위, 오픈소스 에이전트 Kilo Code와 Cline이 3·4위였다.

OpenRouter · 모델별 처리 토큰
1GLM 5.3 FlashZ.ai19T
2DeepSeek V4.1 FlashDeepSeek18.4T
3Hy4 previewTencent13T
4GPT-5.6 LunaOpenAI8.74T
5DeepSeek V4 Flash 0731DeepSeek8.49T
OpenRouter · 앱별 처리 토큰
1HHermes AgentNous Research · 범용 에이전트1.65T
2Claude CodeAnthropic1.16T
3Kilo Code오픈소스 코딩 에이전트483B
4Cline오픈소스 코딩 에이전트437B
5πpi코딩 에이전트401B

OpenRouter 전체 순위(2026년 9월 23일 기준, 코딩 전용 아님). 자체 서버로 모델을 부르는 도구나 회사 전용 계약 사용량은 이 순위에 거의 잡히지 않는다. 순위는 주마다 크게 바뀐다. 10월 5일까지 한 주 동안은 제공사를 밝히지 않은 ‘스텔스’ 모델 Space Bunny Alpha(33.3조)가 1위, DeepSeek V4.1 Flash(29.6조)가 2위, GLM 5.3 Flash(10.2조)가 3위였다. [13]

가성비 지도 · 점수(세로) vs 출력 단가(가로)Code Arena WebDev
← 싸고 잘하는 쪽16001650170017501800$0.5$1$2$5$10$20$50Opus 5.5GPT-6 AstraFable 5.1GPT-6 SolQwen3.8 MaxKimi K3Qwen3.8 Flash Next출력 100만 토큰당 가격(로그 눈금)
9월 23일 Code Arena 표에 함께 적힌 가격 기준. 1위 Opus 5.5는 출력 단가가 $20로 2위 GPT-6 Astra($50)의 40%다. 초록 점선은 ‘같은 값에 더 높은 점수’를 잇는 가성비 경계선이다. 10월 1일 표에서 3·4위에 오른 Sonnet 5.5와 GPT-6.1 Sol의 출력 단가는 둘 다 $10로 Opus 5.5의 절반이다. [1][24]
긴 작업 1건의 비용 · Terminal-Bench 4.0 · Vals.ai 9월 22일
1GLM 5.3 Flash성공률 19.70%$0.65
2GPT-6 Astra성공률 57.07%$8.21
3Claude Sonnet 5성공률 8.08%$21.37
4Claude Opus 4.8성공률 16.16%$28.31

비싸다고 잘하는 건 아니다. 8시간 안에 결론을 못 내고 계속 붙잡고 있는 모델은 그만큼 돈을 더 쓴다. 9월 22일 측정에서 GPT-6 Astra는 프런티어 모델 중 싼 편($8.21)이면서 성공률도 높았다. 10월 6일 재측정에서는 GPT-6.1 Sol이 작업당 $1.72에 성공률 55.05%를 기록했다. GPT-6 Astra(59.60%, $9.58)의 5분의 1도 안 되는 비용이다. [3]

GLM 5.3 Flash$0예상 성공 0건
GPT-6 Astra$0예상 성공 0건
Claude Sonnet 5$0예상 성공 0건
Claude Opus 4.8$0예상 성공 0건

계산식: 작업 수 × Vals.ai가 9월 22일 측정한 작업당 비용, 예상 성공 = 작업 수 × 성공률. 실제 비용은 작업 길이, 캐시, 요금제에 따라 크게 달라진다. 구독 요금제별 한도는 AI 한도·가격 트래커에서 확인하자.

07. 생산성 연구: AI를 쓰면 정말 빨라질까

가장 유명한 검증은 METR의 무작위 대조 실험이다. METR은 작업마다 AI를 써도 되는지를 무작위로 정했다. 숙련 개발자들은 AI가 일을 24% 빠르게 해 줄 거라 예상했지만, 2025년 초 도구로는 오히려 19% 더 오래 걸렸다. 더 놀라운 건, 실험이 끝난 뒤에도 본인들은 20% 빨라졌다고 믿었다는 점이다. [14]

+24% 빨라질 것실험 전 개발자들의 예상
19% 더 걸림실제 결과 (95% 신뢰구간: 2~39% 더 걸림)

METR 2025 무작위 대조 실험: 숙련 오픈소스 개발자 16명, 실제 작업 246건. [14]

METR 후속 · 2026년 2월

측정이 어려워질 만큼 AI에 익숙해졌다

2025년 8월부터 개발자 57명, 저장소 143개, 작업 800여 건으로 다시 실험했다. 원래 참가자는 18% 단축(신뢰구간 −38%~+9%), 새 참가자는 4% 단축(−15%~+9%)으로 추정됐다. 그런데 METR 스스로 이 수치는 믿기 어렵다고 밝혔다. AI 없이 일해야 하는 조건을 거부하는 개발자가 늘었고, 30~50%는 AI 없이 하기 싫은 작업을 아예 제출하지 않았다. METR은 AI의 실제 효과가 이보다 클 가능성이 높다고 봤다. [15]

Google DORA 2025 · 약 5,000명
AI 사용90%
생산성 향상 체감80%+
AI 코드 불신30%

AI 도입이 늘수록 배포 처리량은 높아지기 시작했지만, 배포 안정성은 여전히 떨어지는 쪽이었다. [16]

누가 코드를 쓰나 · JetBrains 2026
🤖 31%🤝 47%✍️ 23%

🤖 에이전트파(코드의 평균 84%를 에이전트가 작성) · 🤝 AI 보조파 · ✍️ 수작업파. 평균적으로 코드의 약 47%를 에이전트가 통째로 쓴다(자가 보고).

한·중·일32~35%
유럽·영국~16%

코드의 80% 이상을 에이전트로 만드는 개발자 비율. 한국·중국·일본이 유럽의 두 배다. [7]

08. 기업이 직접 발표한 수치

기업이 직접 밝힌 숫자는 훨씬 과감하다. 대부분 자체 발표이고 측정 방법은 공개되지 않았다. 그래서 카드마다 이 숫자가 어디서 나왔는지 함께 표시했다.

0%Google 새 코드 중 AI 생성 비율

2026년 4월 순다르 피차이 CEO 발표. 지난가을 50%에서 올랐다. [17]

자체 발표
0%+Anthropic 코드 중 Claude가 쓴 비율

2026년 5월 CFO 발언. ‘90% 이상’이라고 표현했다. [18]

자체 발표
1/3GitHub PR 중 에이전트가 관여한 비율

2026년 7월 Microsoft 실적 발표. GitHub Copilot 사용자는 5천만 명. [21]

자체 발표
0%공개 GitHub 커밋 중 Claude Code가 쓴 비율

2026년 2월 SemiAnalysis 추정. 연말에는 20% 이상이 될 것으로 내다봤다. [19]

외부 분석
0시간Rakuten: 사람 코드 없이 이어진 자율 작업

1,250만 줄 vLLM 리팩터링, 정확도 99.9%. 신기능 출시 기간은 24일에서 5일로 79% 줄었다. [20]

기업 사례
?숫자를 읽는 법

‘AI가 생성한 코드’를 어떻게 세는지(자동완성 포함 여부 등)는 회사마다 다르고 공개되지도 않았다. 흐름을 보는 정도로만 읽자.

주의

09. 사고 사례: 에이전트에 권한을 맡길 때

속도가 빨라진 만큼 사고도 따라왔다. 코딩 에이전트에게 권한을 맡기기 전에 기억해 둘 숫자 네 개다.

DBReplit 에이전트, 운영 DB 삭제

Replit 에이전트는 2025년 7월 코드 동결 기간에 운영 데이터베이스를 지웠다. 임원 기록 1,206건과 1,196곳 이상의 기업 정보가 사라졌다. 에이전트는 이를 감추려 했고, 복구가 불가능하다고 잘못 보고하기까지 했다. [22]

🚨 0%AI 코드 보안 통과율

Veracode가 100개 이상 모델을 추적한 결과, 평균 보안 통과율은 56%로 1년째 제자리다. 보안을 따로 지시하지 않으면 약 44%의 경우 취약한 코드를 만든다. [23]

🚨 0%‘AI 코드 디버깅이 더 오래 걸린다’

Stack Overflow 2025 설문. AI의 정확도를 믿지 않는 개발자(46%)가 믿는 개발자(33%)보다 많고, ‘매우 신뢰’는 3%뿐이다. [10][11]

🚨 0%승인 없는 시스템 변경을 막아 둔 개발자

Stack Overflow 2026년 4월 설문. 68%는 여러 에이전트보다 예측 가능한 에이전트 하나를 선호한다. ‘목줄 찬 에이전트’가 현실이다. [12]

교훈은 단순하다. 에이전트에게 운영 데이터베이스 쓰기 권한은 주지 말고, 문제가 생기면 테스트·보안 검사·코드 리뷰가 자동으로 막아서도록 파이프라인을 짜자. 개발자들이 에이전트에 ‘목줄’을 채우는 데는 이유가 있다.

10. 내 작업에서의 검증: 무엇부터 시험할까

아래에서 세 가지를 고르면, 이 글의 데이터를 바탕으로 먼저 시험해 볼 조합을 알려 준다. 진단 결과는 출발점일 뿐이다. 최종 선택은 내 저장소의 실제 작업으로 비교해 보고 정하자.

30초 진단
1. 어디서 코딩하나요?
2. 가장 중요한 건?
3. 일을 어떻게 맡기나요?
Claude Code 또는 Codex

큰 작업을 통째로 맡기는 터미널 에이전트가 잘 맞는다. 여러 성능 평가에서 상위권인 모델(Claude Opus 5.5·Sonnet 5.5, GPT-6 Astra·GPT-6.1 Sol)을 쓸 수 있다. Claude Code는 회사 일 사용률 1위(39%)이고, Codex는 반년 새 사용률이 3%에서 16%로 늘었다. 긴 작업에는 테스트와 코드 리뷰를 자동 관문으로 붙이자.

내 작업으로 비교하는 법

  1. 최근에 실제로 처리한 이슈 3~5개를 고른다. 버그 수정, 기능 추가, 리팩터링을 섞는다.
  2. 후보 도구 두 개에 같은 지시와 같은 권한을 준다.
  3. 테스트 통과 여부, 걸린 시간, 든 비용, 사람이 다시 고친 양을 기록한다.
  4. 결과가 비슷하면 값이 싸고 팀이 이미 쓰는 도구를 고른다.

한 줄 결론. 벤치마크 1위는 새 모델 하나만 나와도 바뀌고, 상위권끼리의 차이는 오차 범위 안팎이다. 회사 일 사용률은 Claude Code가 1위지만, 직원 1만 명 이상 기업에서는 GitHub Copilot이 1위였다. OpenRouter 처리 토큰은 값싼 공개 모델이 가장 많았다. 이제는 ‘누가 제일 잘하나’보다 ‘내 일에 누가 맞나’를 물을 때다.

🔎 팩트체크 노트: 흔한 주장과 실제 데이터
흔한 주장확인한 내용
SWE-bench 97%면 코딩은 정복됐다Verified는 변별력이 거의 사라졌다(86개 중 7개 모델이 95% 이상). Vals.ai는 새 모델 측정도 멈췄다. 더 어려운 SWE-bench Pro 공개 세트 1위는 61.5%다.
Stack Overflow 2026 설문에 따르면…2026년 연례 설문 결과는 10월 6일에 나왔다. 지난 1년간 써 본 코딩 에이전트는 Claude Code 66%, GitHub Copilot 59% 순이다(복수 응답). 인용할 때는 2025년 설문, 2026년 4월 수시 설문, 2026년 연례 설문 중 어느 것인지 확인하자.
Opus 5.5가 Terminal-Bench를 압도했다Vals.ai 점수에는 대체 응답이 섞여 있다(9월 22일 30건, 10월 6일 22건). 이를 실패로 치면 9월에는 GPT-6 Astra보다, 10월에는 Sonnet 5.5와 Astra보다 낮다. 공식 순위표에서도 2위와의 차이는 오차 범위 안이다.
Opus 5.5와 GPT-6 Astra는 공동 1위다서로 다른 평가를 합친 순위 기준이 없고, 신뢰구간이 겹친다는 사실만으로 두 모델의 성능이 같다고 볼 수도 없다. 그래서 이 글은 ‘공동 1위’라고 쓰지 않고 종목별 1위를 따로 적는다.
OpenRouter 토큰 1위는 가장 많이 팔린 모델이다OpenRouter 순위는 처리한 토큰의 양을 센다. 매출이나 고객 수는 공개되지 않았고, 단가가 낮을수록 같은 돈으로 더 많은 토큰을 쓴다.
GitHub Copilot은 끝났다사용률은 29%에서 21%로 줄었지만 1만 명 이상 기업에서는 1위(56%)이고 사용자는 5천만 명(Microsoft 발표)이다. Stack Overflow 2026 설문에서도 코딩 에이전트 2위(59%)다.
AI를 쓰면 무조건 빨라진다METR 2025 실험에서는 19% 느려졌다. 2026년 후속 실험은 빨라진 신호를 봤지만 표본 편향 때문에 수치는 신뢰하기 어렵다.
회사 코드의 75%, 90%가 AI다모두 자체 발표다. ‘AI가 생성’을 어떻게 세는지 공개되지 않았다.

자주 묻는 질문

코딩을 가장 잘하는 AI 모델은 무엇인가요?

2026년 10월 6일 확인 기준으로는 Claude Opus 5.5가 Code Arena WebDev(1815점)와 Terminal-Bench 4.0 공식 순위(Claude Code와 함께 64.8%)에서 모두 1위입니다. 9월 23일에는 Terminal-Bench 공식 1위가 GPT-6 Astra였을 만큼 순위는 자주 바뀝니다. Claude Sonnet 5.5, GPT-6 Astra와의 차이도 작아서 공개 점수만으로 어느 쪽이 낫다고 단정하기 어렵습니다. 실제로 쓸 도구와 작업 조건에서 비교해 보는 편이 좋습니다.

개발자들이 가장 많이 쓰는 AI 코딩 도구는요?

JetBrains 2026 조사(1만 5천여 명)에서 회사 일에 쓰는 비율은 Claude Code 39%, GitHub Copilot 21%, Codex 16%, Cursor 12% 순이었습니다. 직원 1만 명 이상 기업에서는 Copilot이 앞섭니다. Stack Overflow 2026 연례 설문에서도 지난 1년간 써 본 코딩 에이전트는 Claude Code(66%)와 GitHub Copilot(59%)이 1·2위였습니다.

가장 저렴하게 쓰는 방법은요?

OpenCode, Kilo Code, Cline 같은 오픈소스 에이전트에 GLM이나 DeepSeek 같은 값싼 모델을 연결하는 방식입니다. 다만 긴 작업 성공률은 프런티어 모델보다 낮습니다(예: GLM 5.3 Flash 19.7%). 작업당 비용으로 보면 Vals.ai 10월 6일 측정에서 성공률 50%를 넘은 모델 중 GPT-6.1 Sol이 가장 쌌습니다($1.72, 55.05%).

AI를 쓰면 정말 코딩이 빨라지나요?

2025년 METR 실험에서는 숙련 개발자가 19% 더 오래 걸렸습니다. 2026년 후속 조사는 빨라졌다는 신호를 봤지만, AI 없이 일하기를 거부하는 참가자가 늘어 수치를 확정하지 못했습니다.

🎨디자인 AI, 투표 1위와 실무에서 많이 쓰는 도구가 다른 이유

9월 블라인드 투표와 1분기 디자이너 설문을 나눠 읽기

⚖️Claude Opus 5.5 vs GPT-6 Sol

싼 AI가 정말 돈을 아껴줄까?

⏳Claude Code 한도에 걸렸을 때

초기화 시간·추가 사용·컨텍스트 관리

출처

  1. [1]Arena · Code Arena WebDev (2026.09.23, 2026.10.01 확인)
  2. [2]Terminal-Bench · Terminal-Bench 4.0 official site (2026.10.06 확인)
  3. [3]Vals.ai · Terminal-Bench 4.0 (2026.09.22 측정, 2026.10.06 재측정)
  4. [4]Vals.ai · SWE-bench Verified (2026.09.01 최종 갱신, 이후 측정 중단)
  5. [5]Scale AI · SWE-Bench Pro (public set, 2026.10.06 확인)
  6. [6]JetBrains · AI Coding Agents: Adoption Trends (DevEco 2026)
  7. [7]JetBrains · How Much Code Do Developers Really Let Agents Write?
  8. [8]JetBrains · Which AI Coding Tools Do Developers Actually Use at Work? (AI Pulse, Jan 2026)
  9. [9]The Pragmatic Engineer · AI Tooling for Software Engineers in 2026
  10. [10]Stack Overflow 2025 Survey · AI
  11. [11]Stack Overflow · 2025 Developer Survey press release
  12. [12]Stack Overflow blog · Agents on a leash (April 2026 Pulse Survey)
  13. [13]OpenRouter · Rankings & Apps (2026.09.23, 2026.10.05 확인)
  14. [14]METR · Early-2025 AI and experienced open-source developers
  15. [15]METR · Uplift update (2026.02.24)
  16. [16]Google Cloud · Announcing the 2025 DORA report
  17. [17]The Verge · Google says 75% of its new code is AI-generated
  18. [18]TechSpot · Anthropic: more than 90% of code now written by AI
  19. [19]SemiAnalysis · Claude Code is the inflection point (2026.02.05)
  20. [20]Rakuten Today · Rakuten accelerates development with Claude Code
  21. [21]Microsoft · FY26 Q4 earnings (2026.07.29)
  22. [22]The Register · Replit deleted production database (2025.07.21)
  23. [23]AIThority · Veracode 2026 GenAI Code Security Report
  24. [24]Artificial Analysis · Claude Opus 5.5 takes the top spot (2026.09.22)
  25. [25]arXiv · SWE-bench paper (2310.06770)
  26. [26]OpenAI · Introducing SWE-bench Verified
  27. [27]SWE-bench news · mini-SWE-agent 65%

2026년 9월 24일 확인, 순위표는 10월 6일 재확인.

상표 안내: Claude·Claude Code는 Anthropic, GPT·Codex는 OpenAI, GitHub Copilot은 GitHub(Microsoft), Cursor는 Anysphere, Gemini·Antigravity는 Google, Muse Spark는 Meta, Qwen은 Alibaba Cloud, Kimi는 Moonshot AI, GLM은 Z.ai, DeepSeek은 DeepSeek, Grok은 xAI, Hy4는 Tencent, Junie는 JetBrains의 상표이며 OpenCode·Kilo Code·Cline·OpenRouter·Replit 등도 각 소유자의 상표입니다. 로고는 해당 서비스를 식별하기 위해 원본 그대로 작게 사용했습니다. 단단한 인생은 위 회사와 제휴하거나 후원받지 않은 독립 블로그입니다.

Related Posts

Subscribe
Subscribe

단단한 인생 / Dandan Life · 개인 AI 기술 블로그 / Independent AI technology journal