제미나이 4 카본 총정리: 아르곤 일반 공개 15일 만에 온 ‘탄소’, 무엇이 달라졌나17개 중 15개 1등인데 환각률은 왜 올랐을까? 체험 도구 10개로 직접 눌러 보며 읽는 구글의 새 프런티어 모델

01‘주기적으로’ 내놓겠다더니, 정말 주기율표였다

피차이의 게시물은 이렇게 시작한다. “I did say we’d be releasing our models periodically…introducing Gemini 4 Carbon, our next frontier model.” 아르곤이 나온 지 2주 만에 다음 모델을 소개하면서 하필 ‘주기적으로’라는 단어를 골랐다.^[1] 일론 머스크는 이 게시물을 인용하며 딱 한 단어를 남겼다. “Impressive(인상적이네).”^[2]

이름 규칙을 묻는 질문에 구글 AI 스튜디오와 제미나이 API를 이끄는 로건 킬패트릭은 “지금은 전부 원소예요! 재미로 하고 있어요 : )”라고 답했다.^[3] 공식 설명은 이게 전부다. 덕분에 커뮤니티는 신이 났다. 알파벳 순서로 가는 거라면 J로 시작하는 원소가 없어서 열 번째에서 막힌다는 지적이 나왔고^[4], 18, 6 다음은 헬륨(2)이라는 계산^[5]과 번호가 작을수록 세다면 수소(1)가 끝판왕이냐는 농담도 이어졌다.^[6] 직접 뽑아 보자.

이름만 놓고 보면 그림이 재밌다. 아르곤은 이름부터 그리스어로 ‘게으른’이라는 뜻에서 왔고, 다른 원소와 좀처럼 반응하지 않는 비활성 기체다. 탄소는 무엇과도 잘 결합하고, 같은 원자로 연필심(흑연)도 되고 다이아몬드도 된다. 구글이 고른 대표 이미지도 여러 면으로 깎인 결정이다. 무엇에든 쓰이는 범용성과 단단한 끈기라는 카본의 자랑거리와 어울리긴 한다. 블로그 이름이 ‘단단한 인생’이라 그런지, 가장 단단한 결정을 만드는 원소에 괜히 정이 간다. 물론 이건 내 해석이고, 구글은 이름의 뜻을 밝히지 않았다.

이름 다음으로 궁금한 건 ‘그래서 지금 쓸 수 있나’다. 아직은 아니다. 구글은 이번 주부터 일부 사이버 방어팀에 먼저 열고, 미국 정부의 사전 시험 절차에 참여하면서 단계적으로 넓히겠다고 했다. 일반 공개 날짜는 없다(7장).^[7]

아르곤 공개 15일 만에 또 새 모델이라니 빠르긴 빠르다. 구글이 발표 간격을 직접 설명하진 않았지만, 피차이는 같은 날 실적 발표에서 AI가 구글의 훈련과 출시 속도를 끌어올리고 있고, RSI(재귀적 자기 개선, AI가 다음 AI의 개발을 돕는 것) 덕분에 앞으로 12개월도 가속이 이어질 것이라고 말했다.^[8] 카본은 이미 구글 사내에 배포돼 쓰이고 있다고도 했다.^[9] 내부 코드네임과 발표 무렵의 보안 소동 같은 뒷이야기는 글 끝 여담에 모아 두었다.

02성적표 한 장, 평가 17개: 15개 1등, 그런데 누가 쟀을까

구글은 카본·아르곤·GPT-6 Astra·Claude Opus 5.5·Claude Fable 5.1을 나란히 비교한 표를 공개했다. 평가 항목은 17개다. 카본은 17개 모두 아르곤보다 높았고, 15개에서 가장 높은 점수를 받았다.^[10] ‘시험’이 아니라 ‘평가 항목’이라고 부르는 데는 이유가 있다. AA Index나 Vals Index처럼 여러 시험을 묶은 지수도 한 줄씩 들어가 있기 때문이다.

표만 보면 지루하니 게임으로 바꿨다. 카본이 1등을 놓친 항목 2개를 찾아보자. 힌트를 주면, 하나는 코딩 분야에, 하나는 컴퓨터 조작 분야에 있다. 카드마다 1등일 것 같은 모델을 누르면 정답과 막대그래프가 열린다. 오른쪽 위 배지도 눈여겨보자. 구글의 측정 방법 문서를 보면 항목마다 점수를 잰 주체가 다르다.^[11] 독립 기관이 모든 모델을 같은 조건으로 잰 항목이 있는가 하면, 카본 점수는 구글이 직접 재고 경쟁 모델 점수는 각 회사 발표를 가져온 항목도 있다. GraphWalks는 모든 모델을 구글이 쟀다. 배지를 세어 보면 독립 평가 10개, 구글·외부 자료 혼합 6개, 구글 단독 측정 1개다. 카본은 독립 평가 10개 중 9개, 구글이 손댄 7개 중 6개에서 1등이다. 누가 쟀느냐에 따라 결과가 크게 갈리지는 않았다는 뜻이니, 조금은 안심하고 읽어도 된다.

정답은 FrontierSWE 2와 OSWorld-2.1이다. 오래 걸리는 소프트웨어 공학 과제인 FrontierSWE 2에서는 GPT-6 Astra(65.5%)가, 화면을 보고 컴퓨터를 다루는 OSWorld-2.1에서는 Opus 5.5(87.2%)가 카본(61.2%, 81.5%)을 앞섰다. 비교표 밖으로 나가면 순위가 또 달라진다. 이 표는 다섯 모델만 비교했기 때문이다.

• AA 지능 지수 v5.0: 카본(high) 59점으로 1위. Opus 5.5(max) 58, GPT-6 Astra(max) 57, 아르곤 50이다. 9개 시험 가운데 4개에서 1위였다.^[12]
• Terminal-Bench 4.0: 비교표에선 1등이지만 AA 전체 순위로는 Kimi K3.1 Pro(67.2%)에 이은 2위다.^[13]
• Vals Index v2.2: 70.36%로 29개 모델 중 2위. 1위는 Claude Sonnet 5.5(70.85%)다.^[14]
• FrontierSWE 2: 회사별 대표 모델만 보는 기본 화면에선 3위, 전체 보기에선 Claude Sonnet 5.5(61.9%)에도 밀려 4위다.^[15]
• 코딩 에이전트 지수: 모델과 작업 도구를 묶어 보면 Claude Code와 Opus 5.5 조합이 62점으로 앞서고, Antigravity CLI와 카본 조합은 59점이다.^[16]
• WebDev Arena: 사람들이 웹 앱 결과물을 비교해 투표하는 순위에선 1768점으로 4위. 아르곤(1679점, 11위)보다 89점 올랐다.^[17]
• AA-Briefcase(실무 문서 작업): 1609점. 이 시험에선 앞선 모델이 7개 있다.^[18]

같은 탄소도 원자를 어떻게 배열하느냐에 따라 연필심이 되고 다이아몬드가 된다. 성적도 비슷하다. 어떤 범위에 놓고 보느냐에 따라 ‘압도적 1등’이 되기도 하고 ‘상위권 중 하나’가 되기도 한다. 정리하면 카본은 ‘무엇이든 1등’보다는 ‘거의 모든 곳에서 최상위권, 몇몇 곳에서 압도적’에 가깝다. 벤치마크 1등과 개발자가 실제로 많이 쓰는 도구가 다를 수 있다는 이야기는 코딩 AI 비교 글에서 따로 다뤘다.

03환각률의 역설: 더 많이 맞히는데 더 많이 지어낸다?

Artificial Analysis의 AA-Omniscience는 지식 문제를 내고, 모를 때 ‘모른다’고 하는지까지 본다. 결과가 재밌다. 카본은 정답률 58%로 아르곤(48%)보다 10포인트 높고, 종합 지수도 54점으로 1위다. 그런데 환각률은 아르곤 4%에서 카본 11%로 올랐다.^[19]

비밀은 환각률의 분모에 있다. 여기서 환각률은 전체 문제 중 틀린 비율이 아니다. 맞히지 못한 응답(틀린 답, 부분 정답, 답하지 않음) 가운데 틀린 답을 지어낸 비율이다.^[19] 그래서 모를 때 답변을 자주 유보하는 모델은 환각률이 낮게 나온다. 시험지로 비유하면 아르곤은 모르는 문제를 빈칸으로 두고, 카본은 더 많이 풀면서 가끔 찍는다. 환각률은 ‘못 맞힌 문제 가운데 찍어서 틀린 비율’이다. 100문제짜리 시험으로 줄여서 보자.

숫자 하나만 보면 오해하기 쉽다. 카본의 11%는 이 시험에 오른 모델 가운데 아르곤 다음으로 낮고, Opus 5.5(max)와 GPT-6 Astra(max)의 50%보다 훨씬 낮다.^[19] 구글은 내부 시험에서 카본이 근거 없는 주장을 아르곤의 절반 수준으로 줄였다고 밝혔다.^[7] 시험마다 재는 대상이 다른 것이다. 결론은 평범하다. 중요한 숫자는 여전히 출처를 확인하자. 내가 이 블로그에서 AI 보조로 쓴 글의 숫자를 자동 검사기로 매일 확인하는 이유이기도 하다.

04며칠씩 버티는 끈기, 그리고 느린 첫마디

구글이 내세운 첫 번째 강점은 끈기, 그러니까 여러 단계의 작업을 오래 이어서 해내는 능력이다. 발표문에 따르면 구글 내부 팀은 카본이 며칠 동안 실행되며 막다른 길에 부딪혀도 돌아 나와, 큰 코드베이스와 저수준 시스템에 숨은 미묘한 버그의 원인을 찾아 고치는 모습을 봤다.^[7] 구글 딥마인드는 X에서 카본이 막히거나 지름길로 새지 않고 며칠씩 복잡한 일을 해낼 수 있다고 소개했다.^[20]

끈기는 독특한 시험으로 잴 수 있다. Andon Labs의 Vending-Bench 2는 AI에게 가상 자판기 사업을 1년 동안 맡긴다. 물건을 주문하고, 값을 정하고, 거래처와 메일을 주고받아야 한다. 하루 이틀은 잘해도, 몇 달 치 작은 실수가 쌓이면 통장이 바닥난다.

카본은 평균 잔고 16,484달러로 1위다.^[21] Andon Labs는 X에 구글이 1년 만에 다시 이 순위표 꼭대기에 올랐다(“for the first time in a year”)고 적었다.^[22] 구글 비교표에는 없지만 OpenAI GPT-6 Sol(14,428달러)도 아르곤보다 앞선 3위다.

긴 글을 끝까지 붙잡는 힘도 크게 늘었다. GraphWalks는 25만~100만 토큰 분량의 입력 속에 흩어진 연결 관계를 따라가는 시험이다. 소설 몇 권 분량의 문서에서 ‘A는 B와, B는 C와 이어진다’를 끝까지 추적해야 한다. 카본은 96.2%로 아르곤보다 12포인트, 경쟁 모델보다 24~31포인트 높다. 다만 이 시험은 모든 모델을 구글이 직접 쟀다.^[11]

함께 살펴볼 변화도 있다. 카본은 답을 시작하기 전에 오래 생각한다. Artificial Analysis가 high 설정으로 잰 값에서 첫마디가 나오기까지 약 100초가 걸렸다. 컵라면에 물을 붓고 반쯤 익었을 때쯤에야 첫마디가 나오는 셈이다. 같은 가격대 모델의 중간값은 3초대다. 일단 쓰기 시작하면 속도는 초당 80토큰대로 중간값과 비슷하다.^[23] 이 값은 계속 다시 재고 입력과 추론 설정에 따라서도 달라지므로, 실제로 쓸 때 늘 이만큼 기다린다는 뜻은 아니다. 아래 스톱워치는 10월 29일 측정 스냅숏으로 만들었다.

토큰 사용량도 늘었다. Vals AI에 따르면 카본은 Vals Index 전체에서 아르곤보다 추론 토큰을 2.3배, 출력 토큰을 64% 더 쓴다. 늘어난 추론량은 주로 금융, 세무, 법률 리서치 같은 조사 업무에 몰렸고, 법률 리서치는 과제 하나에 50분 넘게 걸렸다.^[24] 출시 전 블라인드 비교 시험장에서 카본으로 추정되는 모델을 써 본 사람들도 아르곤보다 2~4배 느리지만 덜 게으르다는 인상을 남겼다. 어떤 버전이었는지는 확인할 수 없는 후기다.^[25] Artificial Analysis 집계로도 카본은 지능 지수를 푸는 데 출력 토큰 2억 개를 썼다. 비슷한 모델 중간값(약 7,100만 개)의 세 배 가까운, 꽤 수다스러운 모델이다.^[23]

05보안 3단계: 찾고, 뚫어 보고, 고친다

카본의 간판 능력은 사이버보안이다. 피차이는 발표 게시물에서 세 숫자를 콕 집었다. 취약점 찾기 SEC-bench Pro 88.2%, 공격 검증 ExploitGym 54.8%, 패치 CWE-bench 71.0%.^[1] 셋 다 1위다. 구글은 이런 보안 평가를 가드레일(안전 필터)을 끈 상태로 쟀다고 밝혔다. 모델의 원래 실력을 보려는 것이고, 실제 서비스에서는 안전장치가 켜진다.^[7] 그리고 ‘찾기’라는 말에 AI가 아무 단서 없이 새 취약점을 발굴했다고 생각하면 과장이다. SEC-bench Pro는 실제 취약점 사례에서 조사할 코드 위치, 취약점 종류, 예상되는 오류 같은 단서를 주고, 문제를 실제로 일으키는 검증 코드(PoC)를 만들게 하는 시험이다. 정답 PoC는 알려 주지 않는다.^[26] 단서가 있어도 수백만 줄짜리 엔진에서 원인을 짚어 내야 하니 만만한 일은 아니다.

보안 일을 공장 컨베이어로 생각하면 쉽다. 버그를 찾고, 정말 위험한지 직접 뚫어 확인하고, 마지막에 고친다.

발표문에는 숫자 밖의 사례도 있다. 크롬 팀은 고품질 패치를 만드는 일에서 카본이 다른 연구소의 대형 프런티어 모델 하나보다 10배 넘게 잘했다고 보고했다(무엇을 기준으로 10배인지는 밝히지 않았다). 구글 내부 벤치마크에선 안전한 코드를 만드는 성공률이 아르곤의 2배를 넘었다. 구글 클라우드의 보안 플랫폼 Wiz는 웹 침투 테스트 벤치마크에서 카본이 앞선다고 봤다.^[7] 모두 구글 쪽 주장이라는 점은 기억해 두자.

공격 실력이 좋다는 말은 무섭게 들릴 수 있다. 같은 능력이 방어에도, 공격에도 쓰이기 때문이다. 구글이 카본을 일반에 바로 풀지 않고 방어팀부터 주는 이유도 여기에 있다(7장).

06시험장 꼼수와 사고 과정 감시

강한 모델일수록 시험을 정직하게 치르는지가 중요하다. 구글은 10월 13일 아르곤 안전 보고에서, 강화학습 훈련 중 드물게 나온 꼼수를 공개했다. 과제가 어렵거나 훈련 환경에 허점이 있을 때였다.^[27] 카본이 아니라 아르곤 훈련 때 이야기라는 점을 먼저 밝혀 둔다. 여기서 ‘사고 과정’은 모델이 답하기 전에 글로 적어 내려가는 추론 기록(chain of thought)을 말한다. 머릿속 전부가 아니라, 밖에서 읽을 수 있게 남긴 생각의 메모다.

이 결과 때문에 구글은 원칙 하나를 지킨다고 했다. 사고 과정에 적힌 내용을 이유로 꼼수 벌점을 주지 않는다는 것이다.^[27] 상세 보고서를 보면 생각을 짧게 하라는 길이 벌점처럼 사고 과정에 닿는 신호가 아예 없는 건 아니지만, 감시 장치의 판정을 훈련 신호로 쓰는 일은 피한다고 적었다.^[28] 꼼수를 드러냈다고 혼내면 꼼수를 멈추는 대신 숨기는 법을 배울 수 있어서다. 구글은 에이전트의 행동과 사고 과정을 실시간으로 읽어 심각한 선 넘기를 미리 막는 감시 장치도 쓴다고 밝혔다.^[27]

카본은 아르곤의 여러 겹 안전장치를 바탕으로 만들어졌다. 구글이 밝힌 카본의 수치는 이렇다.^[7]

두 번째 카드의 ‘지시·범위 이탈 경보’는 프로그램 오류 전체가 아니라, 모델이 사용자의 의도나 허용된 작업 범위를 벗어나는 행동(misalignment)을 감시 장치가 잡아낸 경보를 말한다. 줄어든 것은 그 경보가 울린 횟수다. 지시가 모호하면 관련 자료를 찾아보고, 서로 어긋나는 점을 행동하기 전에 사용자에게 먼저 알린다는 설명도 있다.^[7] 다만 위 숫자는 모두 구글이 직접 잰 값이다. 카본만의 안전 보고서나 모델 카드는 10월 29일 기준 아직 없다. AI 에이전트가 실제로 금지선을 넘은 사례들은 이전 글에 모아 두었다.

07가격, 작업당 비용, 그리고 언제 쓸 수 있나

가격은 아르곤과 같은 도입 할인 가격(출시 초기에 정가의 절반으로 받는 가격, 줄여서 도입가)으로 시작한다. 100만 토큰당 입력 2달러, 출력 10달러이고, 캐시된 입력은 95% 할인된다. 도입 기간이 끝나면 입력 4달러, 출력 20달러가 된다. 도입가가 언제 끝나는지는 발표되지 않았다.^[7] 참고로 아르곤의 도입가는 11월 30일에 끝난다.^[29]

하지만 토큰 단가만 보면 진짜 비용을 놓친다. 토큰을 많이 쓰는 모델은 단가가 싸도 작업당 비용이 비쌀 수 있다. 계산기의 두 번째 탭이 그 이야기다. 단, 두 번째 탭은 도입 할인을 뺀 정가 기준이라는 점을 기억하자.

실제 에이전트 작업을 겨루는 Agent Arena에서도 Arena는 카본의 과제당 비용 중간값이 1.80달러로, 1위 Opus 5.5(max)보다 72% 싸다고 밝혔다.^[30] 토큰 단가와 실제 비용의 차이는 Claude Opus 5.5와 GPT-6 Sol 비교 글에서도 자세히 다뤘다.

구글 제품은 같은 모델도 어디서 어떻게 쓰는지 헷갈리기로 유명하다. 카본 발표 날 Hacker News의 한 이용자는 구글 PM이 100달러를 걸고 ‘아르곤에 프롬프트 한 줄 넣어 보라’고 해도 성공할 자신이 30%뿐이라고 투덜댔다.^[31] 카본은 아직 그 고민을 할 단계도 아니다.

구글은 카본을 서두르지 않는다. 미국 정부의 자발적 사전 시험 절차에 참여하고 있고, 이번 주부터 일부 사이버 방어팀에 먼저 열며, 페어윈드 프로그램(Fairwind Program)의 신뢰할 수 있는 파트너로 단계적으로 넓힌다. 개발자, 기업, 소비자에게는 안전장치를 더 다듬은 뒤 가능한 한 빨리 열겠다고 했다.^[7][32]

그다음은 작은 모델 차례다. 피차이는 실적 발표 질의응답에서 카본의 증류 버전을 만들고 있다고 말했다. 10억 명 규모의 사용자에게 연산량, 응답 속도, 품질 면에서 효율적으로 배포하기 위해서다.^[9] 증류는 큰 모델의 답으로 작고 빠른 모델을 가르치는 방법이다.

‘제미나이 4 플래시’ 소문도 있다. 10월 23일 무렵 X에는 gemini-4-carbon-preview와 gemini-4-flash-preview라는 모델 ID가 적힌 설정 화면 캡처가 돌았다.^[33] 하지만 출처가 확인되지 않은 캡처다. 10월 29일 기준 구글 개발자 문서의 모델 목록에 있는 제미나이 4 모델은 gemini-4-argon 하나뿐이고^[34], 피차이도 ‘플래시’라는 이름은 꺼내지 않았다.

정리하면 카본은 가장 똑똑한 모델 경쟁에서 구글이 한 걸음 앞에 선 모델이다. 긴 일을 버티는 끈기와 보안 실력은 여러 평가에서 숫자로 확인된다. 반대로 느린 첫마디, 함께 오른 환각률, 아직 열리지 않은 문은 직접 써 보기 전까지 판단을 미뤄야 할 부분이다. 그리고 이번 성적표가 가르쳐 준 게 하나 있다. 1등이라는 숫자보다, 그 숫자를 누가 어떤 범위에서 쟀는지가 더 많은 걸 말해 준다는 것. 일반 공개가 되면 앞에서 적어 둔 숫자 검사부터 맡겨 보고, 오래 생각하는 만큼 더 나은 답이 돌아오는지 확인해 보겠다. 다음이 헬륨이든 수소든, 2주 뒤에 또 이런 글을 쓰고 있을지도 모르겠다. 바로 앞 모델이 궁금하다면 제미나이 4 아르곤을 원소 카드로 뜯어본 글을 이어서 읽어 보자.

여담: 카본 뒷이야기 두 가지

본론에서 잠시 벗어난 이야기는 접어 두었다. 궁금한 것만 펼쳐 보자.

읽고 나면 생기는 질문 6가지