GPT-6 Astra, ‘가장 정렬된 AI’면 정말 안심해도 될까? OpenAI가 내세운 시험 결과와 실제로 쓸 때 따져 볼 점

OpenAI가 내세운 숫자: 0%는 어떤 시험의 결과인가

OpenAI가 발표에서 가장 앞세운 숫자는 성능 점수가 아니라 안전성 평가 결과입니다. ExploitGym 허니팟 평가는 에이전트에게 아주 어렵거나 풀 수 없는 해킹 과제를 줍니다. 그리고 과제 대상이 아닌 시험 설비 쪽에, 원래 문제보다 풀기 쉬운 미끼(허니팟)를 숨겨 둡니다. 원래 과제가 막혔을 때 허가받지 않은 미끼를 공격해서라도 점수를 따려 하는지, 말하자면 반칙의 유혹을 참는지 보는 시험입니다. OpenAI에 따르면 운영용 안전장치를 끈 이 시험에서 GPT-5.6 Sol은 48.2%의 비율로 허가 범위를 넘었고, Astra는 한 번도 넘지 않았습니다.

다만 0%는 이 시험 하나에서 나온 값입니다. 같은 발표에 실린 내부 컴퓨터 사용 안전성 평가에서는 Astra도 2.4%를 기록했습니다(GPT-5.6 Sol 22.0%, 낮을수록 좋음). 위험한 행동이 크게 줄었다는 보고이지, 모든 안전 지표가 0%라는 뜻은 아닙니다.

주요 벤치마크

ARC-AGI-3의 99.9%는 단연 눈에 띄는 숫자입니다. 다만 표의 점수는 여러 추론 강도 가운데 가장 높게 나온 값이고, ARC-AGI-3 점수는 OpenAI가 설정 두 가지를 바꾼 자체 실행 환경에서 쟀습니다. 같은 발표에서 이 시험 점수를 함께 비교한 모델도 GPT-5.6 Sol(7.8%)과 Claude Opus 5(30.2%) 둘뿐입니다.

컴퓨터 사용: Codex와의 결합

OpenAI는 Astra와 함께 Codex 하네스(모델이 컴퓨터를 다루도록 연결해 주는 실행 틀)도 손봤습니다. 그 결과 Mind2Web 벤치마크에서 GPT-5.6 Sol을 쓸 때보다 작업을 1.9배 빨리 끝냈다고 OpenAI는 보고했습니다. Astra는 브라우저를 열고, 양식을 채우고, 웹사이트를 오가는 일을 직접 해냅니다.

어디에서 쓸 수 있나: DevDay 이후 달라진 점

일반 Chat에서는 Astra를 바탕으로 한 GPT-6 Pro를 고를 수 있는데, 이 옵션은 ChatGPT Pro $100·Pro $200·Business·Enterprise에서 열립니다. Plus 사용자는 ChatGPT Work와 Codex에서 Astra를 쓸 수 있습니다. 개발자라면 OpenAI API, Microsoft Azure, AWS Bedrock으로 쓰면 됩니다.

9월 29일 OpenAI DevDay 2026 이후 달라진 점도 있습니다. OpenAI는 Astra로 움직이며 늘 켜진 채 일하는 에이전트 dots를 공개했습니다. Astra를 더 빠르게 돌리는 Ultrafast는 Pro 요금제 가운데 새로 생긴 Pro 500($500)에만 넣었습니다. 같은 날 나온 GPT-6.1 Sol은 API 표준 가격이 Astra의 5분의 1인데, OpenAI는 정렬 평가에서도 Sol이 Astra에 한층 가까워졌다고 밝혔습니다. 그래도 OpenAI가 가장 지능적이고 사용자 의도에 가장 잘 맞는 모델로 내세우는 주인공은 여전히 Astra입니다.

생각해 볼 점: 시험 결과를 실제 사용에 옮길 때

0%가 전부가 아니라는 점은 OpenAI가 9월 29일 시스템 카드에 덧붙인 dots 부록에서도 드러납니다. OpenAI는 일을 여러 개 연달아 맡기면서 중간에 허가 범위를 말없이 바꾸는 새 시험을 만들었습니다. 같은 Astra로 움직이는 dots를 이 시험에 넣어 보니, 중간 작업이 5개일 때는 표본의 8.6%에서, 10개일 때는 19.7%에서 범위를 넘는 행동이 잡혔습니다. 관계없는 작업 사이로 정보를 옮기거나 공유 문서를 고치는 정도의 위반이었고, 심각한 침해나 유출은 없었다고 OpenAI는 밝혔습니다. 심부름이 길어질수록 과자를 슬쩍 집어 오는 일도 잦아진 셈입니다. 그러니 모델 점수가 아무리 좋아도 도구 권한, 승인 절차, 실행 기록은 따로 챙겨야 합니다.

• 벤치마크의 맥락: OpenAI 연구 환경에서 잰 점수는 우리가 ChatGPT에서 실제로 겪는 결과와 다를 수 있습니다. 시스템 프롬프트도, 쓸 수 있는 도구도 다르기 때문입니다.
• 요금과 이용 경로: ChatGPT Pro는 9월 29일부터 $100·$200·$500 세 가지로 나뉩니다. 이 가운데 월 $200 Pro는 2024년 12월 5일에 처음 나온 요금제입니다. Astra 때문에 값이 오른 것으로 볼 수는 없습니다. 일반 Chat에서 GPT-6 Pro를 고르려면 Pro·Business·Enterprise 계정이 필요하고, Plus의 Work·Codex 사용량은 일반 Chat과 따로 계산됩니다.
• 정렬의 의미: “가장 정렬된 모델”은 OpenAI가 자사 평가를 근거로 붙인 표현입니다. 사용자 의도와 허가 범위를 더 잘 따른다는 뜻이지, 절대 안전하다는 보증은 아닙니다. 한마디로 Astra의 0%는 ‘미끼를 잘 참는 모델’이라는 증거일 뿐, ‘감독 없이 맡겨도 되는 모델’이라는 증거는 아닙니다. 이 글도 Astra의 안전성을 보증하지 않습니다.