단단한 아빠와 AI 수습사원 단디가 다음 단어 고르기를 살펴보는 일러스트
AI 기초 · 다음 단어 예측

AI는 왜 그럴듯하게 틀릴까?빈칸 게임으로 알아보는 AI의 말하기 방식

문장만 읽어서는 이상한 점을 알아채기 어려웠다. 그런데 검사기를 돌리자 진짜 오류 세 건이 나왔다. 둘은 숫자였고, 하나는 지나친 단정이었다. 이 블로그에서 AI의 도움을 받아 쓴 글을 처음 검사한 날의 일이다.

말은 이렇게 잘하는데, 왜 숫자는 틀릴까? 힌트는 AI가 답을 만들어 가는 방식에 있다. 아래 게임에서 다음에 이어질 말을 직접 골라 보자.

AI 기초자료 확인 2026.11.17·읽는 시간 3분
먼저 핵심만

한눈에 보기

질문
말은 이렇게 자연스러운데, 왜 숫자는 틀릴까?
답
AI는 앞선 문맥에 이어질 표현을 예측하며 답을 만든다. 문장이 자연스러워도 내용은 틀릴 수 있다.
해볼 것
다음 단어 게임에서 ‘1등 단어 붙이기’를 눌러 문장이 한 조각씩 이어지는 모습을 본다.

게임의 확률은 원리를 보여 주려고 정한 설명용 값이다. 실제 모델을 실행하지 않는다.

검사기가 실제로 잡은 오류 하나
글에 있던 내용
이미 판매가 끝난 DeepSeek V4-Flash의 옛 가격
확인한 내용
같은 블로그의 다른 글에는 이미 바뀐 정보가 실려 있었다. 글끼리 서로 어긋나 있었다.
확인 경로
공식 요금 문서를 다시 열어 대조했다.
놓치기 쉬웠던 이유
한때는 맞던 숫자였고 문장도 자연스러웠다. 틀린 것은 ‘언제 기준인가’였다.

한·영 글 두 편에서 나온 오류다. 나머지 두 건은 출처를 확인하지 못한 가격과 지나친 단정이었다. 검사 과정 전체는 맡겨봤다 2화에 적었다.

01다음 말을 직접 골라 보자

휴대폰 키보드에 ‘안녕’을 치면 ‘하세요’가 먼저 뜬다. 챗봇도 출발점은 같다. 지금까지 나온 글을 보고 다음에 이어질 말을 예측한다. 아래 게임에서 AI가 되어 보자.

나도 AI처럼 다음 단어 맞혀 보기다음 단어 게임

이 체험에서는 가장 유력한 후보(1등)를 붙이도록 단순화했다. 실제 모델은 확률에 따라 다른 후보를 고르기도 한다. 보기 쉽게 단어 단위로 나타냈고, 막대의 확률은 설명용 값이다.

방금 한 일이 AI가 답을 만드는 방식이다. 실제 모델은 단어보다 작은 글 조각(토큰)을 하나씩 붙이고, 방금 붙인 조각까지 다시 읽으며 다음 조각을 고른다. 챗봇의 긴 답변도 이 ‘한 조각 고르기’를 수백, 수천 번 되풀이한 결과다. 답이 타자를 치듯 조금씩 화면에 나오는 것도 그래서다.

키보드 자동완성과 다른 점도 있다. 언어 모델은 아주 많은 글에서 표현과 문맥의 패턴을 배운다. 챗봇으로 쓰기 위해 질문과 지시에 맞게 답하는 훈련도 따로 받는다.[1]

02자연스러운 문장과 맞는 문장은 다르다

설명용 예시 · 실제 AI 답변이 아니다

✓캐나다의 수도는 오타와다.

✕캐나다의 수도는 토론토다.

두 문장 모두 읽다가 걸리는 곳이 없다. 하지만 사실에 맞는 문장은 하나뿐이다. 게임에서 고른 기준도 ‘이 자리에 잘 어울리는 말’이었다. 그 말이 사실인지 따지는 단계는 다음 말을 고르는 과정 안에 따로 들어 있지 않다. 그래서 문장은 매끄러운데 숫자나 날짜, 논문 제목이 틀리는 일이 생긴다.

요즘 챗봇은 검색이나 자료 분석 도구를 써서 답하기도 한다. 그래도 OpenAI는 중요한 정보, 특히 인용과 데이터는 직접 확인하라고 권한다.[2] AI가 매끄럽게 답했다고 해서 내용까지 확인됐다는 뜻은 아니다.

03모를 때도 답부터 하는 이유

사실이 아닌 내용을 사실처럼 말하는 현상을 환각(hallucination)이라고 한다. 있지도 않은 논문 제목을 지어내거나, 어떤 사람이 받지 않은 상을 받았다고 소개하기도 한다.

왜 모르면 모른다고 하지 않을까? OpenAI는 2025년 9월 연구에서 평가 방식에 그 원인이 있다고 설명했다.[3] 정답률만 중시하는 평가에서는, 모른다고 인정하기보다 일단 추측하는 편이 유리해질 수 있다. 객관식 시험을 떠올리면 쉽다. 모르는 문제를 비워 두면 0점이지만, 찍으면 운 좋게 맞을 수도 있다. 누군가의 생일을 몰라도 ‘9월 10일’이라고 찍으면 365분의 1 확률로 맞는다.[3]

그래서 연구진은 채점 방식부터 고치자고 제안한다. 자신 있게 틀린 답은 더 크게 깎고, 모를 때 모른다고 하면 부분 점수를 주자는 것이다.[3]

답을 받은 뒤 먼저 볼 세 가지

우리가 AI를 쓸 때 할 수 있는 일도 있다.

  • 숫자와 날짜: 숫자와 날짜가 틀려도 문장만 읽어서는 알아채기 어렵다. 원문을 열어 한 번 대조한다.
  • 제목과 이름: 논문, 기사, 법 조항처럼 고유한 이름이 나오면 실제로 있는지 검색해 본다.
  • 기준 시점: 규정과 가격, 요금제처럼 자주 바뀌는 정보는 어느 시점의 정보인지 확인한다. 위의 오류 사례가 바로 이 경우였다.

AI에게 근거 자료를 펴 주고 답하게 하는 방법은 3화에서 다룬다.

더 깊이: 학습, 어텐션, 온도는 무엇일까

학습. 학습 전의 모델은 아직 말과 글의 패턴을 모른다. 속에 든 수많은 숫자(가중치)가 초깃값 그대로이기 때문이다. 다음 말을 맞히고 틀리기를 셀 수 없이 되풀이하는 동안 이 숫자가 조금씩 고쳐진다.

어텐션. ‘배가 아파서 병원에 갔다’의 배와 ‘배를 타고 섬에 갔다’의 배는 다르다. 2017년 구글 연구진이 소개한 트랜스포머(Transformer)는 이 문제를 어텐션(attention)으로 풀었다. 문맥 속 어떤 토큰을 더 눈여겨볼지 계산하는 장치다. 글을 써 내려갈 때는 아직 쓰지 않은 뒤쪽 토큰을 보지 못하게 가려 둔다.[4] 오늘날 널리 쓰이는 언어 모델은 대부분 이 구조 위에 있다.

온도. 같은 질문에도 답이 조금씩 달라지는 이유다. 실제 모델은 1등 후보만 고르지 않고 확률에 따라 고르기도 한다. 유력한 후보 위주로 고를지, 다른 후보도 폭넓게 고를지 조절하는 설정이 온도(temperature)다. OpenAI API 문서는 0.8처럼 높이면 답이 더 무작위해지고, 0.2처럼 낮추면 더 집중된다고 설명한다.[5] 온도를 낮춘다고 더 정확해지지는 않는다. 가장 유력한 후보가 틀렸다면, 그 틀린 답을 더 꾸준히 내놓을 뿐이다.

그래서 나는

AI의 답도, 검사기의 경고도 원문과 나란히 본다

AI의 실수를 찾는 검사기도 완벽하지 않았다. 한 달 사이 가짜 경보가 아홉 번 울렸고, 원인은 모두 글이 아니라 기준표와 검사기 쪽에 있었다. 비교 대상 모델의 숫자를 엉뚱한 모델의 것으로 읽는, AI 초안과 똑같은 실수도 했다.

그래서 나는 AI의 답도, 검사기의 경고도 원문과 나란히 놓고 확인한다. 자연스러운 문장은 읽기 편하게 해 준다. 내용이 맞는지는 근거를 보고 판단한다.

한 줄 정리 말이 자연스럽다는 것과 내용이 정확하다는 것은 별개다.

여러분은? AI의 답을 믿었다가 “잠깐, 이건 아닌데?” 했던 적이 있나요? 어떤 내용이었는지 댓글로 들려주세요.

출처

  1. [1]OpenAI · Aligning language models to follow instructions (2022.01.27)
  2. [2]OpenAI Help Center · Does ChatGPT tell the truth? (2026.11.17 확인)
  3. [3]OpenAI · Why language models hallucinate (2025.09.05)
  4. [4]Vaswani et al. · Attention Is All You Need (2017)
  5. [5]OpenAI API Reference · Responses: temperature

논문과 공식 문서를 먼저 확인했다(2026년 10월 8일 확인, 11월 17일 보강). 환각의 원인 설명은 OpenAI 연구진의 주장이다. 검사기 수치와 오류 사례는 이 블로그의 운영 기록(2026년 9~10월, 맡겨봤다 2화)에서 가져왔다. 오타와·토론토 문장은 설명을 위해 만든 예시다.

상표 고지 · OpenAI, ChatGPT, GPT: OpenAI · Google: Google LLC. 로고와 상표는 각 소유자의 자산이며, 해당 서비스를 식별하기 위한 용도로만 언급했습니다. 단단한 인생은 위 회사와 제휴하거나 보증·후원을 받지 않은 독립 블로그입니다.

단단한 인생 / Dandan Life · 개인 AI 기술 블로그 / Independent AI technology journal