AI 출력값이 입력값보다 더 비싼 이유

생성형 인공지능(AI)의 요금표를 보면 공통점이 있다. 똑같은 글자 수(토큰)인데도 사용자가 던진 질문인 ‘입력 값’(프롬프트)보다 AI가 내놓는 답변인 ‘출력 값’의 가격이 최소 2배에서 6배까지 비싸게 책정되는 것이다. 실제로 GPT-5.5의 경우 100만 토큰당 입력 요금은 5달러인 반면 출력 요금은 30달러에 달한다. 클로드 오퍼스 4.8 역시 입력은 5달러, 출력은 25달러로 5배 차이가 난다.

이 같은 ‘몸값’ 차이는 AI가 그래픽처리장치(GPU)를 굴리는 연산 방식에서 비롯된다. 입력은 AI가 문장 전체를 한꺼번에 읽고 처리하는 병렬 처리 방식으로 작동한다. 책 한 페이지를 통째로 스캔하듯 순식간에 맥락을 파악하기 때문에 컴퓨터 자원을 효율적으로 쓸 수 있어 비용이 저렴하다.

반면 AI가 답변을 써 내려가는 과정은 여러 단계를 거친다. AI는 문장을 한 번에 내놓지 못하기 때문에 앞 단어를 바탕으로 다음에 올 가장 확률이 높은 단어를 매번 새로 계산하는 ‘순차 처리’ 방식을 쓴다. 답변 글자 하나를 추가할 때마다 거대한 모델 전체를 처음부터 끝까지 매번 다시 구동해야 하는 비효율이 발생하는 것이다.

여기에 대화 흐름을 기억하기 위한 ‘KV 캐싱’ 비용이 얹어진다. 환각이 나타나지 않으려면 방금 전에 생성한 단어들을 메모리에 반드시 저장해 둬야 한다. 답변이 길어질수록 이 캐시 데이터가 기하급수적으로 늘어나 고가의 메모리 용량을 많이 점유하게 된다.

이 같은 ‘토큰 경제학’은 단순한 요금표 숫자에 그치지 않는다. 우후죽순 생겨나는 AI 서비스 기업들의 생존과 직결된다. 아무리 질문을 효율적으로 압축해도 답변이 길어질수록 수익성이 순식간에 악화되는 ‘비용의 딜레마’가 발생하기 때문이다.

상황이 이렇다 보니 글로벌 테크 업계와 AI 서비스를 도입하려는 기업들 사이에서는 AI 사용을 무조건 장려하는 ‘토큰 맥싱’ 대신 비용을 최소화하려는 이른바 ‘토큰 다이어트’ 경쟁이 한창이다. 실제로 오픈AI는 최근 새로운 최적화 기법으로 기존 AI 추론 비용을 절반 이하로 낮췄다. 이 기법으로 AI 추론에 필요한 GPU가 200개 안팎으로 크게 줄어든 것으로 알려졌다.

라현진 기자 raraland@hankyung.com