"월 1억 값어치 하나"…기업들, '돈 먹는 하마' AI 공포 [테크로그]

기업들이 생성형 인공지능(AI)을 업무에 본격 도입하면서 '토큰 비용' 관리가 새로운 고민거리로 떠오르고 있다. 문서 요약, 코드 작성, 오류 수정, 기획안 작성 등 업무 전반에 AI를 쓸 때마다 사용량이 눈처럼 쌓이는데 막대한 비용으로 이어지는 구조라서다.

"토큰값, 개발자 연봉보다 비싸진다"

1일 정보기술(IT) 업계에 따르면 국내외 기업들은 AI 코딩 도구와 업무용 생성형 AI 확산에 맞춰 사용량 관리 체계를 정비하고 있다. 토큰은 생성형 AI 모델이 텍스트를 처리하는 기본 단위다. 사용자가 입력한 프롬프트, AI가 읽어 들인 문서와 코드, 답변으로 생성한 결과물이 모두 토큰으로 계산된다.

문제는 비용 예측이 쉽지 않다는 데 있다. 정액 구독형 도구처럼 보이더라도 실제로는 모델 종류, 프롬프트 길이, 불러오는 문서 분량, 반복 수정 횟수에 따라 비용이 달라진다. 특히 코딩 에이전트는 단순 질의응답과는 차원이 다르다. 코드를 읽고, 수정하고, 테스트하고, 다시 검토하는 과정을 반복하면서 많은 토큰을 쓴다.

최근에는 과금 방식 자체도 정액 구독제에서 토큰 단위 종량제로 빠르게 옮겨가는 추세다. AI가 장황한 답을 내놓거나 오류를 내 재수정이 필요한 경우에도 입력·출력 토큰 모두 비용으로 잡히면서 기업이 체감하는 부담은 더 커지고 있다.

이러한 우려는 이미 해외 사례로도 확인됐다. 우버는 지난 4월 연간 AI 예산이 조기에 소진되자 직원 1인당 AI 토큰 사용액을 제한했다. 직원들의 AI 사용 독려를 위해 사용량을 공개하던 아마존도 방침을 접었다.

시장조사업체 가트너는 대규모언어모델(LLM) 토큰 사용량 증가와 사용량 기반 과금 확산이 맞물리면서 AI 코딩 비용이 2028년 평균 개발자 연봉을 넘어설 수 있다고 전망하기도 했다. AI 코딩 에이전트가 대규모 배포 단계로 넘어가는 가운데, 정작 많은 조직이 토큰 소비 증가에 따른 재무적 영향은 과소평가하고 있다는 게 가트너의 지적이다.

에이전트형 코딩 작업의 토큰 소비를 분석한 연구도 비슷한 결과를 내놨다. AI 경제효과 연구로 잘 알려진 에릭 브린욜프슨 스탠퍼드대 교수팀이 GPT-5, 클로드 소네트 4.5 등 모델 8종을 코딩 벤치마크로 시험한 결과, 에이전트형 코딩 작업은 단순 코드 채팅보다 최대 1000배 많은 토큰을 썼고 같은 작업도 실행마다 사용량이 최대 30배 차이 났다. 더 많은 토큰을 쓴다고 해서 정확도가 비례해 오르지도 않았다.

"잘 쓰는 사람 더 쓰게"...ROI 따지는 기업들

국내에서도 비용 통제 필요성이 커지고 있다. 금융, 게임, 이커머스, 제조, 플랫폼 기업들이 문서 작성과 고객 응대, 데이터 분석, 개발 보조에 생성형 AI를 붙이면서 사용량은 빠르게 늘고 있다. 부서별로 서로 다른 AI 도구를 쓰거나 단순 업무까지 고성능 모델에 맡기면, 비용이 예상보다 빨리 불어나기도 한다.

한 AI 업계 관계자는 "예전에는 그냥 넷플릭스 구독하는 느낌이었다면 지금은 비용의 규모가 점점 더 비싸지고 있다"며 "월에 1억원이 나간다고 쳤을 때 과연 그만한 값어치를 하는지 불안감도 있다"고 말했다.

이 관계자는 최근 기업들이 AI 교육과 도구 도입을 복지성 비용이 아니라 경영 전략 비용으로 보기 시작했다고 설명했다. 다만 모든 직원에게 AI 도구를 일괄 제공하는 방식은 오래가기 어렵다고 봤다. 그는 "잘 쓰는 사람은 더 쓰고, 안 쓰는 사람은 빼는 루틴이 있어야 한다"며 "모든 사람에게 선의로 '열심히 쓰세요'라고 하기엔 적은 비용이 아니다"라고 강조했다.

기업들이 가장 먼저 부딪히는 영역은 개발 조직이다. AI 코딩 도구는 생산성 향상 효과가 비교적 빠르게 나타나는 분야로 꼽힌다. 개발자는 AI에게 코드 초안을 만들게 하거나, 오류 원인을 찾고, 기존 코드를 고치는 작업을 맡길 수 있다.

문제는 쓰는 사람이 많아질수록 비용도 함께 불어난다는 점. 가트너는 개발자들이 속도와 편의성을 우선시하는 만큼 비용 효율을 위해 자발적으로 토큰 사용을 줄이기는 어렵다고 봤다. 조직 차원의 사용 기준과 관리 체계가 필요하다는 얘기다. AI 도구 공급사들이 토큰이 어떻게 계산되고 소비되는지 충분한 가시성을 제공하지 않는 점도 기업의 비용 예측을 어렵게 하는 요인으로 꼽힌다.

이제 대다수 기업의 고민은 도입 여부보단 운영 방식으로 옮겨가는 분위기다. 모든 업무에 비싼 모델을 붙이기보다 단순 요약과 초안 작성에는 가벼운 모델을 쓰고, 코드 검토나 복잡한 분석처럼 정확도가 중요한 업무에는 고성능 모델을 배정하는 식이다. 부서별 사용량을 들여다보고, 많이 쓴 직원이 실제로 어떤 결과물을 냈는지 확인하려는 움직임도 포착되고 있다.

AI 업계 관계자는 "AI로 변화를 만들고 써야 한다는 건 필요하지만 비용 낭비가 되지 않으려면 모니터링할 수 있는 도구가 필요하다"며 "누가 많이 썼는지, 많이 쓴 사람이 무엇을 만들었는지가 조직 안에 공유돼야 다른 구성원도 자극을 받을 수 있다"고 말했다.

홍민성 한경닷컴 기자 mshong@hankyung.com