최근 엔비디아 CEO 젠슨 황은 “AI Factory(인공지능 공장)”라는 개념을 자주 언급하고 있습니다. 그는 앞으로 데이터센터의 생산물은 AI 토큰(Token)이라고 말합니다.
많은 사람들이 “AI토큰이 도대체 뭘까?”라는 궁금증을 갖습니다. 비트코인 같은 암호화폐를 떠올리는 경우도 있지만, AI에서 말하는 토큰은 전혀 다른 의미입니다.
이번 글에서는 AI 토큰이 무엇인지, 왜 엔비디아가 토큰을 가장 중요한 지표로 보는지 쉽게 알아보겠습니다.
✅ AI 토큰(Token)이란?
AI 토큰은 AI가 읽고 이해하며 생성하는 가장 작은 단위의 데이터입니다.
사람은 문장을 한 번에 읽지만 AI는 문장을 잘게 나누어 처리합니다.
예를 들어,
“엔비디아 주가가 상승했다.”
라는 문장이 있다면 AI는 이를 여러 개의 작은 단위로 분리하여 이해합니다.
예시
- 엔비디아
- 주가
- 가
- 상승
- 했다
- .
이처럼 단어, 단어의 일부, 숫자, 기호 등이 모두 토큰이 될 수 있습니다. AI는 이러한 토큰을 하나씩 처리하며 문맥을 이해하고 새로운 문장을 만들어 냅니다. (NVIDIA)
✅ ChatGPT도 토큰으로 작동한다
지금 이 글을 읽고 있는 순간에도 ChatGPT는 토큰을 사용하고 있습니다.
예를 들어 사용자가
“AI 토큰이 뭐야?”
라고 질문하면 이 질문은 여러 개의 입력 토큰(Input Token)으로 변환됩니다.
그리고 ChatGPT가 답변을 작성하면 출력되는 모든 문장 역시 출력 토큰(Output Token)이 됩니다.
즉,
- 질문 = 입력 토큰
- 답변 = 출력 토큰
으로 이루어집니다.
AI는 결국 토큰을 계속 읽고 계속 생성하면서 대화를 이어가는 것입니다. (NVIDIA)
✅ 왜 기업들은 토큰 단위로 비용을 지불할까?
OpenAI, Anthropic, Google 등 대부분의 AI 서비스는 API(정보 요청 통로)를 사용할 때 토큰 수를 기준으로 비용을 청구합니다.
예를 들어 기업이 하루에 1억 개의 토큰을 생성했다면 그만큼 AI가 일을 한 것이므로 사용량에 따라 비용을 지불합니다.
사용자가 많아질수록 생성되는 토큰도 기하급수적으로 증가하기 때문에 최근 기업들은 ‘토큰 비용’을 중요한 경영 지표로 관리하기 시작했습니다. (Investors.com)
✅ 엔비디아가 토큰을 강조하는 이유
예전 데이터센터는 단순히 서버를 운영하는 공간이었습니다. 하지만 AI 시대에는 역할이 달라졌습니다.
엔비디아는 데이터센터를 AI Factory(인공지능 공장)라고 부릅니다.
자동차 공장은 자동차를 생산하고,
반도체 공장은 반도체를 생산하듯,
AI Factory는 토큰을 생산하는 공장이라는 것입니다.
✅ AI Factory는 어떻게 돈을 벌까?
AI Factory의 구조는 생각보다 간단합니다.
전기 공급
↓
GPU가 AI를 실행
↓
AI가 토큰 생성
↓
토큰을 이용해 ChatGPT, 번역, 검색, AI 비서, AI 에이전트 등의 서비스를 제공
↓
기업이 사용량에 따라 비용을 지불
즉, 전기 → GPU → 토큰 → 매출
이라는 새로운 경제 구조가 만들어지는 것입니다.
과거에는 “GPU를 몇 시간 사용했는가?”가 중요했다면 이제는
“얼마나 많은 토큰을 얼마나 빠르고 저렴하게 생산했는가?”
가 경쟁력이 되고 있습니다.
✅ 앞으로 AI 경쟁의 핵심은 ‘토큰 생산성’
엔비디아는 AI 성능보다 더 중요한 것이 토큰 생산성(Token Throughput)이라고 설명합니다.
대표적으로 다음과 같은 지표를 사용합니다.
- 초당 몇 개의 토큰을 생성하는가(Tokens per Second)
- 전력 1W당 몇 개의 토큰을 생성하는가(Tokens per Watt)
- 토큰 하나를 만드는 비용은 얼마인가(Cost per Token)
결국 더 많은 토큰을 더 빠르고 더 적은 전력으로 생산할 수 있는 AI 인프라가 경쟁력을 갖게 됩니다.
✅ 토큰 생성하는 것이 어떻게 돈이 되지?
사실 토큰 자체는 돈이 아닙니다. 돈이 되는 것은 토큰을 사용하는 AI 서비스입니다.
예를 들어 당신이 ChatGPT에게 질문합니다.
“AI 팩토리가 뭐야?”
그러면 AI는 약 500개의 토큰을 생성해서 답변합니다.
그런데 이 답변을 공짜로 만든 것이 아닙니다.
뒤에서는
- GPU가 계산하고
- 전기를 쓰고
- 데이터센터가 돌아갑니다.
그래서 OpenAI는 API를 사용하는 기업에게 토큰 수만큼 요금을 받습니다.
- 100만 토큰 사용 → 일정 금액 청구
- 1억 토큰 사용 → 더 많은 금액 청구
즉 토큰은 사용량을 측정하는 단위입니다.
전기처럼 생각하면 쉽습니다.
전기는 돈이 아닙니다. 하지만,
- 100kWh 사용하면
- 전기요금이 나오죠.
토큰도 똑같습니다.
- 토큰 100만 개 사용
- AI 사용료 청구
즉 토큰은 AI 서비스의 사용량 단위입니다.
✅ 그럼 엔비디아는 왜 토큰을 강조할까?
엔비디아는 GPU를 파는 회사입니다.
GPU가 빠르면
- 더 많은 토큰을
- 더 짧은 시간에
- 더 적은 전기로
생성할 수 있습니다.
예를 들어,
A GPU가 초당 500토큰을 만든다면,
B GPU는 초당 5,000토큰을 만들 수도 있습니다.
같은 시간에 10배 많은 일을 처리하는 것이죠.
AI 서비스를 운영하는 회사 입장에서는
- 사용자 응답이 빨라지고
- 더 많은 사용자를 동시에 처리할 수 있으며
- 토큰 하나를 만드는 비용도 낮아집니다.
그래서 성능이 좋은 GPU에 투자할 이유가 생깁니다.
✅ AI팩토리는 결국 데이터센터인가?
네. 결론부터 말하면 AI 팩토리는 결국 AI 전용 데이터센터입니다. 다만 엔비디아는 기존 데이터센터와 구분하기 위해 새로운 이름을 붙인 것입니다.
기존 데이터센터는 이런 역할을 했습니다.
- 홈페이지 운영
- 이메일 서비스
- 동영상 저장
- 클라우드 서비스
- 데이터 보관
즉, 데이터를 저장하고 서비스하는 공간이었습니다.
반면 AI 팩토리는 목적이 다릅니다.
- ChatGPT 같은 AI 모델 학습
- AI 추론(Inference)
- 이미지 생성
- 영상 생성
- 음성 생성
- AI 에이전트 실행
즉, AI 서비스를 끊임없이 만들어내는 공간입니다.
왜 ‘팩토리(공장)’라고 부를까?
젠슨 황의 관점은 이렇습니다.
예전에는 데이터센터를 비용으로 봤습니다.
“서버를 운영하려면 돈이 많이 드네.”
하지만 AI 시대에는
“이 데이터센터가 돈을 벌어다 준다.”
가 된 것입니다.
예를 들어 ChatGPT를 운영하는 회사는 사용자가 질문할 때마다 AI가 답변을 생성합니다.
그 답변을 만드는 데 GPU가 일하고, 사용량에 따라 수익이 발생합니다.
즉,
전기 → GPU 연산 → AI 답변(토큰) → 매출
이라는 구조가 되므로 엔비디아는 이를 공장에 비유합니다.
자동차 공장과 비교하면
자동차 공장은
- 원료: 철
- 기계: 생산 설비
- 제품: 자동차
AI 팩토리는
- 원료: 전기와 데이터
- 기계: GPU(예: Blackwell)
- 제품: AI 결과물(토큰, 답변, 이미지, 영상 등)
그래서 토큰은 AI 공장의 생산량을 측정하는 단위인 셈입니다.
✅ 기존 데이터센터와 AI 팩토리의 차이
| 기존 데이터센터 | AI 팩토리 |
|---|---|
| 데이터 저장 및 서비스 | AI 연산 및 AI 서비스 생성 |
| CPU 중심 | GPU 중심 |
| 웹사이트, 이메일, 클라우드 | ChatGPT, 이미지 생성, AI 에이전트 |
| 운영 비용 중심 | 수익 창출 중심 |
✅ 쉽게 한 줄로 정리하면
모든 AI 팩토리는 데이터센터이지만, 모든 데이터센터가 AI 팩토리는 아닙니다.
AI 연산을 중심으로 설계되어 대규모 GPU를 통해 AI 서비스를 생산하는 데이터센터를 엔비디아는 AI 팩토리라고 부르는 것입니다. 그래서 최근에는 OpenAI, xAI, Meta, Microsoft 같은 기업들이 수십만 개의 GPU를 갖춘 AI 팩토리 구축 경쟁을 벌이고 있습니다.
✅ 결국 엔비디아의 전략은?
정리하면 엔비디아는 시장의 관점을 이렇게 바꾸려는 것입니다.
- 과거: GPU는 비싼 컴퓨터 부품이다.
- 현재: GPU는 AI 서비스를 생산하는 핵심 생산설비다.
- 미래: GPU는 매출을 만들어내는 자산이다.
이렇게 인식이 바뀌면 기업들은 GPU를 단순한 비용이 아니라 투자 자산(CapEx)으로 보게 됩니다.
그래서 젠슨 황이 AI 팩토리와 토큰을 강조하는 것은 단순한 마케팅이라기보다, GPU를 ‘매출을 창출하는 설비’로 인식시키는 전략이라고 보는 것이 가장 정확합니다.
실제로 이 전략은 효과를 내고 있습니다. 과거에는 기업들이 GPU 구매를 “IT 예산”으로 검토했다면, 지금은 “AI 사업에 투자해서 얼마나 많은 수익을 낼 수 있는가”라는 관점에서 검토하는 사례가 크게 늘었습니다. 이는 엔비디아가 AI 산업의 가치 측정 기준을 성능 중심에서 경제성 중심으로 옮기려는 전략과 맞닿아 있습니다.
✅ 같이 보면 좋은 글