“토큰”은 반드시 사라져야 하는가?

모두가 토큰으로 AI의 가치를 측정하고 있을 때, 거의 동시에 발표된 두 편의 논문이 더 근본적인 질문을 제기했습니다. 언어 생성의 핵심 계산은 반드시 토큰 공간에서 이루어져야 하는가?

저자: 샤오징, 텐센트 테크

“내 언어의 한계는 곧 내 세계의 한계를 의미한다.” ( Die Grenzen meiner Sprache bedeuten die Grenzen meiner Welt. )

철학자 비트겐슈타인이 1921년 이 말을 적었을 때, 그가 논한 것은 인간 인지의 경계였다. 100년 후, 이 말은 대규모 언어 모델이 직면한 구조적 딜레마를 정확히 묘사한다. 만약 AI의 “언어”가 이산 토큰 시퀀스라면, 그 “세계”는 영원히 토큰이 표현할 수 있는 범위 안에 갇히게 된다.

이는 또한 오래된 논쟁을 다시 불러일으킨다: 대규모 언어 모델 패러다임이 AGI(범용 인공지능)에 도달할 수 있을까?

2024년 12월, OpenAI의 전 수석 과학자 일리아 수츠케버(Ilya Sutskever)는 NeurIPS에서 기조 연설을 통해 “사전 훈련은 곧 끝날 것”이라고 말했다. 2026년 3월, 튜링상 수상자 얀 르쿤(Yann LeCun)은 메타(Meta)를 떠나 AMI Labs를 설립하며 “대규모 언어 모델의 방향은 잘못되었다”고 단언했다.

두 명의 딥러닝 거장 중 한 명은 자신이 직접 열었던 사전 훈련 시대를 뒤엎기로 선택했고, 다른 한 명은 수년간 고수해 온 세계 모델 노선을 계속 실천하며 “LLM의 다음 시대”에 베팅하기로 했다.

물론 현재의 모델이 쓸모없거나 상업적 가치가 없다는 뜻은 절대 아니다. 대형 모델의 사용자 수와 보급률은 지속적으로 증가하고 있으며, 산업적 가치는 점점 더 커질 것이다. 하지만 기술적 경로 측면에서 볼 때, 그들이 말하고자 하는 것은 이 길에 구조적인 한계가 존재하며, 이 한계가 바로 AGI(범용 인공지능)로 가는 길목에 가로막혀 있다는 점이다.

2026년 5월, MIT의 허카이밍(何恺明) 팀과 바이트댄스(ByteDance)의 Seed 연구소는 거의 동시에 논문을 발표하며 더 명확한 신호를 보냈습니다. 언어 생성의 핵심 모델링 과정이 반드시 이산 토큰 공간에서 이루어질 필요는 없으며, 연속 임베딩 또는 잠재 공간으로 옮겨 수행한 후 다시 텍스트로 매핑할 수도 있다는 것입니다.

이는 공학 실험에서 나온 최초의 확실한 증거로, 토큰별 예측은 AGI로 가는 길에서 하나의 국부적 최적 해일 수 있다. 하지만 연속 공간 패러다임은 또 다른 길을 열어주었으며, 이 길의 한계는 아마도 더 높을 것이다.

그림: 미국 국립인공지능학술원 회원, 매사추세츠 공과대학(MIT) 전기공학 및 컴퓨터과학부 부교수 허카이밍

한계는 어디에 있는가?

비트겐슈타인의 말은 이렇게 이해할 수 있다.

인간의 이산 언어는 사고의 원시적 형식이 아니다. 뇌 내부의 인지 활동은 연속적이고, 병렬적이며, 고차원적이다. 예를 들어 인간이 사과를 떠올릴 때 활성화되는 것은 ‘사과’라는 두 글자의 토큰이 아니라, 색상, 질감, 무게, 깨무는 소리 등을 포함한 감각 피질의 광범위한 연속적 활동 패턴이다. 인간이 이 연속적인 경험을 ‘사과’라는 이산적 기호로 압축하는 이유는 오로지 인간 뇌의 처리 용량이 이를 시퀀스화하도록 강요하기 때문이다.

인간 언어는 진화적으로 설계된 손실 압축 프로토콜이며, 뇌 간 전송을 위한 공학적 타협이다.

현재 우리가 사용하는 주류 상용 대형 모델 제품의 기반은 모두 자기회귀 아키텍처(다음 토큰 예측)이다.

자기회귀 대형 모델이 하는 일은, 이 압축 프로토콜의 출력 형식 위에 모델링을 구축하는 것이다. 그것은 “세상이 어떻게 작동하는지”를 이해할 수 없으며, “인간이 세상을 묘사하기 위해 어떤 기호 시퀀스를 선택했는지”를 이해할 뿐이다. 이들은 인간의 언어 행동을 모방하는 데 매우 뛰어나지만, 언어 행동을 모방하는 것과 세상을 이해하는 것 사이에는 인식론적 간극이 존재한다.

예를 들어 신체 감각, 즉 통증이 어떤 것인지; 공간 직관, 공을 어떻게 잡아야 하는지는 알지만 어떻게 잡는지 설명할 수는 없는 것; 인과적 개입에 대한 신체화된 피드백, 예를 들어 “이 의자를 밀면 어떻게 될까” 하는 직관 등이 있습니다. 인간 뇌 속에 숨겨진 이러한 “감각”들은 그 어떤 인간 언어에도 코딩된 적이 없다. 따라서 이들은 훈련 데이터에 포함된 적이 없으며, 토큰 시퀀스에 대한 어떤 모델링도, 아무리 매개변수가 크고 데이터가 많아도 이러한 차원에는 닿을 수 없다.

이것이 바로 토큰 패러다임의 한계이다.

“탈출” 실험

토큰 공간에서 탈출하는 첫 번째 실험들이 진행되고 있다.

허카이밍(何恺明) 팀의 ELF(Embedded Language Flows, 임베디드 언어 흐름)는 직관과 반대되는 일을 했습니다. 텍스트 생성의 전 과정을 연속 벡터 공간에서 완료하고, 마지막 단계, 정말로 마지막 단계에서만 연속 벡터를 인간이 읽을 수 있는 텍스트로 투영합니다. 이 모델은 Flow Matching (2022년 Yaron Lipman 등이 제안한 연속 정규화 흐름 프레임워크)를 사용하여 노이즈에서 출발해 학습된 속도장을 따라 목표 임베딩으로 부드럽게 진화합니다. 32단계의 샘플링만으로, 이산 모델이 1024단계에서 얻는 결과보다 우수한 품질을 생성합니다. 훈련 데이터는 약 450억 토큰으로, 주류 방법의 10분의 1에 불과합니다.

그림: ELF는 단 32단계의 샘플링만으로 MDLM, Duo 등 이산 모델의 1024단계 생성 품질을 능가하며, 증류 가속을 사용하지 않았습니다. 모델 파라미터는 1억 500만 개이며, 훈련 데이터는 동종 방법의 약 10분의 1 수준이다.

4일 후 발표된 Cola DLM(바이트댄스 Seed 팀): 먼저 Text VAE를 사용하여 언어를 더 깊은 의미적 잠재 공간으로 압축한 뒤, 이 순수 의미 공간에서 Flow Matching을 통해 전역 선험을 모델링하고, 마지막에 텍스트로 디코딩한다. 논문은 명확히 밝히고 있다: 확산 과정은 “토큰 수준의 관측 복원이 아니라” “잠재 선험의 전달”을 수행한다. 20억 파라미터, 8개 벤치마크를 통해 동급 규모의 자기회귀 모델 및 이미 1,000억 파라미터로 확장된 LLaDA 2.0과 엄격히 비교했을 때, 연속적인 확장 곡선은 건전한 것으로 나타났다.

그림: Cola DLM 전체 아키텍처 다이어그램

두 논문의 핵심은 모두 토큰이 언어 모델링의 필수 조건이 아니라는 점을 표현하고 있다. 연속 공간에서 더 잘, 더 빠르고, 더 효율적으로 수행할 수 있다.

그림: 자기 회귀 모델의 토큰별 생성. 각 단계에서 비가역적으로 하나의 이산 기호를 선택하며, 선택된 토큰은 이후의 모든 가능성을 잠근다.

그림: 연속 흐름 모델은 노이즈에서 출발하여 속도장을 따라 목표 임베딩으로 부드럽게 진화하며, 전 과정이 가역적이고 조절 가능하며, 종점에서만 텍스트로 매핑됩니다. ELF 논문.

AI 거대 기업들도 '토큰화(Tokenization)'를 의심하고 있을까?

이 두 편의 논문은 단지 학술적 신호일 뿐이며, 기술 거대 기업들도 실제 자금을 투자하고 있다.

구글은 가장 먼저, 그리고 가장 확고하게 “네이티브 다모달 통합”을 향해 나아가는 거대 기업이다. Gemini 기술 보고서에는 다음과 같이 명확히 기술되어 있다: 이는 “from the ground up” 방식으로 훈련된 다모달 모델이며, “not by bolting a frozen vision encoder onto a text decoder”(동결된 시각 인코더를 텍스트 디코더에 단순히 결합한 것이 아님)이다.

텍스트, 이미지, 오디오, 비디오가 동일한 모델 내에서 교차 훈련되며, 어텐션 레이어를 공유한다. 이 설계 철학은 2023년 12월의 Gemini 1.0에서 2026년의 3.1 Pro까지 이어졌다. 2026년 3월에 출시된 Gemini Embedding 2는 이를 표현 수준으로 끌어올렸습니다: 하나의 임베딩 모델이 텍스트, 이미지, 문서, 오디오, 비디오 입력을 원시적으로 받아들이며, 이를 모두 동일한 3072차원 벡터 공간으로 매핑합니다.

Google이 하고 있는 일은 본질적으로 모든 모달리티를 위한 통일된 연속 좌표계를 구축하는 것이며, 이 좌표계 안에서는 모달리티 간의 경계가 존재하지 않습니다.

OpenAI는 더 우여곡절이 많은 길을 걸어왔습니다. GPT-4V 시대의 아키텍처는 접합식이었으며, 하나의 시각 인코더가 언어 모델에 외장되어 있었고, 모달 간 정보는 추가적인 투영 레이어를 거쳐 전달되어야 했습니다. GPT-5 시리즈는 다모달 추론 능력을 공개적으로 강화했으나, OpenAI는 충분히 상세한 아키텍처 정보를 공개하지 않았다. 확실한 것은 OpenAI가 텍스트, 시각, 비디오 등의 능력을 핵심 모델 경험에 더 깊이 통합하고 있다는 점이며, 확실하지 않은 것은 Transformer 수준에서 아키텍처 전환을 이미 완료했는지 여부이다.

외국 언론 보도에 따르면 Sora 운영 기간 동안 "직원들에게 핵심 연산 능력을 잡아먹는 골칫거리"로 여겨졌다. OpenAI는 비디오 애플리케이션을 중단하고, 연산 능력을 GPT-5.5의 에이전트 아키텍처와 Codex 코드 도구에 집중하기로 선택했다. 이를 통해 다음과 같이 추측할 수 있습니다: OpenAI는 다모달 통합의 방향성을 인정하지만, 비디오 생성이라는 구체적인 영역에서는 일시적으로 물러나, 더 효율적인 아키텍처 솔루션이 성숙된 후 재진입할 계획입니다.

바이트댄스(ByteDance)의 Seed 팀은 Cola DLM 논문 마지막 문장에서 “이산 텍스트와 연속 모달리티의 통합 모델링을 위한 구체적인 경로를 제시했다”고 밝혔습니다. Seed 팀은 동영상 생성 모델인 Seedance 시리즈가 이미 유사한 연속 잠재 공간 아키텍처를 사용하고 있다고 밝혔으며, 그 독특한 장점은 틱톡(TikTok) 수준의 방대한 동영상 데이터와 최첨단 모델 연구 역량을 동시에 보유하고 있다는 점입니다. 만약 연속 통합 공간이 정말로 차세대 아키텍처의 해답이라면, 바이트댄스는 이를 산업 규모로 가장 먼저 검증할 수 있는 가장 유리한 조건을 갖춘 기업입니다.

Anthropic의 선택은 모든 거대 기업 중 가장 독특하며, 의도적으로 다모달 생성을 회피하고 있다. 2026년 5월 기준, Claude는 원생 이미지 생성 능력, 동영상 이해, 오디오 처리 기능을 갖추지 않았다. 2026년 4월 출시된 Claude Design은 픽셀 단위의 이미지가 아닌 구조화된 디자인 산출물, 즉 프로토타입, 와이어프레임, 슬라이드를 생성한다.

Anthropic은 거의 모든 자원을 텍스트 추론과 코드 실행에 집중하고 있다. 이 전략은 상업적으로 입증되고 있다: Claude Code의 연간 매출은 25억 달러이며, 2026년 5월 Anthropic의 암묵적 기업 가치는 1조 2천억 달러까지 치솟았다(36Kr 보도). 이는 주로 기업 고객들이 추론 및 코드 기능에 비용을 지불한 덕분이다. 하지만 패러다임 진화의 관점에서 보면, 이는 기술 부채를 쌓아가는 선택이다. 만약 2~3년 후 경쟁의 핵심이 “누가 통합된 연속 공간에서 모든 모달리티를 동시에 이해하고 생성할 수 있는가”로 전환된다면, Anthropic은 매우 수세에 몰리게 될 것이다.

거대 기업들 외에 가장 주목할 만한 두 가지 독립적인 시도는 일리아 수츠케버(Ilya Sutskever)와 얀 르쿤(Yann LeCun)에게서 나왔다. 수츠케버가 설립한 SSI(Safe Superintelligence)는 2025년 5월 20억 달러의 자금 조달을 완료하며 320억 달러의 기업 가치를 평가받았다. 제품도, 논문도, 공개된 기술적 세부 사항도 없었다. 투자자들이 산 것은 순전히 그가 내다본 ‘다음 패러다임’에 대한 판단력뿐이었다. 그가 NeurIPS 2024에서 언급한 “사전 학습의 종말”은 데이터를 쌓아 다음 토큰을 예측하는 방식이 한계에 도달했으며, 다음 단계로는 질적 변화가 필요하다는 것을 의미한다.

LeCun은 2026년 3월 10년 넘게 근무한 Meta를 떠나 AMI Labs를 설립했으며, 10억 3천만 달러의 자금을 조달해 기업 가치를 35억 달러로 평가받았다. 그의 JEPA 접근 방식은 ELF/Cola DLM의 철학과 통하는 바가 있어, 둘 다 토큰 공간을 벗어나 연속 표현 공간에서 모델링하지만 방향은 다르다. JEPA는 사실적인 출력을 생성하는 것을 추구하지 않고, 추상 공간에서 사물의 진화에 따른 물리적 결과를 예측하는 것을 강조한다.

LeCun은 5월 인터뷰에서 다음과 같이 말했다: “자기회귀 메커니즘이 토큰을 하나씩 예측하는 것은 본질적으로 문자 수준에서 통계를 재현하는 것이지, 세계의 인과 법칙을 모델링하는 것이 아닙니다. 매개변수 수를 늘리는 것만으로는 이 구조적 결함을 해결할 수 없습니다.” 그는 생성은 단지 시뮬레이션일 뿐이며, 예측이야말로 이해라고 믿습니다.

만약 토큰 패러다임이 쇠퇴한다면, 누구에게 미래가 없을까요?

비디오 토큰화(tokenizer)를 개발하는 기업들이 가장 먼저 타격을 받을 것이다. VQ-VAE, MAGVIT, OmniTokenizer 등 이러한 연구의 핵심 가치는 “고품질 비디오 이산 코딩”이다. 엔비디아의 Cosmos Tokenizer, 마이크로소프트의 VidTok 등 대형 기업들도 경쟁에 뛰어들었다. 언어 생성이 핵심 연산을 연속 공간으로 옮기기 시작한다면, 비디오와 같이 본질적으로 연속적인 데이터는 더더욱 이산 토큰 시퀀스로 압축될 이유가 없다.

진정한 문제는 다음과 같이 변할 것이다: 어떤 시각적 표현이 효율적인 압축을 가능하게 하면서도 충분한 물리적, 시계열적, 의미적 구조를 유지할 수 있는가.

다음은 '다모달'이라는 제품 서사 그 자체다. 모든 모달리티가 하나의 연속 공간을 공유할 때, '다모달 능력'은 기본 사양이 되어 더 이상 차별화된 판매 포인트가 되지 않는다. 마치 오늘날 아무도 “중국어와 영어 지원”을 AI 제품의 핵심 경쟁력으로 여기지 않는 것과 같습니다. 모달 브릿징과 정렬을 담당하는 중간 계층 제품도 같은 문제에 직면해 있습니다. 만약 기초 모델이 기본적으로 통합된 공간에서 작동한다면, 텍스트와 시각 정보 사이에 메워야 할 “격차”가 존재하지 않으므로, 그 격차를 메우는 사업은 존재할 이유가 없습니다.

한 걸음 더 나아가 보면, 오늘날 업계 전체가 토큰 단위로 요금을 부과하는 이유는 자기회귀 모델의 비용 구조가 매우 투명하여, 입력 및 출력 토큰 수만으로도 연산량 소모를 직접 계산할 수 있기 때문이다.

하지만 핵심 연산이 연속 공간으로 이동한다면, 확산 모델은 고정된 단계 수로 임의의 길이의 텍스트를 생성할 수 있으며, 출력 길이와 계산량은 분리됩니다. “토큰을 얼마나 소비했는가”는 더 이상 비용을 측정하는 진정한 척도가 아닙니다.

다만,AI의발전이너무빠르다,AI의상업적가치를측정하는진정한가격 책정체계는 아직정립되지않았다. AI의 상업적가치를정확히평가하는체계는아직정립되지않았기때문에, 다음패러다임이곧도래할수있습니다. 그리고구체적으로얼마나 빨리일지는아무도예측할수없습니다.

대규모 언어 모델은 AGI에 도달할 수 있을까?

처음으로 돌아가서, 대규모 언어 모델 패러다임은 AGI에 도달할 수 있을까?

토큰 패러다임 자체의 구조를 보면, 불가능하다. 그 훈련 신호에는 정보론적 상한선이 존재하기 때문이다. 인간 언어는 손실 압축 프로토콜로서, 인코딩 과정에서 이미 세계의 수많은 구조를 되돌릴 수 없게 버린다. 압축된 결과물에 대해 어떤 모델링을 하더라도, 버려진 차원을 복원할 수는 없다.

하지만 “토큰화(tokenization)를 없애는 것”이 AGI에 도달하는 것과 같지는 않다. ELF와 Cola DLM은 연속 공간이 더 효율적이고 우아함을 증명했지만, 이들의 훈련 데이터는 여전히 인간이 생성한 콘텐츠, 즉 손실 압축된 세상에서 비롯된다. LeCun은 이 점을 간파했기 때문에 “물리적 결과를 예측할 수 있는 세계 모델”에 베팅했다. Sutskever도 아마 이를 눈치챘을 것이다.

하지만 이는 어쩌면 첫걸음에 불과할지도 모른다. 모델이 더 이상 인간 언어의 압축 형식에 갇히지 않게 된다면, 모델에 필요한 새로운 훈련 신호는 어디서 오는가?

답은 아마도 더 많은 데이터에 있는 것이 아니라, 일종의 능동적인 탐색에 있을 것이다. 즉, 세상 속에서 행동하고, 결과를 감수하며, 피드백을 통해 학습하는 것이다. 또한 . 이는 우리가 뒤따르는 글에서 계속해서 논의할 주제이기도 하다.