Meta, 토큰 대신 원시 바이트를 읽는 소형 AI 모델을 학습시키다. 초기 성능은 낮지만, 논문은 결국 더 나은 성능을 낼 것으로 예측함

https://arxiv.org/pdf/2609.12303

이 논문은 토큰을 읽는 과정을 건너뛰고 모델이 원시 바이트를, 그러니까 사실상 글자 하나씩 읽게 만드는 모델을 제안함.

얘네가 한 짓:

• 작은 모델(~1B 파라미터)을 몇 개 학습시켰는데, 어떤 건 토큰으로, 어떤 건 바이트로 학습함.

• 더 큰 모델(llama 3 8b)을 베껴서 학습시키는, 소위 말하는 증류(distillation) 방식을 섞음.

• 문제는 선생 모델은 토큰으로 생각하는데 학생 모델은 바이트를 읽는다는 거라, 둘 사이를 깔끔하게 연결할 방법을 찾아내야 했음.

결과:

• 학습 초기에는 토큰 모델이 압승함. 비교도 안 됨.

• 학습을 더 시키니까 토큰 모델은 성능이 정체되는데 바이트 모델은 계속 좋아짐.

• 이 추세선을 그대로 연장하면, 바이트 모델이 llama 3.2 1b나 gemma 3 1b를 몇 포인트 차이로 이겨버림.

• 바이트 모델은 같은 수준에 도달하는 데 필요한 텍스트 양도 6배 정도 적었음.

함정(몇 가지 있음):

• "llama랑 gemma를 이긴다"는 건 예측일 뿐임. 실제로 학습한 범위를 넘어서 곡선을 연장한 거라, 실제 실험에서는 여전히 토큰 모델이 앞서고 있었음.

• 글자 단위로 읽는 건 느림. 토큰 하나가 대략 4~5글자니까, 같은 텍스트를 처리할 때 단계가 5배는 더 많음. 데이터는 덜 먹지만 연산량은 더 들어감.

• 토큰이 완전히 뒤진 건 아님. 선생 모델이 여전히 토큰을 쓰니까.

• 작은 모델에서만 테스트해 봐서, 규모를 키워도 이게 먹힐지는 아무도 모름.

그래도 내 생각엔 꽤 멋진 듯. 폰이나 노트북에 들어가는 작은 모델들한테는 같은 크기에서 성능을 쥐어짜 내는 게 중요하니까. 그리고 거대한 단어장(word list)을 갖다 버리면 단어 철자 제대로 못 세는 멍청한 문제도 해결될지 모르지.

혹시 바이트 모델을 토큰 모델만큼 빠르게 돌리는 연구 아는 사람 있음?