아키텍처 트렌드: 풀 어텐션에서 로컬 어텐션으로

지금 더 큰 규모의 오픈 LLM 정리 작업을 진행 중인데, 그 와중에 눈에 띄는 흥미로운 트렌드 하나가 있어서 먼저 공유함. 그러니까, 풀 어텐션(full attention)에서 하이브리드 어텐션으로 넘어가는 흐름이 계속되고 있다는 거임.

2025년에는 여전히 풀 어텐션 모델이 많았지만, 점차 "일부 풀 어텐션"을 섞은 하이브리드 모델로 넘어가는 추세였음.

2026년 상반기에도 "일부 풀 어텐션" 하이브리드 모델로 가는 흐름은 계속 이어졌고.

그리고 지금, 2026년 하반기에 와서는 "일부 풀 어텐션" 하이브리드 모델과 아예 풀 어텐션을 쓰지 않는 모델이 50대 50으로 나뉘었음. 맞음, 이제 풀 어텐션만 쓰는 모델은 아예 찾아볼 수가 없게 된 거임.

여기 그래프 범례가 의미하는 바는 다음과 같음.

- Full attention throughout = 모든 레이어에서 Global MHA, GQA, dense MLA, CCA 사용.
- Some full attention = 전체 글로벌 어텐션에 슬라이딩 윈도우/청크 어텐션, Gated DeltaNet, KDA, Mamba-2, Lightning Attention, 컨볼루션, 스파스 어텐션 등을 섞어서 사용.
- No full attention = 덴스 글로벌 레이어 아예 없음.

핵심은 긴 컨텍스트를 더 싸게 돌리는 방향으로 트렌드가 가고 있다는 거임. 즉, 긴 문서나 대화, 방대한 코드 베이스, 그리고 당연히 툴 호출을 많이 써야 하는 에이전트 유스케이스에 더 적합한 아키텍처가 되고 있다는 소리임.

특히 여기서 얻을 수 있는 효율성 이득은 크게 두 가지임:

1. 어텐션 연산 감소. 스파스 어텐션 같은 방식은 컨텍스트에서 특정 토큰이나 블록만 골라내서 그 부분에 대해서만 비싼 어텐션 연산을 수행하니까. (물론 먼 위치에 있는 정보도 여전히 가져올 수는 있음.)

2. 일부 아키텍처에서는 컨텍스트 유지에 필요한 메모리가 줄어듦. Gated DeltaNet 같은 순환 레이어는 고정된 크기의 상태(state)만 유지하니까. 당연히 메모리는 아끼겠지만, 기록을 압축하면 정확한 정보를 다시 불러오는 데 문제가 생길 수 있어서 보통은 기존의 어텐션 방식(스파스나 풀)이랑 섞어서 씀.

아키텍처들을 직접 훑어보고 분석해보고 싶다면, 내 아키텍처 갤러리에서 모든 수치와 데이터를 확인할 수 있음: https://sebastianraschka.com/llm-architecture-gallery/