Claude Fable 5.1이 만들어준 꽤 근사한 애니메이션 펠리컨

그렇다면 펠리컨 그리기 실력은 어떨까?

지난 7월, 펠리컨 벤치마크에 대한 신뢰를 점차 잃어가고 있다는 글을 쓴 적이 있다. 다른 작업에서의 모델 성능과의 연관성이 2025년 당시만큼 뚜렷하게 유지되지 않는 것 같았기 때문이다. 이 벤치마크에서 지금 내가 얻는 가장 흥미로운 인사이트는 동일한 모델 패밀리 내 비교, 특히 같은 프롬프트를 서로 다른 추론 수준에서 실행했을 때의 비교다.

Fable 5.1은 low, medium, high, xhigh, max 다섯 가지 추론 수준을 제공하며, 추론을 완전히 끄는 옵션은 없다.

추론 트레이스가 제대로 기록되지 않는 문제를 llm-anthropic에서 수정한 뒤, 몇 가지 프롬프트를 실행해봤다.

각 추론 수준별 펠리컨 전체 세트와 추론 트레이스 전문은 여기서 확인할 수 있다. 아래에도 정리해두었다:

Low와 medium, 둘 다 추론 없이?

다음은 조금 의아한 결과다. low로 실행했을 때다:

트랜스크립트에는 요약된 추론 토큰이 없으며, 출력 토큰 수는 1,998개다. Claude의 경우 이 출력 토큰 수에 추론 토큰이 포함된다. 소요 시간은 23.8초, 비용은 10.017센트였다.

이를 medium로 올려보니 이런 결과가 나왔다:

이상하게도 이쪽도 추론 텍스트가 없었고, 출력 토큰은 1,977개로 low보다 21토큰 적었다. 소요 시간은 23초, 비용은 9.912센트였다.

즉, '자전거를 타는 펠리컨의 SVG를 생성하라'는 이 프롬프트에서 Fable 5.1은 low와 medium 설정 모두에서 추론을 완전히 건너뛰는 것으로 보였다.

High

high 결과다 — 29.6초, 출력 토큰 2,612개, 13.087센트:

이번엔 추론을 조금 수행했으며, 요약 내용은 다음과 같다:

하늘과 땅 배경, 스포크가 있는 바퀴 두 개, 프레임, 안장, 핸들바를 갖춘 자전거, 그리고 흰 몸통에 긴 목과 주황색 부리를 가진 펠리컨이 그 위에 앉은 SVG 레이아웃을 구상 중입니다.

그래도 low, medium과 크게 다르지 않다.

Extra High

xhigh에서는 결과가 완전히 달라졌다. 출력 토큰 36,767개, 소요 시간 7분 51초, 비용 $1.83!

추론 트레이스는 꽤 길었으며, 다음과 같은 내용도 담겨 있었다:

눈을 추가하고, 날개를 핸들 그립 쪽으로 뻗어 내리고, 주황색 다리가 페달에 닿도록 배치했습니다. 코믹한 효과를 위해 자전거보다 의도적으로 크게 그려진 펠리컨에 작은 꼬리 깃털도 넣었습니다. [...]

약간 두께감이 있지만, 과하게 손대기보다는 그냥 매력으로 받아들이기로 했습니다.

Max

추론 수준을 max으로 설정하자 Anthropic 모델 중 지금까지 본 것 중 가장 훌륭한 펠리컨이 나왔다. 출력 토큰 65,927개, 소요 시간 13분 54초, 비용 $3.30:

볼 만한 요소가 많다. 배경은 단아하고, 다리는 프레임 양쪽에 뚜렷하게 배치됐으며, 발은 페달 위에 얹혀 있고, 날개는 핸들바에 올려져 있다. 펠리컨은 귀여운 파란 모자를 쓰고 있고, 물고기가 담긴 바구니도 눈에 띈다.

Gemini 3.7 Flash만큼의 화려함은 없지만, 화려함을 요청한 게 아니었다. SVG를 요청했고, 그걸 받았다.

해당 추론 트레이스의 주요 내용은 다음과 같다:

두 발 근처에 페달 형태를 추가하고, 뒷발은 프레임 뒤로 살짝 보이도록 배치했습니다. 캐릭터에 개성을 더하기 위해 작은 스카프나 모자를 추가할지 고민했지만, 복잡해질 수 있어 단순하게 유지하는 쪽으로 기울었습니다.

머리에 자전거 헬멧을 씌울지, 아니면 펠리컨 특유의 볏을 살릴지 고민 중입니다. 부리와 목 주머니만으로도 '펠리컨'임이 충분히 전달되므로 헬멧은 정체성을 해치지 않고 자전거 테마를 강화할 수 있지만, 볏과 시각적 공간을 두고 경쟁할 수 있다는 점이 걸립니다.

(484, 84)에 위치한 부리가 반구형 헬멧과 겹친다는 걸 깨달았습니다. 헬멧 크기를 줄여 머리 꼭대기만 덮도록 하고, 호의 끝점을 더 높고 좁게 조정해 부리가 앞쪽에 충돌 없이 깔끔하게 붙을 수 있도록 해야 합니다. [...]

날개 끝 영역에 어두운 부분을 추가해 첫 번째 깃털을 표현하고, 더 자연스러운 모습을 위해 뒷면 가장자리를 부드러운 선 하나 대신 부채꼴 깃털 곡선으로 바꾸는 방안을 다시 검토했습니다. [...]

헬멧의 통풍구 선 위치를 확인하면서, 선 두께와 둥근 캡을 고려해 헬멧 가장자리에서 충분히 안쪽에 놓여 있는지 점검하고, 각 통풍구가 헬멧의 원형 경계 안에 있는지 확인했습니다. [...]

핸들 벨과 타이어 하이라이트는 불필요한 요소라 생략하기로 했습니다. 이제 앞 포크의 곡선을 다시 살펴보니, 현재 컨트롤 포인트가 적절한 레이크를 위해 앞으로 휘어야 할 모양을 오히려 뒤로 당기고 있었습니다. 포크의 기울기를 바로잡기 위해 컨트롤 포인트를 오른쪽으로 이동시켜야 합니다.

좋아, 이번엔 애니메이션으로

Hacker News에서 swalsh가 댓글을 남겼다:

이제 벤치마크를 통과했으니, 애니메이션 버전도 만들어줄 수 있나요?

3달러를 또 쓰기는 아까워서 Max 펠리컨 결과물을 가져와 기본 추론 수준인 High로 애니메이션 작업을 진행했다:

llm logs -cx | llm -m claude-fable-5.1 -s 'animate this'

입력 6,121토큰, 출력 26,201토큰 = $1.37. 결과는 이런 모습이었다. 애니메이션 SVG 재생에 어려움을 겪는 분들을 위해 MP4 영상으로도 올려둔다:

브라우저가 HTML5 비디오를 지원하지 않습니다.

영상에서 바퀴가 반대 방향으로 돌아가는데, MP4로 변환하는 과정에서 생긴 오류인 것 같다. 원본 SVG에서는 올바른 방향으로 돌아가는 것으로 보인다.

이 블로그의 긴 글만 보고 계신 분이라면 /atom/everything/을 구독해 모든 포스트를 받아보세요. 다른 구독 옵션도 확인해볼 수 있습니다.