22일에 Fable이 정말로 없어지는 건가요?

맞아, 머리 어지러울 정도로 심한 hallucination 때문에 돈 내기엔 너무 아까워.

Fable을 돌리는 게 Opus보다 비싸다고 가정하는 거 같은데, 난 그렇게 생각 안 함. 아마 Opus급 모델일걸. 그냥 성능이 좋아졌고 그만큼 받을 수 있으니까 비싸게 받는 거겠지. 운영 비용은 그대로일 거야. 그러니까 비즈니스 모델이 망가진 건 아님. 양자화, 어텐션, 학습 같은 기술적 진보는 고려 안 하고 운영 비용이 얼마일지 멋대로 추측하면서 다들 그런 소리 하는 거지.

그럼 걔네는 분기마다 700억 달러를 휴지 조각으로 태우고 있다는 거야?

말 안 해도 알겠네, 너도 언어 모델이 지금 수준까지 발전할 거라곤 꿈에도 생각 안 했던 사람 중 하나지? 결국 노동자를 대체한다는 최종 목표를 달성할 수 있다면 지금 돈을 얼마나 태우든 상관없어. 난 걔네가 해낼 거라고 봐. 인간은 과대평가됐고, 오만하며, 대체 가능한 존재니까.

난 개발 속도에 대해서는 한 번도 걱정해 본 적 없어. 여기 있는 대부분의 사람들처럼 나도 헤비 유저니까.

그냥 비용 계산이 안 맞는다는 거지. 이 비용 구조로도 수익이 안 난다면, 수익이 나는 지점까지 가기가 정말 힘들 거야. 왜냐면 이미 많은 경우에 비용이 인건비를 넘어서고 있거든.

내가 만약 Max 플랜을 안 썼다면 토큰 비용만 거의 월 1만 달러는 나왔을 거야. 난 회의 중간중간에만 사용하고, 80% 정도 결정론적으로 돌리는데도 말이지...

좋아. 토큰 비용이 한 달에 1만 달러라고 치자. 근데 같은 기간 동안 엔지니어 한 명 연봉이랑 비교했을 때 에이전트가 얼마나 많은 일을 해내는지 생각해 봐.

내 생각엔 사람들이 거기에 의존하게 만드는 게 목적인 것 같아. 에이전트를 쓰는 사람은 무조건 이득을 볼 테니까. 그러니까 다들 써야지. 인간은 너무 느려.

Fable 써본 적 있어? 에이전트가 나보다 실수를 덜 하는 첫 모델이야. 지난 세션에서 무의식적으로 에이전트 수정했다가 나중에 내가 틀렸다는 걸 깨달은 적이 몇 번이나 돼...

Opus랑 5.5 xhigh는 거의 누구보다 실수를 안 해. 특히 디자인이나 인라인 테스트 관련해서 적당히 괜찮은 지시만 내려주면 말이지.

Fable 나오자마자 써봤는데, 다른 모델들이 예전부터 막혀있던 어려운 문제들을 해결해주더라.

에이전트가 처리량(throughput)을 엄청나게 뽑아내는 건 맞는데, 그게 꼭 ROI로 이어지는 건 아니야. 성과가 안 나올 걸 탐색하느라 토큰을 엄청 태울 수도 있고, 아니면 별로 중요하지 않은 걸 가속화하려고 토큰을 쏟아부을 수도 있으니까...

좋은 아이디어를 떠올리는 게 항상 병목 구간일 거야. 하지만 이것도 자동화가 안 된다고는 생각 안 해. 모델들이 아직 거기에 맞춰 튜닝이 안 됐을 뿐이지. 소프트웨어 벤치마크에 최적화되어 있지, 어떤 아이디어가 성공할지에는 최적화가 안 되어 있거든.