Astra한테 무슨 일이 생긴 거지?

내 생각엔 처음에 전체 모델(bf16)을 공개했던 것 같아. 다들 결과물 품질에 열광했는데, OpenAI 입장에선 계산 비용이 너무 많이 들었겠지. 그러고 나서 천천히 양자화된 Astra 모델을 서비스하기 시작했는데, 이게 진짜 최악임.

맞아, 시간이 갈수록 성능을 떨어뜨렸지. 적어도 Astra 가격은 그대로 두면서 우리 사용 제한을 반토막 내지는 말았어야지... 아, 잠깐만.

케이크는 거짓말이었어

내 경험상, SOTA 모델들도 아직 스스로 검토하는 건 잘 못해. 시키는 대로 버그를 찾아내긴 하지만, 그 버그가 실제로 부정적인 영향을 미칠지 판단하는 건 못하거든. 꼼꼼한 관리와 좋은 프롬프트로 이런 엣지 케이스 추적을 완화할 순 있지만, 아직은 '이 코드 디버깅해서 버그 다 고쳐'라고만 하면 끝도 없이 버그를 찾아낼 거야. 3번 정도 검토하게 하고 끊어버려. 모델들이 더 똑똑해지겠지만, 지금은 모델을 조종하는 건 여전히 사용자의 몫이야.

Astra는 여전히 좋은데, 무슨 소리를 하는 건지 모르겠네. 내가 가진 유일한 불만은 한도를 너무 빨리 잡아먹는다는 것뿐이지, 여전히 현존하는 가장 유능한 모델 중 하나야.