Astra (GPT-6): 높은 지능, 낮은 직관력

모델 관련해서 글 잘 안 쓰는데, 오늘 Astra 써보고 나서 나처럼 사업하면서 Claude랑 Codex 둘 다 빡세게 굴리는 입장에서 느낀 초기 피드백 좀 남겨보려고 함.

지난 몇 달 동안 나는 Codex, 특히 최근에는 Sol 5.6을 엄청나게 의존했음. 얘가 말귀도 잘 알아먹고, 판단도 실용적이고, 내가 뭘 하려는지 딱딱 캐치해서 내 작업 방식이랑 진짜 잘 맞았거든. 내 제품이 복잡한 오케스트레이션이랑 워크플로우 시스템이라서, 단순히 코드 잘 짜는 것만큼이나 기존 아키텍처랑 구현 목표를 이해하는 게 중요함. 이게 층위가 좀 복잡해서 내가 일일이 방향을 잡아줘야 하고, 결정 하나하나가 결과에 엄청난 영향을 미치거든.

그래서 Astra도 기대하면서 써봤지. GPT-4 이후로 새 모델 나올 때마다 기대하면서 지켜봤는데, 확실히 능력치가 올라간 건 보이더라. 몇몇 부분에선 기가 막힌 수를 두기도 하고, 다른 모델들은 시도조차 안 하던 방식으로 문제를 해결하는 것도 봤음. 근데 전체적인 경험은 좀 실망스러웠음.

가장 큰 문제는 얘가 내 의도를 얼마나 정확하게 파악하는지, 해결책의 범위를 어떻게 잡는지, 그리고 행동하기 전에 얼마나 소통을 잘하는지임.

예를 들어, 내가 만든 시스템 이용자들이 사이트 미리보기 할 수 있는 기능을 만들고 있었음. 이미 기존 아키텍처 안에 브라우저 기반 시스템이 다 갖춰져 있어서, Astra한테 미리 관련 문서 좀 읽어두라고 시켰거든. 근데 그 맥락을 다 줬는데도, 기존 시스템으로 왜 안 되는지에 대한 설명도 없이 뜬금없이 새로운 브라우저 인프라나 Cloudflare 연동 같은 걸 제안하더라고.

작업 내용에 비해 너무 과하게 복잡한 제안이었음. 더 짜증 나는 건, 우리가 방향성 합의도 안 했는데 지 혼자 방식 정해서 구현부터 시작하려 한다는 거임.

Sol 쓸 때는 보통 문서를 먼저 훑어보고 가용 도구 확인한 다음에, 자기가 생각한 방식을 설명하고 내가 목표를 다시 짚어주거나 다른 방향을 제시할 기회를 줬거든. 덕분에 구현 들어가기 전에 오해를 바로잡기가 훨씬 쉬웠음.

근데 Astra는 몇 시간 동안 (심지어 채팅방도 다 따로 팠는데) 네 번이나 내 의도를 엉뚱하게 파악하거나, 과한 해결책을 내놓거나, 합의도 안 된 상태에서 작업부터 치고 나가는 꼴을 봤음. 이럴 때마다 흐름 다 끊기고 내가 다시 방향 잡아줘야 해서 피로도가 장난 아님.

물론 짧게 써보고 내린 초기 인상임. 그래도 차이가 너무 확연해서 다시 Sol로 돌아갈까 고민 중인데, 나한테는 이게 좀 이례적인 일임. 보통은 새 모델 나오면 그 특성에 맞춰서 적응하며 쓰는 편인데, 내 의도에 맞춰서 구현하게 하려고 들이는 노력이 너무 커지니까 가성비가 안 나옴.

OpenAI 응원하고 모델 만드느라 고생하는 거 다 알지. Astra가 확실히 강점도 있고, 실패작이라고 생각하진 않음. 다만 코딩이나 문제 해결 능력이 좋아진 만큼, 협업 경험의 일관성은 좀 떨어진 느낌이라 개인적으로는 좀 아쉬움.

내가 하는 일에서는 제약 조건을 이해하고, 적절한 범위의 해결책을 고르고, 계획을 공유하는 게 기술적 능력의 핵심이거든. 이런 부분들이 좀 개선됐으면 좋겠음. 내가 기대했던 일상적인 개발 환경의 개선은 아니었으니까.

너네는 어떻게 생각하는지 궁금함.