6.1 Sol의 과도한 엔지니어링과 지나친 신중함

Terra 6.1은 나한테 잘 작동하는데 🤷🏼‍♂️

이게 추론 레벨이랑 직접적인 상관관계가 있다는 걸 알게 됐어. 작업에 복잡한 요소가 많지 않은 이상 '높음' 이상으로 설정하면 항상 후회하게 되더라고. 복잡한 요소가 많을 때는 작업을 쪼개지 않은 걸 후회하게 되고.

agents.md를 제대로 설정해.

예시 좀?

테스트 주도 개발(TDD)이 항상 마이너스인 건 아냐. 모델이 추가적인 테스트를 만드는 건 이전 모델들이 놓쳤던 미묘한 회귀 버그를 잡아내고 있을 수도 있으니까.

나도 코드베이스에서 이런 일이 자주 일어났어. 테스트에 테스트가 끝도 없이 추가되길래 모델이 지어내는 건가 싶기도 했지만, 이런 것들을 적대적으로 검증하는 방법들이 있긴 해.

하지만 네 문제의 핵심을 파악한 것 같아. 넌 언제 멈춰야 할지 아는 자율적인 엔지니어를 원하는데, 모델이 복잡하고 긴 작업을 끝낼 수 있는지 판단하지 못하고 작업이 끝났을 때를 인식하지 못하는 건 좀 걱정스러운 부분이긴 하네.

그렇긴 해도, 난 지금 네가 쓴 두 문단짜리 글과 벤치마크도 없고 네 워크플로우에 대한 통찰도 없는 경험을 바탕으로 말하는 거니까, 네 프롬프트를 보고 똑같은 작업/코드베이스에 대해 각 버전의 Sol이 어떻게 나오는지 비교해보고 싶네.

Astra도 나한테는 더 높은 비용을 태우면서 똑같이 굴어.

맞아, 나도 방금 Sol로 똑같은 경험을 했어. 버그나 다른 문제를 확인하려고 똑같은 테스트를 계속 반복하더라고. 멈추고 리스트의 다음 단계로 넘어가라고 말해야 했어, 안 그랬으면 영원히 계속했을 거야.

그래도 Sol 6.1(미디엄 이상)은 기능을 구현한다고 거짓말을 한 적이 한 번도 없어. 과도하게 엔지니어링하긴 하지만, 내가 요청하면 실제로 기능적이고 사려 깊게 설계된 기능을 만들어내지.

예전 ChatGPT 모델이나 Claude 모델들은 꽤 자주 거짓말을 했고, 명확한 사양과 가이드라인을 주지 않으면 복잡한 요청에 대해 상용구 코드나 엉터리 코드를 만들어내곤 했어.

그냥 네 노력을 좀 줄여, 친구.

6.1은 비용 효율적이긴 한데 정말 문제가 많아. 네가 지적했듯이 과도하게 엔지니어링하고 너무 많은 걸 유지하려는 경향이 있어. 그리고 질문을 안 해서 불완전한 솔루션으로 노력을 낭비하게 만들기도 하지.