Chat과 Codex 간의 Sol High 모델 변화

일단 미리 말하는데, 나 여기 서브레딧 멤버는 아니고 피드에 자꾸 비슷한 글들이 떠서 들어온 거임. 그러니까 서로 쓰는 방식이나 뭐 그런 거 비하하지 말고, 지금 상황이 어떤지 다 같이 한번 정리 좀 해보자. 7월이랑 비교하면 진짜 안드로메다급으로 멀어진 지금 내 경험은 이래.

Chat (Sol High):

1. Sol High가 생각을 안 함. 답변은 대부분 즉각적임. 추론 과정(reasoning chain)이 소스에서 다 사라졌고, 예전 채팅에서도 마찬가지임. 내가 예전에 했던 채팅들 확인해 봤는데, 웹이랑 앱 둘 다에서 추론 블록이 아예 증발했음.

2. 답변 퀄리티랑 스타일이 바뀌었음. 갑자기 욕을 하질 않나, 이모지 남발(요즘은 좀 줄긴 함), 내가 중요하지 않거나 쓸모없다고 표시한 내용을 계속 똑같이 들먹임. 요즘 답변 대부분은 출처가 아예 안 뜸 = 모델이 메모리나 지침, 이전 채팅을 참고했는지조차 알 수 없음. 예전엔 메모리 참고할 때 "왜 이 메모리를 썼는지" 볼 수 있어서 유용했는데, 이제는 그것조차 안 보임. 근데 답변 내용은 확실히 이전 채팅 내용을 끌어다 쓰고 있음. 근데 출처에는 안 나옴. 줄 바꿈 엉망인 거 다시 돌아왔고, 부정문 꼬이는 것도 다시 시작됨. Sol High에서 예전엔 문제없던 스타일이나 포맷팅 관련 강제 가이드라인을 다 씹어버림.

3. 제목: 가끔 제목이 "Write X Reply"나 "X Reply" 이런 식으로 뜨는데, 예전엔 이런 적 한 번도 없었음. 제목이 이렇게 생성되면 답변 퀄리티는 100% 개판임.

4. 모델한테 너 뭐냐고 물어보는 건 의미 없음. 계속 "GPT 5.6 Sol"이라고만 함.

5. Instant 모델이 예전 High 모델 느낌임. 길고 상세하게 답변하고, 지침도 대체로 잘 따름.

Codex (Sol High and Medium):

1. 사용 제한 걸리는 거, 레딧에 글 엄청 올라오더라.

2. 지침이랑 문서 따르는 꼬락서니가 예전 같지 않음. 수정할 것도 많아지고, 계속 왔다 갔다 해야 함. 메모리나 AGENTS.md를 제대로 안 불러옴. 레포나 컨텍스트랑 상관없는 일반적인 구현 방식만 추천함. 원래 안 이랬는데.

3. 내가 직접 만든 스킬이 5개 정도 있는데, 굳이 시키지 않으면 안 씀. 이것도 예전엔 안 이랬음. 예전엔 굳이 말 안 해도 알아서 잘 썼다고.

4. 과하게 엔지니어링하고 테스트 돌려댐. 테스트는 내가 따로 쓰는 프레임워크가 있어서 승인받고 하라고 명시해 놨는데, 예전엔 잘 따르더니 이제는 안 따름. 멈추게 하려면 계속 감시해야 하는데, 하루 종일 붙어 있을 수도 없고 보통은 이미 늦은 상태임. 결론은 문서 곳곳에 박아둔 강제 가이드라인을 하나도 안 지킨다는 거임. 2번 항목 참고.

나중에 더 생각날 것 같긴 한데, 일단 핵심은 이 정도임.

Work:

이건 써본 적 없어서 할 말 없음.

다들 나랑 비슷한 상황임? 특히 제목 생성 문제, 추론 버블 사라진 거, 그리고 Chat에서 Sol High 상태가 어떤지 궁금함. 이거 지금 전체적으로 A/B 테스트 돌리는 거임, 아니면 그냥 다 이 모양인 거임?