Opus 5는 그냥.. 완전히 망가졌음

아, 근데 모델을 이해하는 능력이 생기면 괜찮아짐. 난 모델을 잘 다루는 편이라 남들이 겪는 문제들을 거의 안 겪거든. 하지만 첫 범용 트랜스포머 아키텍처 데모가 나온 이후로 LLM을 엄청나게 써왔고, OpenAI가 첫 구독 서비스를 시작한 지 2주 뒤부터 AI 서비스를 구독해왔음. 그렇다고 Opus 5 문제가 전부 'skill issue'라는 건 아님. 왜 이렇게 작동하는지에 대한 추측으로는 Mythos 출력물로 학습했기 때문이라는 말이 있음. 난 그들이 곧...

AI 때문에 개발자들이 자기 작업에 끊임없이 플라세보 효과나 미신 같은 걸 주입하는 환경이 만들어짐. 아주 조금은 도움이 될지 몰라도, 내가 보는 것들의 99%는 그냥 절박함이랑, 사실은 통제권이 없는데도 통제하고 있다는 느낌을 받고 싶어 하는 심리일 뿐임.

왜 컨텍스트가 중요하지 않다고 생각하는 거임?

어디서 그런 소리를 들었는지 모르겠네. 내가 컨텍스트에 대해 뭐라도 말했나? 난 사람들이 AI 응답을 '개선'하려고 필사적일 때 가짜 해결책을 좋아하는 현상에 대해 일반적인 코멘트를 한 거였음.

지난 몇 년간 플라시보 효과의 예시는 수백 가지나 됨:

• "버그 없이 완벽하게 스크립트를 짜주면 200달러 팁을 줄게."
• "지금은 5월이야, 넌 에너지가 넘치고 게으름 피우지 않아."
  ...등등.

근데 이건 단순히 프롬프팅 플라시보뿐만이 아니라, 사람들이 수행하는 온갖 무작위적인 행동들이...

그리고 아까 컨텍스트라고 말한 이유는... 나한테는 컨텍스트 파일, 기술, 콘텐츠, 프롬프트 등 모델에 제공하는 모든 것이 다 컨텍스트이기 때문임.

모델의 능력과 추론 능력 사이에는 차이가 있음. 훅(hooks)과 규칙은 모델이 할 수 있는 일(실행)을 확장할 수는 있지만, 모델이 생각하는 방식(핵심 추론)을 바꾸지는 못함.

컨텍스트 윈도우가 저하되고 모델이 잘못된 결정을 내리고 있다면, 정적 규칙이 마법처럼 논리를 복구해주지는 않음. 만약 벤더가 백엔드에서 조치를 취하고 있다면(모델을 변경하거나 리소스를 하향 조정하는 등), 역시 정적 규칙으로는 아무것도 해결할 수 없음.

웃기네, 나도 내 거 제어하려고 다시 작업해야 했음. 내가 파고들어 보면 아무 문제 없는 것들에 대해 자꾸 차단 문제가 있다고 말하더라고.

대체 뭐 하는 거야? 3일 전에 이거 한 번에 끝내라고 했잖아!

"사용자가 10,000명이고 운이 지지리도 없으면 문제가 될 수도 있습니다"

이 시스템 사용자 3명인 거 알잖아.

"3분 17초 동안 고민 중...; 당신 말이 맞아요, 제가 하루 종일 200만 토큰을 써가며 치명적인 차단 문제가 있다고 떠들었는데 사실은 그게 아니었네요..."

실제 대화 내용에 따라 너무 다름. AI에게 어떻게 생각하냐고 묻는 건 이론을 요구하는 걸 수도 있음. 나는 실제로 '이론화하지 마'라고 적지는 않을 거임. 그건 일반적인 예시였으니까. 내 실제 프롬프트는 더 구체적일 거고 실제 문제에 따라 다를 거임. 지금 당장 말해야 한다면 "간결하게 하고 전문 용어는 피해"라고 할 가능성이 훨씬 높음. 당연하지 않나? LLM은 네가 시키지 않으면 아무것도 안 하는 놈임. 너한테 개인적으로 맞춰주길 바라는 것 같은데. 내가 말하려는 건...