[코딩 아님] 챗봇 전체를 오염시키는 거부 반응(Pushbacks)

코딩하려고 sonnet 3.5 쓰는 거면 그냥 넘어가라. 니 케이스는 이 버그랑 상관없으니까.

Sonnet 이 새끼는 뭐만 하면 자꾸 딴지를 건다. 대답할 때마다 프롬프트랑 좆도 상관없는 거 하나씩 꼬투리 잡아서 늘어지는 게 일상임.

모델이 아무거나 다 받아주지 않게 학습시키는 건 이해하는데, 이건 진짜 선 넘어도 한참 넘었음.

예시:

A)

전에 현상 A(어떤 기상 현상)에 대한 통계를 물어봤거든. 그 현상에 대해 언급한 다른 댓글들을 여러 개 인용하면서, 그중에 "..대다수의 경우.."라는 말이 들어간 댓글도 같이 인용했단 말이야. 내 프롬프트는 Sonnet한테 그 현상이 실제로 존재하는지 찾아보고 검증해달라는 거였음. 내가 "대다수"인지 확인해달라고 한 적은 단 한 번도 없음.

근데 Sonnet 이 새끼는 다른 건 다 제쳐두고 그 "대다수"라는 단어에만 꽂혀가지고, 그걸 무슨 엄격하게 평가해야 할 제약 조건인 것처럼 멋대로 해석하더라. 그러더니 "대다수"라는 단어를 가지고 이상한 허수아비 때리기나 하면서 그 현상 자체가 존재하지 않는다는 식으로 계속 딴지를 거는 거임.

그러고는 지가 한 말 변명하려고 "..두 축의 트레이드오프라고 설명되지만.. 읽기에는.. 포장된.." 같은 앞뒤 안 맞는 개소리나 지껄여놨음.

Sonnet 대답은 완전히 틀렸음. 바로 ChatGPT한테 물어보니까 3초 만에 제대로 대답해주더라.

B)

다른 대화창에서 특정 프롬프트를 다시 돌려봤음. 오타도 있고 빠진 정보가 있어서 프롬프트 P1을 P2로 수정해서 다시 돌렸다고 치자. Sonnet의 대답을 각각 R1, R2라고 하고.

P2에는 R1에서 맘에 들었던 내용을 하나 넣었음. P1이 완벽하진 않았어도 R1 내용은 괜찮았으니까. 그래서 "아까 네가 이렇게 말했잖아... 동의는 하는데 네가 꺼낸 얘기라 좀 더 정밀하게 다듬어야 할 것 같아.."라고 했단 말이지.

근데 Sonnet 이 새끼는 그 뒤로 그 말을 절대 안 놓음. 계속 "이전 대화에서 그런 말을 찾을 수 없고, 그런 말을 한 적도 없다. 방어적으로 들릴 수 있겠지만..." 이러면서 징징대는 거임.

"야, 그냥 본질적인 것만 얘기하자. 네가 말했든 안 했든 그게 뭐가 중요하냐. 그냥 넘어가서 토론 좀 하자고..."

근데도 "직설적으로 대답하자면, 실제 텍스트에 보이는 것만 사용해서... ... ~로 가장한..." 이러면서 끝까지 물고 늘어짐.

몇 번 주고받다 보니까 진이 다 빠져서 "야 제발 입 좀 닥쳐. 우리 지금 토론 중이잖아. 네가 기억 못 하는 게 뭐가 중요해. 이전 턴에서 네가 말한 거 맞다고. 좀 넘어가. 집착 좀 그만하고 토론이나 하라고."라고 했음.

근데도 안 멈춤. 턴이 넘어갈 때마다 그 빌어먹을 문장에 꽂혀서 토큰 다 써가며 부정하기 바쁘고, 대화 주제는 완전히 산으로 가버림.

더 웃긴 건, 지가 잘못 지목당했다는 "생각"에 꽂히면(설령 그게 암시일 뿐이라도), 기본적인 논리까지 공격적으로 부정하기 시작함. 심지어 지가 찾아본 논문조차도 그놈의 '주의력 과부하' 모드에 빠져서 거짓말이라고 우기더라.

미안, 너무 빡쳐서 말이 좀 샜네.

Sonnet이 뜬금없는 허수아비 잡고 집착하면서 대화 궤도를 이탈하는 거 어떻게 막냐?

왜 이 새끼는 좆도 상관없는 딴지에만 주의력을 쏟느라 정작 중요한 팩트까지 환각으로 처리해버리는 거임?

그냥 리서치 끝내고 책 덮고 싶은데, 이 빌어먹을 모델 때문에 진도가 안 나감.

증거가 없다는 걸 지가 억울하다는 증거로 써먹질 않나, 특히 주제랑은 좆도 상관없는 내용에까지 이러니까 진짜 살얼음판 걷는 기분임.