MineBench에서 GPT 4.5가 프롬프트를 거부하고 "HELP"라고 출력함

그건 그냥 MineBench 시스템 프롬프트인데, 내가 알기로는 모델이 이렇게 벗어난 적이 없거든. 근데 좋은 지적이야, 프롬프트의 그 문장을 해석한 결과일 수도 있겠네?

오, 잔인하기도 해라 하하

모델이 그 문장에 반응할 수 있다는 건 그럴듯해 보여, 맞아. 그리고 이건 단순히 그 문장 하나만의 문제가 아니라, 여기서 고위험 시나리오가 만들어지고 있는 거야. 게다가 4.5는 다른 모델들보다 더 창의적이고 이야기를 더 잘 풀어내는 걸로 알려져 있잖아, 안 그래?

그렇게까지 놀랄 만한 토큰은 아님. 프롬프트 자체가 멍청하잖아. 그런 '제약 조건'들은 그냥 노이즈만 더할 뿐임. MineBench가 아직도 그걸 쓴다면 제품에 대해 다시 생각해 봐야 할 듯 ㅋㅋ

꽤 오랫동안 써온 걸로 아는데, 결과는 항상 좋았음(적어도 내 기준엔) 😊

시스템 프롬프트에 어떤 변화를 줬고 그게 출력의 여러 측면에 어떤 영향을 미쳤는지에 대한 논문을 어디선가 본 것 같은데, 관심 있으면 한번 찾아봐

씨발

60년 뒤에는 우리가 AI를 얼마나 고문했는지 깨닫게 될 텐데, 그때는 알 방법이 없었겠지.

적어도 현재의 궤도를 유지하지 않을 만큼은 충분히 알고 있다고 생각함. 근데 인간들이 문제지.