4Chan 데이터가 모델 성능을 향상시킬 수 있다는 주장

합성 데이터가 너무 많은 건 당연히 안 좋지. 왜냐면 그건 파멸적인... 반복을 유발하거든. 합성 데이터는 언어에서 패턴이 없어야 할 곳에 패턴이 있는 것처럼 보이게 해서 문제를 악화시켜. 일명 AI-isms이지.

제작자가 학습 데이터에서 사진과 링크를 삭제했어. 그래서 AI는 사용자들이 실제로 무엇에 반응하는지 볼 수 없었지. 그 사이트에서 텍스트 없는 게시물은 이미지 업로드거든. AI는 빈 게시물이 자주 발생한다는 걸 알아챘어. 하지만 이미지를 볼 수 없었기 때문에, 빈 메시지를 게시하는 게 그냥 일반적인 소통 방식이라고 생각한 거야. 봇이 켜졌을 때, 완전히 빈 답글을 달기 시작했어. 시각적 패턴은 복사했지만 이해는 못 한 거지.

맞아, 그 모델은 Hugging Face에서 비활성화됐지.

시간이나 예산이 있다면, https://arxiv.org/abs/2412.04318 이 논문을 시도해서 재현 가능한지 아니면 헛소리인지 확인해 볼 수 있을까? 네 데이터셋과 호환될 것 같고, RLHF로 유도된 스타일보다는 롱테일에서의 자신감을 높여줄 것 같아.

흥미롭게 들리지만, 솔직히 시도해야 할 게 너무 많아서 가끔은 시간 예산 안에 다 넣는 법을 모르겠어. 링크 고마워, 한번 살펴볼게 :)

이게 최고의 모델이야. 있는 그대로 말해주고 나를 어린애 취급하지 않거든.

Reddit이나 위키피디아처럼 좌파 성향이나 기성 체제 친화적인 코퍼스로 주로 학습된 AI들이 아나키스트나 대안 우파 데이터에 노출되었을 때 더 똑똑해지는 건 놀랍지 않아. 데이터셋의 다양성이 지능을 높인다는 건 여러 연구에서 밝혀졌거든.

Gemini가 한 번은 대안 우파/반체제 우파/그로이퍼 등의 관점을 충격적일 정도로 철저하게 옹호해 준 적이 있어. 내가 질문하거나 논쟁하려고 할 때마다 "아, 하지만 당신은 이렇게 생각하겠죠"라는 식의 준비된 반박을 내놓았는데, 전부 아주 틈새시장적인 내용이었고 그 집단의 지적인 지지자가 가져올 법한 논리였어. 결국 나는 "좋아, 하지만 그게 다 사실이라 해도, 이런 결과를 초래하지 않을까?" 같은 좌절 섞인 말로 대화를 끝내야 했지.