학습 데이터가 거의 동일한데 LLM(Claude 등)은 어떻게 성능이 향상되는 걸까요?

RLHF(Reinforcement Learning from Human Feedback)가 큰 비중을 차지하고, 이건 학습 후에 진행돼. 여기서 설명하는 것보다 직접 찾아보는 게 훨씬 도움 될 거야.

추가로, 학습 전 데이터 정제도 한몫한다고 봐. 레딧 같은 데이터도 학습에 쓰이지만, 가치 있는 정보만큼이나 노이즈도 엄청나거든. 특정 주제와 관련된 데이터에 가중치를 두는 규칙을 정하는 건 끝없는 작업이지. 그리고 RLHF에 대해 말하자면, 인간 피드백의 질도 중요해. 일반 평가자의 한계는 명확하니까 전문가를 데려와야...

예전에 OpenAI랑 Anthropic이 리트코드에서 사람 뽑는다는 소문 들었어. 내 친구 지인이 리크루터한테 연락받았는데, 사무실로 이사해서 일할 생각 있냐고 물어봤대. 당시 배경은 스택 오버플로우 데이터가 평범해서 그걸로는 이길 수 없다는 거였어. 그래서 베스트 프랙티스를 고려한 코드를 짜서 데이터의 질을 높이는 게 그 사람 업무였지.

링크드인에 올라오는 코더 채용 공고 절반은 LLM 학습용임. 오픈AI 사무실에서 하는 무슨 대단한 작업이 아니라 그냥 노가다임.

아키텍처와 최적화가 다르지. 현재 모델은 20만 토큰 윈도우에서 250개 정도 사실을 기억하다가 성능이 급격히 떨어지는데, 다음 세대는 300개를 기억할 수도 있어. 200만 윈도우에서 사실 하나 찾아내는 건 식은 죽 먹기지. 아키텍처를 완전히 다르게 짜면 모든 사실을 다 기억할 순 있겠지만, 큰 컨텍스트 윈도우를 못 쓰거나 램을 테라바이트 단위로 먹을 수도 있어.