왜 거의 모든 새로운 벤치마크와 리더보드가 코딩에만 집중되어 있을까?

걔들도 진작에 깨달은 게, 소스 코드로 학습시키는 게 모델을 전반적으로 더 똑똑하게 만든다는 거야. 자연어보다 훨씬 구조적이고 논리적이거든.

거기다 모델을 에이전트랑 같이 쓰면, 뭐든 알아내려고 그냥 코딩부터 해버리잖아.

학습 데이터 구하기도 쉽거든. 당분간은 말이지.

난 전혀 그렇게 안 느끼는데.

LLM 가중치 안에 '지식'을 저장하는 건 거의 최악의 방법임. 모호하고, 손실이 많고, 환각을 일으키고, 조금만 바뀌어도 즉시 구식이 되고, 학습 비용도 비싸고, 실행 비용도 비싸고, 변경 사항이 생길 때마다 처음부터 다시 학습시켜야 하거든.

오프라인에서 원시 정보를 원하면 위키피디아를 다운로드하는 게 낫고, 오프라인에서 AI와 정보에 대해 대화하고 싶다면 다운로드한 정보에 검색 도구를 제공하는 게 훨씬 나음.

코딩에만 집중하는 이유는...

LLM 가중치에 저장된 지식이 구식이 된다는 건 잘 알지만, 그래도 그 가중치 안에 있는 지식은 탄탄해야 한다고 생각함. 비유하자면, 아이가 책을 찾을 수 없거나 오프라인 환경에 있을 때, 아이는 탄탄한 기본 정보를 갖추고 있어야 함. 게다가 내 언어 학습 예시처럼, LLM이 굳이 필요하지도 않은데 계속 문법이나 어휘 설명을 찾아보게 하고 싶지는 않음. 많은 사용 사례가 지식을...

너한테 어떤 이유로든 선호하는 바가 있다는 건 알겠고, 그럴 권리도 충분히 있지만, 지금 선호와 공학적 현실을 혼동하고 있는 것 같음. 아무도 AI가 환각을 일으키길 원하지 않고, 환각은 해결되지 않은 문제임. 특히 사람들이 오프라인에서 사용하겠다고 생각하는 작은 모델에서는 더더욱 그렇지. 공학적 관점에서 보면 모델이 사고하고, 도구를 쓰고, 검색하는 것에는 단점이 없음. 작은 모델을 로컬에서 유용하게 만들고 싶다면...