128GB 맥북 프로 살 가치가 있을까? 코딩용으로 지금의 최신 모델들과 비슷해질 수 있을까?

이 스레드 전체가 당신부터 시작해서 잘못된 정보로 가득 차 있네요. 2~3년 전을 돌아보고 당시 SOTA 모델이 뭐였는지 확인해 보세요. 오늘날의 3.6 35b 같은 MoE 모델과 비교해 보고도 여전히 근처에도 못 간다고 말할 수 있는지 봅시다. 당신들은 완전히 부정하고 있는 거예요.

그러니까 35B 모델이 Claude랑 비슷해서 사람들이 돈 내는 걸 그만둬야 한다는 거야? 내가 말하는 건 2~3년 전 SOTA가 아니라 Opus 3.5나 Sonnet 3.5 같은 최신 모델들이라고. 35B나 27B 모델들이 똑똑한 건 맞는데, 클라우드 모델의 모든 기능을 다 쓰지 않는 경우에만 대체가 가능한 거지. 내가 말하고 싶은 게 바로 그거야.

27b랑 31b 모델들은 4k 컨텍스트 넘어가면 내 벤치마크에서 맨날 박살 남. 컨텍스트 없으면 괜찮은데, 코딩이나 의미 파악해서 구조 짜는 데는 진짜 개판임. 작업 자체는 이해하는 것 같은데, 막상 시키면 제일 멍청하고 문자 그대로만 수행함.

여기서 31b 모델이 1tb나 3tb급 frontier 모델이랑 비빌 수 있다고 말하는 건 사람들한테 엄청난 헛소리를 하는 거임.

작은 모델들은 파라미터의 깊이나 너비가 부족해서 이해를...

27B나 31B 모델들은 3년 전 프론티어 모델 수준이거나 그보다 나음. 지금 프론티어는 아니지만. 그래서 2~3년 뒤에는 128GB 램 노트북으로도 지금 프론티어 모델만큼 코딩 잘하는 모델을 돌릴 수 있을 거라고 기대하는 게 무리는 아님.

과거를 돌아보면, 오늘날의 SOTA 모델들이 2~3년 전 SOTA 모델들보다 훨씬 더 많은 하드웨어를 쓴다는 점도 짚고 넘어가야 함. 지금의 SOTA 모델들은 2023년의 GPT-4보다 훨씬 더 큰 격차를 보이고 있고. 좋든 싫든 하드웨어가 그 격차를 줄이는 데 한몫할 거임. M 칩은 애초에 이런 용도로 만들어진 것도 아니니까.

몇 년 뒤에 로컬 LLM이 어떻게 될지는 아무도 모르지만, 그래도 지능 면에서 훨씬 더 가까워지길 바랄 뿐임.

와 이거 진짜 대박이네, 공유해줘서 고마워!