Current efficient frontier of open models
오픈 모델들의 성능 대비 활성 파라미터 효율성을 파레토 최적선 기준으로 분석한 그래프.
효율성은 활성 파라미터 대비 점수로 정의함.
파레토 최적선에 있지 않은 모든 모델은 제거함.
artificialanalysis.ai의 종합 벤치마크가 완벽하지 않다는 건 알지만, 전반적인 지표로는 꽤 괜찮다고 생각함.
오픈 모델의 효율성 지표를 두고 연산 프록시와 활성 파라미터의 관계에 대한 기술적인 토론이 이어지고 있습니다.
이건 점수 대 연산 프록시 차트에서 모든 모델을 활성화했을 때 나오는 차트임. 이건 데이터가 존재하는 모든 모델에 걸쳐 스케일을 조정함으로써 녹색 사분면의 위치를 보정하는데, 모든 모델을 전체적으로 조망할 때 유용함.
참고로 이 분석에 따르면 27B가 t보다 지능이 낮다고 나오는데…
거기 x축이 뭔지는 모르겠는데 내 거랑은 다르네
아 미안, 설명하자면 이건 x축으로 연산 프록시를 사용한 거야.
연산 프록시가 뭔데?
AI 분석 평가를 위한 활성 파라미터에 전체 응답 길이를 곱한 값이야. 다시 말해, 해당 모델이 그 점수에 도달하기 위해 필요한 총 연산량을 추정한 것으로 볼 수 있고, 따라서 모델이 얼마나 효율적인지를 나타내지.
정말 멋지네. 고마워!
왜 3.6 35b는 두 번 나오지?
그건 모델의 추론 버전과 비추론 버전이라서 그래. 추론 버전이 보통 점수가 더 높거든. 비추론 모델은 총 출력량이 적고 결과도 안 좋아서 왼쪽 아래에 위치할 거라고 예상할 수도 있겠지만, 모델이 이론적으로는 실제 출력 중에 추론 과정을 작성할 수도 있어서 이게 항상 맞는 건 아닐 수도 있어.
이 분석에 따르면 27B가 35B-A3B보다 지능이 낮다고 나오는데, 개인적으로는 전혀 그렇게 생각 안 함. 그러니 각 모델의 수직적 위치에는 어느 정도 불확실성이 있다고 봐야 함. 음, Qwen3.6 35B가 3.5 397B만큼 좋다는 건 내 경험상 사실이 아님. 근데 내가 발견한 건 397B가 단순한 지시 따르기에는 별로인데, 방대한 지시 사항 처리할 때는 진짜 미쳤다는 거임. 우린 단일 벤치마크가 설령 그렇다 하더라도...
모델 크기는 대략 지식 용량과 같고, 활성 파라미터는 일반적인 추론 능력과 비슷함. 그런 상황에서 일반적인 벤치마크를 폭넓게 선택하면 MoE가 논리적으로 더 잘하겠지만(지식이 더 많으니까), 비공개 테스트(추론 능력 필요)를 포함해서 더 넓게 범위를 잡으면 결과가 뒤집힐 거임. 이건 객관적인 거라기보다는 가중치를 어떻게 두느냐의 문제임.
이 분석에 따르면 27B가 35B-A3B보다 지능이 낮다고 나오는데, 개인적으로는 전혀 그렇게 생각 안 함. 그러니 각 모델의 수직적 위치에는 어느 정도 불확실성이 있다고 봐야 함. 그건 추론 기능 없는 27B랑 추론 기능 있는 35B를 비교한 거임. 이름 옆에 전구 아이콘 있는지 확인해 봐. 추론 기능 있는 27B가 점수 더 높음.
혹시 이거 링크 좀 줄 수 있음?
그럼 작업을 완료하는 데 필요한 토큰은?
여기엔 안 나와 있어. 또 다른 주의점은 sparse attention이 큰 컨텍스트에서 연산을 줄이는 데 어떻게 도움이 되는지인데, 그 측면에서 제대로 비교할 수 있는 수치를 찾지 못했어. 그래도 흥미로운 주제긴 하지.
작업당 비용이 아마 더 나을걸. 모든 토큰이 다 같은 크기는 아니니까.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
