Meanwhile On Deepseek ... 16B+ Tokens For Less Than $100 USD
Deepseek의 저렴한 토큰 가격이 Claude와 비교해 실질적인 성능과 효율성 면에서 가치가 있는지에 대한 논의가 이어지고 있습니다.
토큰 가격 하락의 원인을 두고 보조금 정책인지, 업계 전반의 추론 비용 절감인지에 대한 논쟁이 이어지고 있음.
실제 결과물이 Claude 모델과 비교할 만한 수준이어야만 인상적인 거지.
그래서, 비교할 만해? Deepseek 모델들이 실제로 Claude 모델들과 어떻게 비교되는데? 벤치마크는 그런 거 판단하는 데 아무 쓸모가 없거든.
내가 듣기로는 추론할 때 토큰 효율이 매우 떨어진다고 하더라고. 출처: sentdex
동의함. 모델 학습 데이터 생성하려고 DeepSeek 크레딧 좀 샀는데, 그건 그럭저럭 돌아가긴 함. 근데 openrouter는 진짜 개극혐임. 그리고 실제로 일 시켜보면 성능 개판임. high나 medium으로 설정해도 10분 동안 개소리 같은 명령어만 주구장창 실행하면서 아무것도 못 함. 반면에 Sonnet은 1분 만에 100k 토큰도 안 쓰고 깔끔하게 끝내버림. 그냥 내 개인적인 경험이지만 진짜 개구림.
나도 DS flash 모델 쓰면서 똑같이 느꼈음. 추론 과정에서 모델이 자기 질문을 계속 반복하는 루프에 아주 쉽게 빠짐. "잠깐만?" 루프 같은 거. 그리고 200k 토큰 컨텍스트 윈도우 넘어가면 모델 결과물이 쓰레기가 됨. (대부분 모델이 200k 넘어가면 성능 저하가 오긴 하지만, 이건 GPT3 수준의 헛소리가 나오는 걸 봤음)
Sentdex는 GLM이랑 비교하고 있는 거야. 프론티어 모델들은 로컬 모델들에 비해 토큰 효율이 떨어지는 편이지.
개인적으로는 매우, 매우 유능하다고 봐. SOTA 모델(Sol, Astra, Opus)로 v1을 빌드하고, 후속 버전들은 DSv4.1을 사용하는 방식이 아주 편해. 매우 유능하고 빠르거든. 중국 모델들은 더 적은 데이터로 학습되었고, 서구권 모델들보다 코드와 수학 비중이 더 커. 그래서 코드 설계는 정말 잘해. 하지만 내 생각에 그들의 '취향'은 최고는 아닌 것 같아.
음, 뭘 원하느냐에 따라 다르지. Anthropic은 꽤 오랫동안 가성비 모델 비교 대상에서 벗어나 있었으니까.
Sonnet 5.5가 DS V4.1 max보다 나은 건 확실하지만, 여전히 토큰을 엄청나게 잡아먹을 수 있어.
구독 서비스에 추가하기엔 훌륭하지만, '저렴한' 모델들보다는 여전히 3~4배 정도 더 비싸.
순수 사용량으로 따지면, 나는 25달러로 한 달 정도 빡세게 DS 작업을 해서 꽤 괜찮은 품질의 코드를 뽑아낼 수 있어. 물론 코드 외적인 부분에서는 Sonnet처럼 만능은 아니겠지만.
그러니까 더 저렴한 Claude 구독이 사용량 면에서 얼마나 좋은지에 따라 달린 문제라고 봐.
그리고 내 기억이 맞다면, Claude 구독 5개 값이면 Sonnet 5.5로 한 달에 20B 토큰 이상 쓸 수 있는데, 이게 DeepSeek보다 성능도 훨씬 좋음.
토큰 사용량 면에서 Claude와 20배 차이로 퉁친다고 해도 여전히 인상적이지는 않아. 내 사용량으로 직접 계산해 본 적이 있거든.
👍
"더 적은 비용으로 더 많은 토큰"이 "같은 수준의 표준을 달성하기 위해 더 많은 토큰이 필요하다"면 반드시 더 좋은 건 아니지.
아니 뭐... cc의 200달러 플랜으로 opus 5.5 토큰을 한 달에 50B 정도 쓸 수 있다는 거 생각하면 딱히 대단한 것도 아님.
인상적이네.
이제 캐시된 토큰 없이 한번 보자고.
Anthropic 토큰은 보조금을 엄청나게 받는 거니까.
맞는 말이긴 한데, Opus 5.5랑 Fable을 쓸 수 있다면 세션 제한 정도는 기꺼이 감수하지. DS 4.1 flash랑은 비교 자체가 안 되는데.
Qwen 3.6 27B를 활용해 나만의 앱, 에이전트, 파이프라인 등을 구축하는 실용적인 팁들을 공유합니다.
Qwen 3.6 27B를 활용해 나만의 앱, 에이전트, 파이프라인 등을 구축하는 실용적인 팁들을 공유합니다.
Gemini의 엄격한 사용량 제한과 성능 저하에 대한 사용자들의 불만이 폭주하고 있습니다.
Gemini의 엄격한 사용량 제한과 성능 저하에 대한 사용자들의 불만이 폭주하고 있습니다.
