Claude Code의 새로운 스킬 하나로 DeepSeek V4 Flash 성능이 67.42%에서 82.02%로 향상됨
One Claude Code skill pushed DeepSeek V4 Flash from 67.42% to 82.02%
핵심 요약
Claude Code용 'Autoprompt' 스킬을 도입해 복잡한 코딩 작업에서 모델 성능을 대폭 개선한 사례를 공유함.
- Autoprompt 스킬 — 계획, 빌드, 테스트, 검토를 자동화하여 코딩 루프를 단축함
- 성능 향상 — DeepSeek V4 Flash 모델의 벤치마크 점수를 14.6%p 끌어올림
- 리소스 소모 — 성능 향상 대가로 토큰 2배, 런타임 3배의 자원이 추가로 사용됨
- 향후 계획 — Terminal-Bench 3.0을 통해 비용과 런타임을 정밀하게 추적할 예정임
Autoprompt는 Claude Code랑 같이 쓰는 스킬이자 워크플로우인데, 목표 하나만 던져주면 계획부터 빌드, 테스트, 리뷰, 수정까지 알아서 다 해버려서 수동으로 코딩하던 짓거리를 거의 다 없애줌. 이거 쓰면 작업 퀄리티가 진짜 확 올라간다.
참고로 이거 거의 opus 4.5에서 5.0으로 넘어가는 수준임. 스킬 하나로 이 정도라고? 진짜 미친 거 아니냐.
OpenCode에서 돌려보니까 DeepSeek V4 Flash 0731 기준으로 Terminal-Bench 2.1 점수가 67.42%에서 82.02%까지 떡상함.
토큰은 대충 2배, 런타임은 3배 정도 더 먹는데, 복잡한 작업 할 때 쓰라고 만든 거니까 감안해야 함.
나중에는 비용이랑 런타임까지 싹 다 추적해서 Terminal-Bench 3.0도 돌려볼 예정임.
Repo: https://github.com/Spielewoy/autoprompt-skill
Benchmark setup & evidence: https://github.com/Spielewoy/autoprompt-skill/tree/main#benchmarks
피드백 주면 진짜 고맙겠다.
https://www.reddit.com/submit/?source_id=t3_1vs0p2v&composer_entry=crosspost_prompt
