Harness does matter
LLM 성능 평가에서 하네스 구성이 결과에 미치는 영향과 벤치마크 환경의 중요성을 다룬 분석입니다.
하네스가 이렇게 큰 차이를 만드는 줄은 몰랐네.
DeepSeek V4.1 Flash
DeepSeek V4.1 Flash의 미니멀 모드가 시스템 프롬프트를 최소화하여 효율적으로 작동한다는 점에 대해 긍정적인 반응을 보이고 있습니다.
LLM을 쓰다 보면 모델 자체보다 프롬프트, 컨텍스트, 문서 같은 것들이 더 중요할 때가 많다는 걸 알게 될 거임.
'더' 중요한지는 의문이지만, 확실히 꽤 중요함.
의심스러운 수준을 넘어서 그냥 틀린 말임. agentic framework를 아예 감당 못 하는 모델들이 수두룩하거든.
진짜 핵심이네
그게 원래 harness라는 거임. 도메인 특화 에이전트를 위해 컨텍스트나 문서 같은 걸 제공하는 무언가 말이지.
모델은 그냥 함수일 뿐임: 입력을 받아서 출력을 내뱉는 거. 프롬프트, 컨텍스트, 문서 같은 것들은 전부 그 입력의 일부지. 이걸 'harness'라고 부르든 'helper'라고 부르든 '마법 주문'이라고 부르든, 결국 모델에 들어가는 건 그냥 긴 텍스트 버퍼 하나임.
mini-SWE는 처음 들어보는데, 어때?
swe-verified랑 deepswe 벤치마크 돌리려고 제공된 하네스임. 내 생각엔 일반 사용자용으로 설계된 건 아닌 듯.
DSH 미니멀 모드에서는 시스템 프롬프트에 딱 두 가지만 들어감: '너는 소프트웨어 엔지니어다'라는 프롬프트랑 bash 툴 설명, 모델은 오직 bash를 통해서만 작동함.
토큰 수가 이렇게 적은 거 진짜 대박임. 처음 dsh 트레이스 확인했을 때 시스템 프롬프트가 두 줄 정도길래 버그인 줄 알았음.
직접 테스트한 거야, 아니면 어디서 가져온 거야? Qwen3.8 Flash Next랑 27b가 이 표에서 어떻게 나올지 궁금하네.
그리고 맞아, 하네스는 정말 중요함.
공식 DeepSeek 모델 페이지에서 가져옴.
그럼 참 대단한 벤치마크를 공개한 거네. '우리가 벤치마크 전용 하네스를 만들었으니 너희는 절대 못 낼 결과야'라니.
파일 편집 도구가 없으면 치명적일 것 같은데. bash로 파일을 어떻게 수정함? 전부 sed로 하는 거야?
오, 그렇군. 자기네 모델로 테스트한 거니까, 이제 Qwen이나 다른 모델들이 그 하네스를 쓰면 어떻게 나올지 더 궁금해지네...
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
OpenCode 무료 티어 사용 시 발생하는 접근 오류 문제와 그 해결책을 공유하는 글입니다.
OpenCode 무료 티어 사용 시 발생하는 접근 오류 문제와 그 해결책을 공유하는 글입니다.