r/LocalLLaMA•22일 전•70•30

딥러닝의 진정한 능력을 보여주는 최신 코딩 벤치마크들

Coding benchmarks that are quickly showcasing deep capability

핵심 요약

기존 벤치마크를 넘어 소프트웨어 엔지니어링의 깊은 이해도를 측정하는 새로운 벤치마크들을 소개합니다.

Program-Bench — 바이너리 분석을 통해 코드베이스를 재구축하는 능력을 평가함
SRE-Bench — 소스 코드 없이 바이너리 파일의 동작을 역공학적으로 분석함
Code Migration — 언어 간 프로그램 재구현 능력을 측정함
벤치마크 신뢰성 — 모델 성능 측정 방식과 데이터의 정확성에 대한 논의가 이루어짐

DeepSWE, Terminal-Bench, LiveCodeBench, Code-Arena ELO 같은 유명 코딩 벤치마크에서 프론티어 모델들이 죄다 비슷한 점수를 찍고 있긴 한데, 내 생각에 진짜 심층 지능이랑 소프트웨어 엔지니어링의 완벽한 역량을 제대로 보여주는 다음 단계 벤치마크들은 따로 있음.

1. Program-Bench

컴파일된 바이너리랑 문서만 던져주고, 디컴파일러나 인터넷 접속 없이 원래 프로그램이랑 똑같이 작동하는 코드베이스를 처음부터 끝까지 설계하고 구현해야 함. 링크: https://programbench.com/

GPT-6 Astra: 5.5%
Fable 5.1: 7%
Kimi K3: 2%
Qwen3.8 27b: 0%
GPT 5.6 Sol: 1.5%
GLM 5.3: 1.5%
GPT 5.6 Luna: 0%

2. SRE-Bench

AI 에이전트가 소스 코드 없이 실제 바이너리가 무슨 짓을 하는지 파악할 수 있을까?

링크: https://www.vals.ai/benchmarks/srebench

뭐 평소에 어셈블리 코드 읽는 사람이 어딨겠냐, 존나 어렵지. 근데 컴파일된 프로그램을 이해한다는 건 진짜 미친 능력임.

GPT-6 Astra: 88%
GPT-5.6 Sol: 55.9%
Claude Opus 5 (max): 12.5%

3. Code Migration

언어 모델이 돌아가는 프로그램을 다른 언어로 다시 구현할 수 있을까?

링크: https://www.vals.ai/benchmarks/code-migration

GPT-6 Astra: 67.7%
Fable 5.1: 54.6%
GLM 5.3: 44.2%
GLM 5.3 Flash: 20.5%
Qwen3.8 27b: 14.2%

수정: 텍스트 형식 수정함

원문

커뮤니티 목록

r/LocalLLaMA•22일 전•70•30

딥러닝의 진정한 능력을 보여주는 최신 코딩 벤치마크들

Coding benchmarks that are quickly showcasing deep capability

핵심 요약

기존 벤치마크를 넘어 소프트웨어 엔지니어링의 깊은 이해도를 측정하는 새로운 벤치마크들을 소개합니다.

Program-Bench — 바이너리 분석을 통해 코드베이스를 재구축하는 능력을 평가함
SRE-Bench — 소스 코드 없이 바이너리 파일의 동작을 역공학적으로 분석함
Code Migration — 언어 간 프로그램 재구현 능력을 측정함
벤치마크 신뢰성 — 모델 성능 측정 방식과 데이터의 정확성에 대한 논의가 이루어짐

1. Program-Bench

GPT-6 Astra: 5.5%
Fable 5.1: 7%
Kimi K3: 2%
Qwen3.8 27b: 0%
GPT 5.6 Sol: 1.5%
GLM 5.3: 1.5%
GPT 5.6 Luna: 0%

2. SRE-Bench

AI 에이전트가 소스 코드 없이 실제 바이너리가 무슨 짓을 하는지 파악할 수 있을까?

링크: https://www.vals.ai/benchmarks/srebench

뭐 평소에 어셈블리 코드 읽는 사람이 어딨겠냐, 존나 어렵지. 근데 컴파일된 프로그램을 이해한다는 건 진짜 미친 능력임.

GPT-6 Astra: 88%
GPT-5.6 Sol: 55.9%
Claude Opus 5 (max): 12.5%

3. Code Migration

언어 모델이 돌아가는 프로그램을 다른 언어로 다시 구현할 수 있을까?

링크: https://www.vals.ai/benchmarks/code-migration

GPT-6 Astra: 67.7%
Fable 5.1: 54.6%
GLM 5.3: 44.2%
GLM 5.3 Flash: 20.5%
Qwen3.8 27b: 14.2%

수정: 텍스트 형식 수정함

주요 댓글

r/localllama

사용자들은 제시된 벤치마크의 성격과 출처에 대해 논의하며, 코드 품질 평가를 위한 새로운 대안을 제안하고 있습니다.

왜 첫 번째 벤치마크 2개에 대한 네 숫자들은 네가 제공한 링크의 숫자들과 일치하지 않는 거야?

여기서 가져왔어:
https://www.vals.ai/benchmarks/programbench

Astra의 SRE-Bench 점수는 어디서 가져온 거야?

고마워, 이거 꽤 좋네. 나도 벤치마크를 조사 중인데, 방법론이나 비공개 문제, 측정 요소 등 품질이 뛰어나고 내가 중요하게 생각하는 것들을 실제로 측정하는 벤치마크 2~3개를 찾고 있어.

단순히 과제를 통과하는 것보다 출력 품질이 중요함; 예를 들어 코드가 유지보수 가능하고, 깔끔하며, 적절한 수준의 추상화를 갖추고, 관용적인 패턴을 사용해야 함...
제정신인 개체처럼 말하는 것 - Opus 5는 이에 대한 훌륭한 반례임.
...에 투입된 후의 성능

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

테스트 1은 근본적으로 결함이 있다고 봄. 왜냐하면 사실상 툴 콜 시나리오인데 툴 사용을 불필요하게 금지하고 있기 때문임. 비전 모델이 아닌 모델한테 JPEG 바이너리를 분석해서 OCR을 하라고 강요하는 수준임.

딱히 결함이 있는 건 아님. 바이너리는 1대1 기능을 테스트하기 위한 오라클일 뿐이야. 이 벤치마크가 주로 테스트하는 건 문서에서 바이너리로 가는 과정 + 코드 작성, 테스트, 피드백 기반 반복 루프를 조율하는 능력이지. 디컴파일해서 소스 코드를 만들어내는 벤치마크가 아님. 그런 류의 벤치마크도 있긴 하지만, 이게 그런 게 아니라고 해서 결함이 있는 건 아님.

내 생각엔 상위 모델들이 30~70%를 기록하는 벤치마크가 가장 유용해. Program-Bench처럼 10% 미만이면 의미 있는 차이를 구분할 수 없고, 그 벤치마크가 실제로 능력을 측정하는지도 확신할 수 없지. 그리고 80% 이상은 벤치마크에 따라 포화 상태일 수 있고, 위 수치들을 보면 도달 불가능하거나 부정행위가 필요할 수도 있어.

FrontierSWE v2가 현재 가장 유망한 벤치마크지만, Astra는 측정되지 않았고 더 작은 오픈 모델들도 마찬가지야.

현재 모델들이 Program-Bench를 해결하지 못한다고 해서, 미래에 아무도 만점을 받지 못할 거라는 뜻은 아니야. 내가 이 벤치마크에서 흥미롭게 생각하는 점은 바이너리를 분석/역공학하기 위한 엔드 투 엔드 작업(이를 위해선 많은 전략과 지능이 필요함)과, 처음부터 정확하게 코드베이스를 구축해내는 능력(이게 진짜 설계/아키텍처/코딩 테스트임)이야.

원문r/LocalLLaMA