r/PiCodingAgent•1일 전•12•2
에이전트 세션을 평가(eval)로 전환하기: 내 경우 2배 더 저렴한 설정(codex에서 pi-agent로)을 찾음
Turn your agent sessions into evals. Mine found a 2× cheaper setup (codex->pi-agent)
핵심 요약
코딩 에이전트 세션 기록을 활용해 모델 성능을 평가하고 최적의 설정을 찾는 튜토리얼과 도구를 공유함.
- 평가 자동화 — 에이전트 세션 기록을 기반으로 모델 성능을 평가하는 방법 공유함
- 도구 공개 — 세션에서 평가를 추출하는 오픈소스 프로젝트를 깃허브에 배포함
- 비용 최적화 — 모델 비교를 통해 기존 대비 2배 저렴한 작업 환경을 구축함
ibragim.dev
원문 사이트로 이동
다들 안녕! 내가 직접 코딩 작업하면서 모델들 비교한 글 몇 개 올렸었는데, 그중 하나가 https://www.reddit.com/r/PiCodingAgent/comments/1wpcis6/opus_55_vs_gpt6_sol_luna_in_piagent_results_on_my/ 이거야. 댓글로 자기만의 평가(evals)는 어떻게 만드냐고 물어보는 사람들이 좀 있어서, 단계별 튜토리얼을 써서 블로그에 올렸어.
그리고 이 과정을 자동화하려고 https://github.com/ibragim-bad/evals-from-sessions 스킬도 하나 만들었어. 이거 써도 되고, 아니면 그냥 코딩 에이전트한테 내 글 던져주면서 세션 기록으로 평가 데이터 만드는 거 도와달라고 시켜도 돼.
이게 너희나 너희 팀이 모델이랑 도구 고를 때 도움이 됐으면 좋겠다. 궁금한 거나 피드백 있으면 편하게 댓글 달아줘!
