Mellum2.1-12B-A2.5B 모델을 PI 코딩 에이전트로 테스트해 봄 - 의외로 쓸만하지만 원샷 프로젝트에는 약함
Tested Mellum2.1-12B-A2.5B on PI Coding Agent - surprisingly usable, but not great at one-shot projects
핵심 요약
Mellum2.1-12B-A2.5B 모델의 코딩 에이전트 성능을 테스트한 결과, 원샷 작업은 아쉽지만 도구 사용과 반복 작업에는 유용함.
- 모델 성능 — 원샷 코딩은 부진하지만 도구 호출 및 에이전트 행동은 우수함
- 하드웨어 제약 — 8GB VRAM 환경에서 40 t/s 속도로 구동 가능
- 활용 사례 — 작은 개발 작업이나 파일 정리 등 반복적인 업무에 적합함
- 한계점 — 복잡한 프로젝트 상태를 유지하기에는 활성 파라미터가 부족함
Mellum2.1-12B-A2.5B (Q8) 모델을 Pi랑 llama-server 써서 로컬에서 돌려봤다. 테스트 5개 전부 원샷(one-shot)으로 진행함.
결과는 좀 섞여 있음:
- Pelican SVG, Browser OS, Minecraft: 결과 개판임.
- Bouncing Hexagon: 물리 엔진은 그럭저럭인데, 갑자기 터미널에서 돌아가게 만들어서 좀 놀랐음.
- Flappy Bird: 완성은 했는데 비주얼이 너무 구리고 게임 난이도가 미친 수준임.
Pelican SVG
Browser OS
뭐, 결과물만 보면 별로라고 생각할 수도 있는데 일단 내 말 좀 들어봐. 이 모델 생각보다 꽤 괜찮음.
에이전트로서의 동작이 아주 훌륭함. 툴 콜링(Tool calling) 성능이 진짜 좋고, 지가 코드 짜다가 실수하면 스스로 알아채고 수정하는 경우가 많음. 딱 한 번 툴 콜링 실패하고 멈춘 적은 있음.
기존에 하던 게임 프로젝트에도 써봤는데, 코드베이스 싹 훑더니 강아지 점프 높이 3배로 바꾸는 거 성공하더라.
또 하나 놀랐던 건, 테스트 영상 찍고 나서 모델한테 화면 녹화본 GIF로 변환해서 특정 폴더에 정리하라고 시켰거든? 근데 아무 문제 없이 깔끔하게 처리함.
