Gemini 4 Argon Medium을 Antigravity에서 테스트해봄. 주간 할당량 66%를 태우고 GPT 6.1 Sol Medium과 Claude 5.5 Opus Medium보다 성능이 떨어짐

걱정 마, 괜찮음.

말했듯이, 안드로이드 음악 플레이어 APK와 관련된 3가지 리버스 엔지니어링 작업으로 구성됨. 모델들은 디컴파일된 코드와 네이티브 바이너리를 조사해서 오디오 콜백(Milk), 볼륨 더킹, 프리앰프 조정 등 3가지 오디오 처리 동작을 설명해야 함. 각 모델은 동일한 작업 지침, 프로토콜, 코드 시작 위치를 받음.

채점은 78개의 독립적으로 평가된 단위로 나뉜 39개의 가중치 기준 루브릭을 사용함. 발견한 내용이 기술적으로 정확하고 추적 가능한 코드 증거로 뒷받침될 때만 만점을 부여함. 잘못된 주장은 점수를 받지 못함. 각 작업은 100점 만점으로 채점되며, 최종 점수는 3개 작업의 평균임. 제공된 경우 실행 시간과 토큰 소비량은 별도로 측정되며 점수에는 영향을 주지 않음.

더 자세히 설명하고 싶지만 레딧 댓글 하나에 다 담기는 어려울 것 같음 하하. 나중에 전체 방법론을 게시할 수 있는 웹사이트 같은 걸 만들어 보겠음.

난 코딩 실력이 전혀 없음. 나한테 딱 맞는 간단한 앱 몇 개를 원했을 뿐임. Argon은 개쓰레기임. 무료 티어인 Sonnet 5.5를 써봤는데, 유료 플랜인 Gemini 4 Argon보다 훨씬 나았음.

구글이 '책상물림' 모델, 아니 '벤치마크형' 모델을 내놓는 건 여전하네.

벤치마크 테스트에서만 뛰어나게 코딩해 놓고, 실제 세상에서는 꽤나 평범한 수준임!

맞음. Terminal Bench 4.0에 뭔가 문제가 있는 것 같음. 그렇게 성능이 안 좋은 모델들이 거기서는 그렇게 높은 점수를 받는다는 게 말이 안 됨. 솔직히 요즘 DeepSWE 1.1도 마찬가지임.

난 Argon이 아주 마음에 듦. 제대로 못 쓰는 사람들은 그냥 프롬프트를 못 짜는 거라고 생각함. 제대로 프롬프트를 짤 줄 아는 사람들은 이 AI 네이티브 세상에서 여전히 우위를 점할 것이고, 이번 경우도 예외는 아님. 트위터에서 집착하는 최소한의 지시로 한 번에 끝내는 방식은 나한테는 전혀 불필요하게 느껴짐.

맞는 말임. 사람들은 이 모델들을 교체 가능한 플러그 앤 플레이 박스처럼 취급하는 경향이 있음. 완전히 다른 환경에서 돌려놓고는 벤치마크라고 부르지. 결함 있는 방법론을 가진 이런 임시방편적인 '벤치마크'들은 노이즈만 잔뜩 만들어서 실제 신호를 찾기 거의 불가능하게 만듦.

난 그냥 새로운 모델이 나오면 구독해서 직접 테스트해 보는 편임. 내 워크플로우에서 다른 모델보다 잘 작동하면, 다른 모델은 해지함. 각 모델마다 잘하는 게 다름. Claude는 내 개인 워크플로우에 잘 맞지 않지만(여전히 자주 추천하긴 함), Grok조차도 한때는 구독을 갱신할 가치가 있었음. 그래서 지금은, 솔직히 Argon 출시 전에도 그랬지만, 만약 하나만 구독해야 한다면 GPT와 Gemini 사이에서 고민될 것 같음. MCP와 API를 쓸 수 있다면 Gemini로 가겠지만, 다른 모델을 못 쓴다면 GPT를 택할 거임. 하지만 두 개를 쓸 수 있다면, 지금 나한테는 GPT와 Gemini를 조합하는 게 가장 생산적임.

그거 참 힘들겠네. 나도 디컴파일된 코드에 Argon을 써봤는데, 예전 Claude 모델들도 몇 분 만에 찾아낸 뻔한 패턴을 계속 놓치더라고. 할당량 소모가 진짜 치명적임. 작업 3개에 주간 할당량의 66%를 쓰는 건 실용적이지 않음.

네 벤치마크 점수는 꽤나 충격적임. 특히 하나가 아니라 세 작업 모두에서 졌다는 게 문제임. 구글이 Medium 티어를 제대로 최적화하지도 않고 서둘러 출시한 느낌임.

가격 구조가 가장 큰 문제라고 생각함. 기껏해야 High 티어 모델 수준인 걸 Ultra 가격을 받으려고 하니까. 더 저렴했다면 평범한 성능도 납득했을지도 모르지.

API 가격은 Sol만큼 저렴하다는 걸 고려하면 정말 이상함. 근데 구독 서비스에서의 사용량은 Fable이나 Astra만큼 나쁨. 성능은 훨씬 떨어지는데 말이지.

작성자가 올린 후속 반응들 보면, 이건 그냥 여론 조작(astroturfing)인 게 뻔함.

무슨 여론 조작? 난 웹사이트도 앱도 없고, 출시하려는 앱 이름조차 언급 안 했어. 이 글이랑은 상관없으니까. 그냥 'Argon은 별로다'라거나 'Argon은 사용량 너무 많이 잡아먹는다'라고 근거 없이 말하는 대신 직접 모델을 테스트해보고 싶었을 뿐이야.