Is Luna actaully pretty stupid?
Luna-max의 성능에 대한 사용자들의 평가와 효율적인 활용법을 공유하는 토론입니다.
Luna-max를 가격 인하 이후에 써봤음.
결정을 내리는 데 꽤 서툴고 항상 엉뚱한 방향으로 가버림. 너희들한테는 복잡한 작업에 실제로 유용하긴 함?
Luna-max의 성능에 대해 회의적인 반응이 많으며, 특히 Fable, Sol, DeepSeek 등 경쟁 모델들과 비교했을 때 가성비나 성능 면에서 아쉽다는 의견이 주를 이룸.
저렴한 모델을 쓸 때는 워크플로우를 다르게 짜야 함.
예를 들어, 적대적 검토(adversarial review)를 포함한 원자적 작업(atomic tasks) 같은 거.
Sol/Opus가 모호함을 더 잘 처리하긴 하지만, 모호함을 제거할 수 있다면 그게 더 좋음.
검토 과정을 잘 갖추면 Sol 워크플로우도 더 좋아지겠지만, 특히 비용을 고려했을 때 Luna 워크플로우보다 훨씬 더 나을 가능성은 낮음.
난 기획이나 고가치 검토에는 Sol을 쓰고, 나머지는 기본적으로 Luna를 씀. 그리고 이번 가격 인하로 인해...
난 내 모델한테 "야, 내가 지금 뭐 하고 있는지, 뭘 빼먹었는지 설명해주고, 프로젝트 상태랑 다음 미팅까지 맞춰야 할 목표 기준으로 내가 가야 할 방향 좀 알려줘"라고 시키는 거 좋아함.
내 시스템한테 내가 작업하던 코드 보여주면서 제일 공격적인 리뷰어 빙의해서 어디가 문제인지 말해보라고 시켰음. 아직도 충격에서 못 벗어나는 중.
이 프롬프트 저장한다, ㅋㅋ
형 미안한데, 제대로 일하는 법을 이해하고 싶어서 그런데 워크플로우 좀 더 자세히 설명해 줄 수 있어?
노력해 볼게! 미리 말하지만 이건 나한테 맞는 방식이라 너한테는 다를 수 있어.
첫 번째 단계는 계획이 필요해. 계획은 네가 뭘 만들고 싶은지에 대한 거야. 목표는 이걸 PRD(제품 요구사항 문서)로 바꾸는 거지. 난 내 계획의 결함을 찾고 개선하는 데 도움을 주는 시스템을 만들었는데, 공개된 것들도 있어(Matt Pocock의 grill me with docs나 Wayfarer, Polytoken plan mode 같은 예시들).
목표는 단계를 세분화하는 거야...
나 말고도 이 워크플로우 쓰는 사람 있어서 반갑네. 솔직히 단계도 거의 똑같음. 이걸 자동화하고 마크다운 파일보다 더 안정적으로 만들려고 지금 나만의 허브/앱을 만드는 중임. 작업, 계획, 목표, 실행 에이전트, 권한 부여, 검토 워크플로우 같은 것들 다 들어감. 로컬 워크플로우에서 가장 큰 개선점은 네가 말한 두 가지임. 첫 번째는 오케스트레이터. 코딩도 안 하고 계획도 거의 안 짜는 역할이지만, 모든 걸 총괄하는…
오케스트레이션(orchestration) 말하는 거 같은데: https://developers.openai.com/api/docs/guides/agents/orchestration 단순한 모델일수록 궤도를 벗어나지 않게 하려면 이런 게 좀 더 필요함. 최고의 모델로 작업을 상세하게 계획하고, Luna 에이전트들한테 코딩을 시킨 다음, 점점 더 똑똑한 모델들을 데려와서 코드 리뷰를 시키는 거지. 리뷰가 너무 많이 실패하면 오케스트레이터가 아키텍트를 불러서 왜 그런지 파악하게끔 설정할 수도 있고.
Luna on Max는 작업, 수락 기준, 검증 계획, 소유권 경계를 잘 정의해주면 코드 생성(code gen)에는 진짜 천재적임. Terra나 Max보다 hallucination이 훨씬 심하긴 한데(내 기억엔 벤치마크상 대략 두 배 정도), 그래서 scope를 좁게 잡는 게 진짜 중요함.
당신이 선호하는 워크플로우나 리뷰 사이클에 대해 좀 더 자세히 알려줄 수 있나요? 아니면 더 읽어볼 만한 곳을 알려주세요.
Codex 문서에서 에이전트 오케스트레이션 쪽을 찾아보는 게 좋을 거야. 내 워크플로우에 대해서는 여기 더 자세히 적어놨음. https://www.reddit.com/r/codex/s/BFTOjjAvPI
아니. Fable이나 Sol 근처에도 못 감. 적절한 가격대 경쟁 모델들이랑 비교해야지.
ㅇㅇ DeepSeek 같은 모델이랑 비교하면 진짜 별로임. Sol급은 아니지만 같이 페어 프로그래밍할 때는 꽤 괜찮음.
DeepSeek에서 방금 V4 Flash 모델 새로 냈는데, 벤치마크 보니까 Luna xhigh보다 성능도 좋고 가격도 싸더라.
API 비용으로 따지면 OpenRouter에서 Luna는 OpenAI 가격에서 80% 할인된 거에 추가로 50% 더 할인되니까... 소비자가 실사용하는 입장에서 보면 구독료에 포함된 Luna가 DeepSeek API 따로 쓰는 것보다 훨씬 쌀걸.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.