Ornith 35B is great so far
Ornith 35B 모델을 활용한 3D 게임 개발 경험 공유 및 Qwen 모델과의 성능 비교에 대한 논의입니다.
3D 게임을 빠르게 만들어 보려고 시도했는데, 프롬프트 3번 만에 이걸 만들어냈습니다(영상 확인). 이걸 Qwen3.5-35b-a3b와 비교해 보면, 그 모델은 이걸 성공적으로 생성하지 못했고 여러 번 프롬프트를 입력해도 실패하더군요.
하네스: Claude Code
지금까지 여러분의 경험은 어떤가요?
대체로 Ornith 35B 모델의 성능에 대해 Qwen 모델과 비교하며 회의적이거나 신중한 반응을 보이고 있습니다.
흥미롭네요. 저는 q6 양자화 버전을 Qwen 3.6 35b q6 양자화 버전과 비교 테스트해 봤습니다. 백엔드로 llama-cpp를 사용했고 하네스로 OpenCode를 썼죠. 도구 호출 측면에서는 잘 작동했습니다(Qwen도 마찬가지였고요). 하지만 제가 테스트한 3가지 작업 모두에서 작업/토큰 효율성 면에서는 Qwen이 Ornith를 앞섰습니다.
참고로 대규모 Kotlin 코드베이스의 아키텍처 리팩토링 작업이었습니다.
두 모델 모두 작업을 완료하긴 했지만, Qwen의 솔루션이 더 잘 설계되었고 기능적으로도 완벽했으며 버그도 적게 발생했습니다.
Ornith도 고전하긴...
제가 테스트해 본 바로는(Qwen 3.5 9B vs Ornith 9B, Qwen 35B vs Ornith 35B) 다른 파인튜닝 모델들과 다를 게 없네요. 그냥 벤치마크 점수만 높인 것 같아요.
Kotlin 코드베이스가 얼마나 복잡한가요? Qwen 3.6으로 100% 로컬에서 성공적으로 처리했나요?
저는 Claude Code에서 27b-mtp-q8 모델을 사용 중인데, 성능은 엄청나게 좋지만 처리해야 할 심각한 아키텍처 문제에서 막히더군요. 모델이 모든 움직이는 부품을 관리하기엔 너무 어려운 작업이었어요.
기본적으로 해당 프로젝트는 이번 주에 제가 넘겨받은 기존 AI 리셉셔니스트 프로젝트인데, 일련의 질문에 순차적으로 답해야 하는...
엉망진창인 리셉셔니스트 에이전트 오케스트레이션과 시퀀스 관리
상태 머신(State Machine)이나 상태 차트(Statechart)를 써보셨나요? 중앙 집중식으로 프로그램 흐름을 강제하는 데 아주 좋습니다. 기본적으로 코드 형태의 순서도죠.
파이썬을 쓰시는 것 같지만, 프로그래머라면 누구나 이해할 수 있는 TS 설명서를 여기 남깁니다.
참고: 여기서 '상태(state)'는 프로세스 내 위치, '컨텍스트(context)'는 저장된 데이터를 의미합니다.
https://stately.ai/docs/state-machines-and-statecharts
제가 쓴 건 아니지만, 그들이 PR 한두 개를 병합하긴 했죠...
아뇨, 파이썬은 전혀 안 쓰고 TypeScript를 쓰고 있습니다. 하지만 말씀하신 대로 프로젝트에 상태 머신 같은 게 있긴 해서 이번 주 내내 그걸 재구성하려고 애썼는데도 기대에 못 미치네요. 그래서 더 상태 기반으로 처리할 방법이 있는지 한번 살펴볼게요.
먼저 프로그램 순서도를 그리세요. IF/Then/Else 분기 외의 '코드'는 신경 쓰지 마시고요. (분기로 루프도 시뮬레이션할 수 있습니다)
그다음 FSM(유한 상태 머신)으로 만드세요.
심지어 제가 만든 도우미 도구도 있습니다: https://github.com/tomByrer/mermax
정말 간단한 FSM을 원하신다면: https://github.com/tomByrer/state-shifter/blob/main/packages/simple-state-shifter/simple-state-shifter.js
XState가 업계 표준이긴 합니다.
코드베이스가 엄청 큽니다. 파일은 30개가 넘고 코드 줄 수는 1만 5천 줄이 훌쩍 넘죠. 2월부터 작업해 온 거라 꽤 복잡합니다. 기능 추가, 버그 수정, 성능 개선을 하면서 사용하는 프레임워크나 라이브러리도 최신 상태로 유지하고 있거든요. 엄청난 주의사항: 이건 열정으로 하는 프로젝트라 완전히 '바이브 코딩(vibe-coded)'으로 진행됐습니다. 요구 사항을 확정하고 전체 아키텍처를 설계하긴 했지만, 코드 한 줄도 제가 직접 쓰거나 검토하지 않았습니다. 모든 게...
문제가 생겼을 때 35b보다 더 나은 Qwen 모델을 써본 적 있나요? 훨씬 작은 모델로 그렇게 효과적으로 바이브 코딩을 할 수 있다면 Qwen 3.5 122b는 어떤 결과가 나올지 궁금하네요.
아뇨, 안 써봤습니다. 그리고 122b는 제 시스템에 안 들어갈 것 같네요. 27b 덴스 모델을 못 쓰는 이유와 같습니다. 저한테는 35b가 크기, 속도, 품질 면에서 최적입니다.
35b는 제 생각에 충분히 똑똑하지 않아서 27B 덴스 같은 모델은 어떤가요?
ㅇㅇ 나도 동감. 똑똑한 모델인 건 맞는데, 복잡한 vibecoding 할 때 27b dense 모델이 보여주는 그 신중함이나 사려 깊음은 좀 부족함.
흥미롭네요
ornith 실행 명령어 좀 보여주세요
9B 모델의 q8_0 버전을 테스트해 봤는데 Qwen 3.5 9B보다 못하더군요. 무슨 일인지 모르겠네요.
llama.cpp에서 사용 중입니다.
왜 Qwen 3.5 9B보다 훨씬 못한지 아시는 분 계시면 설명 좀 부탁드립니다.
파인튜닝 모델은 항상 더 안 좋아요. 그냥 그게 다입니다.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
Claude Code로 일상 업무 자동화 도구를 직접 개발해 생산성을 높이고 삶의 질을 개선한 사용자들의 경험 공유.
Claude Code로 일상 업무 자동화 도구를 직접 개발해 생산성을 높이고 삶의 질을 개선한 사용자들의 경험 공유.
