다들 로컬 모델 어디에 써먹음?

난 Qwen3 Omni 30B-A3B를 써서 TV나 스트리밍 광고를 감지하고, 광고 시작/종료 시 자동으로 입력을 전환함.

실용적인 챗/에이전트 사례는 아직 연구 중인데, Qwen3.5랑 3.6으로 코드 생성은 꽤 괜찮았음.

또 확장 컨텍스트 실험하면서 지난 몇 년간 쓴 개인 노트를 1M 컨텍스트로 확장한 Qwen3.5 9B에 다 때려 넣고 질문하거나 노트랑 '대화'하는 식으로 써봤는데 결과가 꽤 괜찮았음. 환각이 좀...

첫 번째 사례 대박이네.

꽤 괜찮음. 기대했던 것만큼 완벽하게 작동하진 않지만, 내 주 용도인 스포츠 중계에는 쓸만함. 이걸로 만든 앱이 스크린샷이랑 오디오도 캡처하는데, 나중에 내 모델 파인튜닝할 때 쓰려고 함.

예전에 사람들하고 대화하는 텔레그램 봇을 만든 적이 있는데, 실제 서비스로 배포하진 않았음.

그거 말고도 ChatGPT 4.1mini 같은 저가형 프리미엄 모델들도 뭘 하기엔 좀 멍청하다는 걸 자주 느낌. 더 큰 모델들만큼 일을 잘 파악하지 못하는 것 같음. 모든 걸 따로따로 호출해서 세분화해야 하는데, 그것조차 항상 잘 되는 건 아님.

그래서 이런 7B나 35B 모델들로 어떤 워크플로우를 돌릴 수 있는지 궁금함. 다들 코딩함? 난 주로 Sonnet 5(그전엔 Opus 4.6)를 쓴 Claude Code랑 5.5 버전 Codex를 써왔음. 얘네도 항상 잘 돌아가는 건 아닌데, 7B 모델은 대체 뭘 할 수 있을지 상상이 안 감.

난 Qwen 3.6 27B를 써서 Claude Code에서 Opus나 Sonnet이 짠 계획을 구현하는데, 생각보다 엄청 잘 돌아감.