Swift 1.5 Qwen3.8 27b (로우 씽킹용 필수 모델!)

나도 솔직히 기대 안 했는데 생각보다 너무 좋아서 놀랐음. 평균적으로 토큰 효율이 더 좋은 ThinkingCap-Qwen3.8-27B도 써봤는데 결과는 별로였음 (예를 들어 토큰은 10% 덜 생성했는데, Swift 1.5가 추가한 기능들이 코드에서 많이 빠져 있었음).

ㄹㅇ 그 사이즈치고는 체급 이상의 성능을 보여줌.

이건 속도보다는 토큰 생성 최소화가 핵심임. 레시피 자체를 네 환경에 맞게 최적화해 봐. 나도 수천 번 테스트해 봤는데 토큰 감소 효과가 엄청남. 난 순정보다 더 높은 tok/s랑 정확도를 뽑아냈고 내 환경에서 가장 빠른 레시피를 찾았음.

진짜 시도해 볼 만함... 근데 친구, 내 ninfer 4090 포크용 버전 구하는 게 진짜 악몽이었어... 공식 swift ninfer가 내 포크 업데이트에 쓰는 v3 포맷에 맞춰 deepseek v41로 다 처리해보려 했는데, 결국 내 24gb vram에서 262k 컨텍스트랑 비전을 돌리기엔 너무 큰 버전이 나와버림. 그래서 Qwen dflash 2랑 swift 15 bf16 버전을 받아서 직접 양자화해서 262k 컨텍스트랑 비전이 vram에 들어가는 v3 ninfer 버전을 만들었음. deepseek가 진짜 똑똑해서 다행이지, 아니었으면 절대 성공 못 했을 듯...

이거 오픈소스 한 거 있어? 나도 ninfer 4090 포크 쓰는데 작업에 따라 80-130TPS 나옴. 네가 만든 ninfer 포크랑 호환 모델 궁금한데 :)

간단히 테스트해 봤는데 시키는 건 다 하지만 풀 버전의 세밀함은 좀 부족한 느낌이었음. 둘 다 Q6로 돌려봤고. 내일 회사에서 다시 해봐야지.

차이는 사람들이 실제로 Qwen을 쓴다는 거지, Gemini는...

그래, 그럼 네 컴퓨터에서 Gemini를 어떻게 로컬로 돌렸는지 좀 더 자세히 말해봐.

개선된 건 좋은데, 베이스 모델이랑 라이선스 바뀐 건 좀 짜증 나네.

꽤 괜찮음. 광범위한 코딩을 시키면 여전히 삶의 의미를 고찰하느라 시간을 쓰긴 하지만, xHigh에서 5k-10k 정도의 추론 토큰 차이가 남.