감사 포스트!

글쎄, 나도 3090이 없어서 잘 모르겠네. 누가 알려주겠지. 근데 왜 200k 컨텍스트가 필요함?

Oh-My-Pi를 쓰는데 스킬이랑 플러그인 같은 게 많아서... 기본 시작만 해도 30k 컨텍스트를 잡아먹거든. 리포지토리 여러 개를 넘나들며 작업하니까 이 정도는 필요함.

IQ4_KS는 정확도가 85% 정도라 실수가 좀 있을 거고, Q4 ctk ctv로 더 안 좋아졌을 거야. 게다가 120-140K 정도에서 성능이 저하될 텐데, Q8_0이랑 FP16 캐시를 쓰는 게 아니면 200K는 굳이 필요 없음.

툴을 최적화하거나 서브 에이전트를 써봐. 30K를 기본으로 먹고 들어가는 건 채팅 기록을 포함 안 하는 게 아닌 이상 너무 무거워.

난 3090이랑 5090으로 IQ5_K_M, FP16 캐시 사용 중인데 200K 컨텍스트에 VRAM 52GB 정도 먹더라.