Kimi K2.6 Unsloth GGUF is out
Unsloth에서 Kimi K2.6 모델의 GGUF 버전을 공개하여 로컬 LLM 사용자들의 관심을 끌고 있음.
Kimi K2.6 GGUF 출시에 대한 기대감과 함께, 하드웨어 사양이나 양자화 버전에 대한 기술적인 논의가 활발하게 이루어지고 있음.
5080에서 Q0.25_K_S 돌려볼 생각에 설렌다.
맥 스튜디오 512 두 대 빌려줄 사람?
아니면 더 좋게, 가벼운 오후 추론 세션을 위해 8xA100 서버를 돌리는 거지.
잠깐만, 젠슨한테 전화 좀 해볼게.
업데이트된 거 있음?
내 은행 계좌 보여달라길래 보여줬더니 비웃으면서 바로 끊더라 :(
내 3DFX Voodoo3에서 Kimi-K2.6-Q0.0000001-GGUF 돌릴 생각에 벌써 기대됨.
난 Kimi-K2.6-Q0_K_XXXXS 기다리는 중 ㅋㅋ
난 Kimi-K2.6-1T-Claude-4.7-Opus-Mythos-Heretic-Uncensored-REAP-99-31B-gguf 버전 나올 때까지 존버한다.
*박살남
AesSedai임. Unsloth이 전문가 모델에 INT4/Q4_0 양자화 쓰는 거 보니 좋네! Q4_0 이상은 그냥 공간 낭비임. Ubergarm이랑 나랑은 대칭형 Q4_0 패치랑 같이 쓰고 있음.
여기서도 보네, 나도 너랑 똑같은 질문 방금 올렸는데 ㅋㅋ...
역시 통하는 게 있네!
그럼 Q2랑 Q1은? 우리한텐 그게 필요하다고.
난 지금 IQ2_S랑 IQ2_XXS로 꾸역꾸역 돌리는 중인데, 연산이 꽤 느리네. Q1은 잘 안 써. 그 bpw에서는 차라리 낮은 bpw에서 퀄리티 더 좋은 Ubergarm의 ikllama 퀀트 쓰는 게 낫거든.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.
