Puget Systems의 매우 혼란스러운 보고서

4 DGX Spark면 문제없이 돌아가지 않나? 내 16GB VRAM으로는 꿈도 못 꿀 사양이지만, 그 모델이 기본적으로 FP4였던 걸로 기억하는데. 그럼 가중치 256GB에 KV 캐시 256GB니까, 작은 회사 하나 정도는 충분히 커버 가능할 듯.

임포스터 증후군 관련해서 무슨 말인지 이해함.

나도 12GB 메모리 달린 5070 Ti 노트북 하나로 내 작업 흐름에 맞춰 속도랑 해상도를 최적화하려고 최소한의 설정으로 쥐어짜면서 의미 있는 작업을 하고 있다고 말하면 미친 사람처럼 보일까 봐 걱정됨.

어떤 사람은 자기 복잡한 에이전트 워크플로우에 대해 자신 있게 떠들면서 회사가 돈 내주는 미친 수준의 토큰 사용량을 은근히 자랑하더라. 그 사람은 에이전트들을...

우리는 보안과 관련 없는 작업들을 GPU 하드웨어를 대여해 주는 업체로 넘기기 위해 시스템을 구축하고 있어. 가끔씩 높은 직급의 관리자가 우리한테 전화해서 우리가 뭘 하고 있는지 15분 만에 설명해 달라고 할 때가 있는데, 그 사람들은 우리의 멀티 에이전트 워크플로우를 이해하지 못하기 때문이지. 모르는 게 있으면 GPT한테 질문 세 개 던져서 hallucination 섞인 답변이나 받는 게 아니라, 이렇게 직접 물어보는 게 제대로 된 대응 방식이야.

R9700 한 장이면 8B 파라미터까지는 무난하게 돌림. 로컬 추론에서 현재 가장 적절한 27B급은 카드 두 장 다 써야 함.

이거 그대로 믿고 사는 호구들 분명히 있을 듯.